|
引用本文
何欣润, 李毅轩, 傅中正, 伍冬睿, 黄剑. 多标签情感计算中的TSK模糊系统与域适应方法研究. 自动化学报, 2025, 51(7): 1546−1561 doi: 10.16383/j.aas.c240599
He Xin-Run, Li Yi-Xuan, Fu Zhong-Zheng, Wu Dong-Rui, Huang Jian. A study of TSK fuzzy system and do-main adaptation method in multi-label affective computing. Acta Automatica Sinica, 2025, 51(7): 1546−1561 doi: 10.16383/j.aas.c240599
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240599
关键词
情感计算,多标签学习,TSK模糊系统,领域自适应
摘要
情感计算作为人机交互领域的一个重要学科分支, 是实现和谐、自然的人机交互体验的关键保障. 如何利用便于获得的生理信号进行准确的情绪识别已成为其中的热门话题. 广泛使用的情绪模型通常从愉悦维、唤醒维、支配维等多个维度描述情绪, 但现有情绪识别方法大多将不同维度分别考虑, 忽略维度间的相关性关系, 并且在可解释性方面存在局限. 多标签TSK模糊系统虽然能够弥补以上不足, 但仍面临高维输入下模糊规则构建困难、训练效率低下的问题. 此外, 多模态生理信号具有较大的个体差异性, 严重影响跨用户情绪识别的准确性. 鉴于此, 首先提出规则降维的多标签TSK (RDR-MLTSK)模糊系统, 以优化模糊系统结构和训练效率; 进一步提出多标签模糊域适应算法实现多源域迁移学习, 提高RDR-MLTSK的泛化性能. 在DEAP和DECAF两个公开数据集上的实验结果表明, 所提出的方法能够有效提高情绪识别的准确率, 与经典和先进的方法相比具有更好的性能.
文章导读
情感是一种复杂的生理心理状态, 源自于人的主观认知和体验, 对决策、感知和交流等方面产生深远影响, 在人们的日常生活中起着核心作用[1]. 因此, 为更好地理解人类的行为并实现自然和谐的人机交互, 情感计算旨在赋予计算机收集、识别和激发各种情感表现的能力[2]. 近年来, 随着各种智能可穿戴设备的出现, 多模态生理信号的获取变得更加便捷, 基于生理信号的情感计算成为新的研究热点, 并在安全驾驶[3]、健康监测[4]、媒体娱乐[5]、脑机接口[6]等领域展现出广阔的应用前景.
情绪识别是情感计算领域重要的研究方向之一, 进行情绪识别的首要步骤是建立情绪状态的表示模型, 随后基于该模型开发相应的情绪识别算法. 情绪表示模型的发展经历了从使用快乐、悲伤、愤怒等形容词标签的离散情绪模型[7], 到运用几个连续的基本维度来描述情绪不同方面的维度情绪模型[8−9], 使得对情绪的度量愈加精细和全面. 维度情绪模型中认同度最高的一种为“愉悦(Pleasure)−唤醒(Arousal)−支配(Dominance)”模型(PAD模型), 其被许多常用的公开情感计算数据集所采用[10−13]. 心理学研究证据表明情绪维度之间是相互关联的[14−16], 在使用PAD模型表示情绪时, 相当于给用户的情绪样本赋予愉悦、唤醒、支配程度这三个具有相关性的标签. 然而, 当前研究大多对每一个维度(标签)都单独训练一个分类或回归模型[17−21], 这种做法显然忽略了标签间的相关性.
将维度间的相关性信息融入情绪识别的过程中有利于提高情绪识别算法的性能. Nicolaou等[22]采用决策级融合的方式, 将愉悦维的初步预测结果也作为模型的输入来对唤醒维进行预测, 反之亦然. 类似地, Rivas等[23]利用循环分类器链的方式将对应于多个标签的贝叶斯分类器首尾相连. Wu等[24]则提出多任务主动学习方法来选择PAD情绪空间中最有价值的样本进行多标签标注. 近年来, 基于深度学习的多标签情绪识别方法也取得显著成功[25−26], 但其可解释性较差, 不利于用户对情感计算模型的理解、信任和反馈. TSK (Takagi-Sugeno-Kang)模糊系统兼具较强的可解释性和非线性特征学习能力, 是情感计算潜在的有效工具之一[27−28]. Lou等[29]首次提出多标签TSK (Multi-label TSK, MLTSK)模糊系统, 并在图像识别等任务上验证了其性能, 该方法有望在基于生理信号的多标签情感计算中取得成功.
然而, MLTSK与其他模糊系统一样面临“维度灾难”问题, 即输入特征维度的升高严重影响模糊系统的性能和效率[30−31]. 例如, 当特征维度较高时, 数据点之间的距离变得非常相似[32], 而隶属度的计算通常依赖基于距离的方法, 这使得模糊规则的构建变得困难[33]. 对于采用网格划分模糊区域的方法而言, 其复杂度还会随着特征维度的增加呈指数级上升. 许多研究通过减少特征维度解决这一问题, 例如Relief特征选择[34]、主成分分析降维[35]、神经网络表征学习[36]. 然而, 特征选择方法可能导致部分有用特征在构建模糊系统前就已经被丢弃, 特征降维方法则因改变输入特征而降低模糊系统的可解释性. 基于进化算法的模糊系统则采用动态构建规则或结构的方式应对维度灾难[37], 但因搜索空间较大, 导致计算负担和收敛缓慢. 基于聚类的方法能够有效减少模糊规则的数量, 从而在一定程度上避免维度灾难, 例如模糊C-均值聚类(Fuzzy C-means, FCM)[38]及其改进方法EWFCM[39]等, 但其聚类精度仍会随着维度增加而降低. 如何避免高维度生理信号特征带来的维度灾难, 同时不破坏可解释性, 是多标签模糊系统应用于情感计算领域亟待解决的难点问题.
此外, 由于生理信号和情绪表达受年龄、心理状态等因素的影响较大, 不同个体之间存在显著差异[40]. 为降低个体差异性的影响并提高模型的跨用户泛化能力, 一些研究者将迁移学习引入情绪识别算法中. 其中, 领域自适应(Domain adaptation, DA), 亦称域适应, 是应用最广泛的一类迁移学习方法. DA通常求解或迭代学习一个映射矩阵以对齐源域和目标域的数据分布[41]. 在具有多个源域(例如多个个体)的情况下, 还需要筛选出与目标域最相似的源域, 以充分利用多源域的数据并避免负迁移[42]. 例如, Li等[43]将源域预训练的情绪识别模型迁移到目标域用户上, 减少对新用户训练数据量的需求. Lin等[44]提出一个条件迁移学习框架, 有选择地利用具备“可迁移性”的源域以避免负迁移. Fu等[45]通过提高目标域伪标签的质量来增强分布对齐. Elalamy等[46]利用递归图将生理活动转化为二维表征, 以降低个体差异的影响. 对于模糊系统而言, 在源域构建的规则库与源域数据分布紧密关联, 并包含在源域学习的知识中. 因此其域适应不仅需要考虑数据分布的对齐, 也应考虑模糊规则的迁移. 如何对齐数据分布同时迁移模糊规则, 是设计模糊系统的域适应方法时面临的难点问题.
针对维度灾难问题, 本文提出规则降维的多标签TSK (Rule dimensionality reduction MLTSK, RDR-MLTSK)模糊系统, 其中设计的子空间C-均值聚类(Subspace fuzzy C-means, SFCM)算法能够同时降低模糊规则的数量和维度, 更好地避免维度灾难, 并保留模糊系统的可解释性. 针对模糊系统的域适应, 本文提出多标签模糊域适应(Multi-label fuzzy domain adaptation, MLFDA)算法, 该算法分别对齐各源域与目标域的数据分布, 并将来自多个源域的模糊规则筛选和组合成目标域规则库, 同步实现分布对齐及模糊规则的迁移.
本文的主要贡献归纳如下: 1) 提出规则降维的多标签TSK (RDR-MLTSK)模糊系统, 克服模糊系统在高维的生理信号特征输入时面临的维度灾难问题, 实现高可解释性和分类性能的多标签情感计算; 2) 提出多标签模糊域适应(MLFDA)算法, 降低个体差异性的影响, 实现模糊规则的迁移, 最终提高模糊系统跨用户识别时的泛化能力; 3) 在DEAP和DECAF两个公开数据集上开展多标签情感计算实验并与经典算法和近期相关研究进行对比, 验证了所提出方法的有效性.
图 1 SFCM模糊规则降维示意图
图 2 RDR-MLTSK模糊系统结构
图 3 MLFDA算法示意图
本文旨在为基于多模态生理信号的情感计算提供可解释性高、泛化能力强的多标签学习方法. TSK模糊系统在非线性建模问题上表现出色, 但是存在训练效率低下、泛化能力差等问题, 在面对特征维度高、个体差异大的情感计算问题时性能不佳. 本文从多标签TSK模糊系统的结构优化和迁移泛化两方面入手, 提出基于规则降维、多源域迁移的模糊系统和域适应算法, 并在两个公开的情绪数据集上进行实验, 验证了算法有效性.
本文所提方法解决了多标签TSK模糊系统在情感计算领域应用的关键挑战, 取得良好的效果, 但仍存在一定的局限性. 它在一定程度上依赖于生理信号的特征提取结果, 这种依赖可能在多模态生理信号存在部分缺失、损坏、噪声污染等情况下影响整体性能. 未来研究可考虑融合更多模态的生理信号和对异常信号或特征的处理, 进一步提高模型的鲁棒性, 并结合可穿戴式生理信号传感器进行在线的情绪识别任务.
作者简介
何欣润
华中科技大学人工智能与自动化学院博士研究生. 2020年获得华中科技大学人工智能与自动化学院学士学位. 主要研究方向为机器学习, 情感计算, 多模态融合. E-mail: hexr@hust.edu.cn
李毅轩
2024年获得华中科技大学人工智能与自动化学院硕士学位. 主要研究方向为机器学习, 情感计算. E-mail: lyxuan@hust.edu.cn
傅中正
华中科技大学人工智能与自动化学院博士研究生. 主要研究方向为迁移学习, 情感计算, 手势识别. E-mail: fuzhongzheng@hust.edu.cn
伍冬睿
华中科技大学人工智能与自动化学院教授. 2003年获得中国科学技术大学自动控制专业学士学位, 2006年获得新加坡国立大学电气与计算机工程专业硕士学位, 2009年获得南加州大学洛杉矶分校电气工程博士学位. 主要研究方向为脑机接口, 机器学习, 计算智能, 情感计算. E-mail: drwu@hust.edu.cn
黄剑
华中科技大学人工智能与自动化学院教授. 2000年获得华中科技大学硕士学位. 2005年获得华中科技大学博士学位. 2006年至2008年, 在日本名古屋大学微纳米系统工程系、机械信息与系统系担任博士后研究员. 主要研究方向为康复机器人, 机器人装配, 网络控制系统和生物信息学. 本文通信作者. E-mail: huang_jan@hust.edu.cn
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-8-17 03:18
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社