精选
随着机器人进入日常生活中的各个方面，人们对其提出了更高的要求，希望它们具有感知人类情感、意图的能力，这类机器人称为情感机器人。情感机器人的出现将改变传统的人机交互模式，实现人与机器人的情感交互。用人工的方法和技术赋予机器人以人类式的情感，使情感机器人具有识别、理解和表达喜乐哀怒的能力。
目前，机器人革命已经进入“互联网＋情感＋智能”的时代，这就要求机器人具有情感。面对国内外市场对情感机器人的迫切需求，突破人机交互及情感计算等相关领域的关键技术刻不容缓。因此，提高机器人的智能化水平，使其能够感知周围的环境，理解人类的情感、意图和服务需求，自适应地与用户进行人机交互，根据用户的需求以及环境信息的变化来提供优质的服务，已成为新一代智能机器人的发展趋势。
情感计算
情感计算就是赋予计算机像人一样的观察、理解和表达各种情感特征的能力，最终使计算机能与人进行自然、亲切和生动的交互。情感计算及其在人机交互系统中的应用必将成为未来人工智能的一个重要研究方向。
什么是情感计算？
情感计算的概念是在1997 年由麻省理工学院（Massachusetts Institute of Tech-nology，MIT）媒体实验室Picard 教授提出的，她指出情感计算与情感相关，源于情感或能够对情感施加影响的计算。1999 年，北京科技大学王志良教授提出了人工心理理论，对人的情感、意志、性格、创造等心理活动进行研究。人工心理理论以人工智能现有的理论和方法为基础，是人工智能的继承和发展，有着更广泛的内容。中国科学院自动化研究所胡包刚研究员等也通过自己的研究，提出了情感计算的定义，认为情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能。
心理学和认知科学对情感计算的发展起了很大的促进作用。心理学研究表明，情感是人与环境之间某种关系的维持或改变，当外界环境的发展与人的需求及愿望符合时会引起人积极肯定的情感，反之则会引起人消极否定的情感。情感是人态度在生理上一种较复杂而又稳定的生理评价和体验，在生理反应上的反映包括喜、怒、忧、思、悲、恐、惊七种基本情感。情感因素往往影响着人们的理性判断和决策，因此人们常常以避免“感情用事”来告诫自己和他人。但情感因素对人们的影响也不都是负面的，根据心理学和医学的相关研究成果，人们如果丧失了一定的情感能力，如理解和表达情感的能力，那么理性的决策和判断是难以达到的。不少学者认为情感能力是人类智能的重要标志，领会、运用、表达情感的能力发挥着比传统的智力更为重要的作用。
情感计算是一门综合性很强的技术，是人工智能情感化的关键一步。情感计算的主要研究内容包括：分析情感的机制，主要是情感状态判定及与生理和行为之间的关系；利用多种传感器获取人当前情感状态下的行为特征与生理变化信息，如语音信号、面部表情、身体姿态等体态语以及脉搏、皮肤电、脑电等生理指标；通过对情感信号的分析与处理，构建情感模型将情感量化，使机器人具有感知、识别并理解人情感状态的能力，从而使情感更加容易表达；根据情感分析与决策的结果，机器人能够针对人的情感状态进行情感表达，并做出行为反应。
近年来，随着情感计算技术的快速发展，人机情感交互和情感机器人已成为人机交互和情感计算领域的研究热点，其内容涉及数学、心理学、计算机科学、人工智能和认知科学等众多学科。人机情感交互就是要实现计算机识别和表达情感的功能，最终使人与计算机能够进行自然、和谐的交互。当前，基于语音、面部表情、手势、生理信号等方式的人机情感交互系统和情感机器人的开发取得了一定的成果，它在远程教育、医疗保健、助老助残、智能驾驶、网络虚拟游戏和服务机器人等诸多领域有着广阔的应用前景。
不能理解怎能陪伴：情感计算关键技术
情感计算中关键的两个技术环节是如何让机器能够识别人的情感、如何根据人的情感状态产生和表达机器的情感。虽然情感计算是一门新兴学科，但前期心理学、生理学、行为学和脑科学等相关学科的研究成果已经为情感计算的研究奠定了坚实的基础。目前，国内外关于情感计算的研究已经在情感识别和情感合成与表达方面，包括语音情感识别与合成表达、人脸表情识别与合成表达、生理信号情感识别、身体姿态情感识别与合成表达等，取得了初步成果。
1、情感识别现状
情感识别是通过对情感信号的特征提取，得到能最大限度地表征人类情感的情感特征数据，据此进行建模，找出情感的外在表象数据与内在情感状态的映射关系，从而将人类当前的内在情感类型识别出来。在情感计算中，情感识别是最重要的研究内容之一。情感识别的研究主要包括语音情感识别、人脸表情识别和生理信号情感识别等。目前，我国关于情感识别的研究已经比较普遍，例如，清华大学、中国科学院、北京航空航天大学、北京科技大学、哈尔滨工业大学、东南大学、上海交通大学、中国地质大学（武汉）等多所高校和科研机构参与了情感识别相关课题的研究。
1）语音情感识别
MIT 媒体实验室Picard 教授带领的情感计算研究团队在1997 年就开始了对于语音情感的研究。在语音情感识别方面，该团队的成员Fernandez 等开发了汽车驾驶语音情感识别系统，通过语音对司机的情感状态进行分析，有效减少了车辆行驶过程中因不好情感状态而引起的危险。美国南加利福尼亚大学语音情感研究团队以客服系统为应用背景，致力于语音情感的声学分析与合成，并对积极情绪和消极情绪两种情感状态进行识别。该团队将语音情感识别技术集成到语音对话系统中，使计算机能够更加自然、和谐地与人进行交互。
在国内，中国地质大学（武汉）自动化学院情感计算团队对独立人和非独立人的语音情感识别进行了深入的研究，他们对说话人的声学特征和韵律特征进行分析，提取了独立说话人的语音特征和非独立说话人的语音特征。清华大学蔡连红教授带领的人机语音交互研究室也开展了语音情感识别的研究。在语音情感识别方面，他们主要是针对普通话，对其韵律特征进行分析。但因为语音的声学特征比较复杂，不同人之间的声学差异较大，所以目前针对非独立人之间的语音情感识别技术还需要进一步研究。
2）人脸表情识别
人脸表情识别是情感识别中非常关键的一部分。在人类交流过程中，有55%是通过面部表情来完成情感传递的。
20 世纪70 年代，美国心理学家Ekman 和Friesen 对现代人脸表情识别做了开创性的工作。Ekman 定义了人类的6 种基本表情：高兴、生气、吃惊、恐惧、厌恶和悲伤，确定了识别对象的类别；建立了面部动作编码系统（facial action coding system，FACS），使研究者能够按照系统划分的一系列人脸动作单元来描述人脸面部动作，根据人脸运动与表情的关系，检测人脸面部细微表情。随后，Suwa 等对人脸视频动画进行了人脸表情识别的最初尝试。随着模式识别与图像处理技术的发展，人脸表情识别技术得到迅猛发展与广泛的应用。目前，大多数情感机器人（如MIT 的Kismet 机器人、日本的AHI 机器人等）都具有较好的人脸表情识别能力。
在我国，哈尔滨工业大学高文教授团队首先引入了人脸表情识别的研究成果。随后，北京科技大学王志良教授团队将人脸表情识别算法应用于机器人的情感控制研究中。中国地质大学（武汉）刘振焘博士和陈略峰博士针对人脸表情识别技术展开研究并将其运用到多模态人机情感交互系统中。另外，清华大学、中国科学院等都对面部表情识别有深入的研究。但是由于人类情感和表情的复杂性，识别算法的有效性和鲁棒性还不能完全达到实际应用的要求，这些都是未来研究中有待解决的问题。
3）生理信号情感识别
MIT 媒体实验室情感计算研究团队最早对生理信号的情感识别进行研究，同时也证明了生理信号运用到情感识别中是可行的。Picard 教授在最初的实验中采用肌电、皮肤电、呼吸和血容量搏动4 种生理信号，并提取它们的24 维统计特征对这4 种情感状态进行识别。德国奥格斯堡大学计算机学院的Wagner 等对心电、肌电、皮肤电和呼吸4 种生理信号进行分析来识别高兴、生气、喜悦和悲伤4 种情绪，取得了较好的效果。韩国的Kim 等研究发现通过测量心脏心率、皮肤导电率、体温等生理信号可以有效地识别人的情感状态，他们与三星公司合作开发了一种基于多生理信号短时监控的情感识别系统。
在我国，基于生理信号情感识别的研究起步较晚，北京航空航天大学毛峡教授团队对不同情感状态的生理信号进行了初步的研究。江苏大学和上海交通大学也对生理信号的情感识别进行了研究，建立了自己的生理信号情感识别数据库，从心电信号、脑电信号等进行特征提取和识别。西南大学的刘光远教授等对生理信号的情感识别进行了深入的研究，并出版专著《人体生理信号的情感分析方法》。
生理信号在信号表征的过程中具有一定的个体差异性，目前的研究还基本处在实验室阶段，主要通过刺激材料诱发被试的相应情绪状态，而不同个体对于同一刺激材料的反应也会存在一定的差异，因此如何解决不同个体之间的差异性仍然是生理信号情感识别方面一个亟待解决的难点。
2、情感合成与表达现状
机器除了识别、理解人的情感之外，还需要进行情感的反馈，即机器的情感合成与表达。人类的情感很难用指标量化，机器则恰恰相反，一堆冷冰冰的零部件被组装起来，把看不见摸不着的“情感”量化成机器可理解、表达的数据产物。与人类的情感表达方式类似，机器的情感表达可以通过语音、面部表情和手势等多模态信息进行传递，因此机器的情感合成可分为情感语音合成、面部表情合成和肢体语言合成。
1）情感语音合成
情感语音合成是将富有表现力的情感加入传统的语音合成技术。常用的方法有基于波形拼接的合成方法、基于韵律特征的合成方法和基于统计参数特征的合成方法。
基于波形拼接的合成方法是从事先建立的语音数据库中选择合适的语音单元，如半音节、音节、音素、字等，利用这些片段进行拼接处理得到想要的情感语音。基音同步叠加技术就是利用该方法实现的。
基于韵律特征的合成方法是将韵律学参数加入情感语音的合成中。He 等提取基音频率、短时能量等韵律学参数建立韵律特征模板，合成了带有情感的语音信号。
基于统计参数特征的合成方法是通过提取基因频率、共振峰等语音特征，再运用隐马尔可夫模型对特征进行训练得到模型参数，最终合成情感语音。Tokuda 等运用统计参数特征的合成方法建立了情感语音合成系统。MIT 媒体实验室Picard 教授带领的情感计算研究团队开发了世界上第一个情感语音合成系统——Affect Editor，第一次尝试使用基频、时长、音质和清晰度等声学特征的变化来合成情感语音。
2）面部表情合成
面部表情合成是利用计算机技术在屏幕上合成一张带有表情的人脸图像。常用的方法有4 种，即基于物理肌肉模型的方法、基于样本统计的方法、基于伪肌肉模型的方法和基于运动向量分析的方法。
基于物理肌肉模型的方法模拟面部肌肉的弹性，通过弹性网格建立表情模型。基于样本统计的方法对采集好的表情数据库进行训练，建立人脸表情的合成模型。基于伪肌肉模型的方法采用样条曲线、张量、自由曲面变形等方法模拟肌肉弹性。基于运动向量分析的方法是对面部表情向量进行分析得到基向量，对这些基向量进行线性组合得到合成的表情。
荷兰数学和计算机科学中心的Hendrix 等提出的CharToon 系统通过对情感圆盘上的7 种已知表情（中性、悲伤、高兴、生气、害怕、厌恶和惊讶）进行插值生成各种表情。荷兰特温特大学的Bui 等实现了一个基于模糊规则的面部表情生成系统，可将动画Agent 的7 种表情和6 种基本情感混合的表情映射到不同的3D 人脸肌肉模型上。我国西安交通大学的Yang 等提出了一种交互式的利用局部约束的人脸素描表情生成方法。该方法通过样本表情图像获得面部形状和相关运动的预先信息，再结合统计人脸模型和用户输入的约束条件得到输出的表情素描。
3）肢体语言合成
肢体语言主要包括手势、头部等部位的姿态，其合成的技术是通过分析动作基元的特征，用运动单元之间的运动特征构造一个单元库，根据不同的需要选择所需的运动交互合成相应的动作。由于人体关节自由度较高，运动控制比较困难，为了丰富虚拟人运动合成细节，一些研究利用高层语义参数进行运动合成控制，运用各种控制技术实现合成运动的情感表达。
日本东京工业大学的Amaya 等提出一种由中性无表情的运动产生情感动画的方法。该方法首先获取人的不同情感状态的运动情况，然后计算每一种情感的情感转变，即中性和情感运动的差异。Coulson 在Ekman 的情感模型的基础上创造了6 种基本情感的相应身体语言模型，将各种姿态的定性描述转化成用数据定量分析各种肢体语言。瑞士洛桑联邦理工学院的Erden 根据Coulson 情感运动模型、NAO 机器人的自由度和关节运动角度范围，设置了NAO 机器人6 种基本情感的姿态的不同肢体语言的关节角度，使得NAO 机器人能够通过肢体语言表达相应的情感。
在我国，哈尔滨工业大学研发了多功能感知机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语合成、表情合成和唇读等功能，并与海尔公司合作研究服务机器人；清华大学进行了基于人工情感的机器人控制体系结构研究；北京交通大学进行了多功能感知和情感计算的融合研究；中国地质大学（武汉）研发了一套基于多模态情感计算的人机交互系统，采用多模态信息的交互方式，实现语音、面部表情和手势等多模态信息的情感交互。
虽然情感计算的研究已经取得了一定的成果，但是仍然面临很多挑战，如情感信息采集技术问题、情感识别算法、情感的理解与表达问题，以及多模态情感识别技术等。另外，如何将情感识别技术运用到人性化和智能化的人机交互中也是一个值得深入研究的课题。显然，为了解决这些问题，我们需要理解人对环境感知以及情感和意图的产生与表达机理，研究智能信息采集设备来获取更加细致和准确的情感信息，需要从算法层面和建模层面进行深入钻研，使得机器能够高效、高精度地识别出人的情感状态并产生和表达相应的情感。为了让人机交互更加自然和谐，在情感计算研究中也要考虑到自然场景对人的生理和行为的影响，这些都是情感计算在将来有待突破的关键。
情感计算的应用
随着情感计算技术的发展，相关的研究成果已经广泛应用于人机交互中。人机交互是人与机器之间通过媒体或手段进行交互。随着科学技术的不断进步和完善，传统的人机交互已经满足不了人们的需要。由于传统的人机交互主要通过生硬的机械化方式进行，注重交互过程的便利性和准确性，而忽略了人机之间的情感交流，无法理解和适应人的情绪或心境。如果缺乏情感理解和表达能力，机器就无法具有与人一样的智能，也很难实现自然和谐的人机交互，使得人机交互的应用受到局限。
由此可见，情感计算对于人机交互设计的重要性日益显著，将情感计算能力与计算设备有机结合能够帮助机器正确感知环境，理解用户的情感和意图，并做出合适反应。具有情感计算能力的人机交互系统已经应用到许多方面，如健康医疗、远程教育和安全驾驶等。
在健康医疗方面，具有情感交互能力的智能系统可通过智能可穿戴设备及时捕捉用户与情绪变化相关的生理信号，当监测到用户的情绪波动较大时，系统可及时地调节用户的情绪，以避免健康隐患，或者提出保健的建议。在远程教育方面，应用情感计算可以提高学习者的学习兴趣与学习效率，优化计算机辅助人类学习的功能。在安全驾驶方面，智能辅助驾驶系统可以通过面部表情识别，或者眼动、生理等情感信号动态监测司机的情感状态，根据对司机情绪的分析与理解，适时适当地提出警告，或者及时制止异常的驾驶行为，提高道路交通安全。
除了在人机交互方面的应用，情感计算还运用到人们的日常生活中，为人类提供更好的服务。
在电子商务方面，系统可通过眼动仪追踪用户浏览设计方案时的眼睛轨迹、聚焦等参数，分析这些参数与客户关注度的关联，并记录客户对商品的兴趣，自动分析其偏好。另外有研究表明，不同的图像可以引起人不同的情绪。例如，蛇、蜘蛛和枪等图片能引起恐惧，而有大量金钱和黄金等的图片则可以让人兴奋和愉悦。如果电子商务网站在设计时考虑这些因素对客户情绪的影响，将对提升客流量产生非常积极的作用。
在家庭生活方面，在信息家电和智能仪器中增加自动感知人们情绪状态的功能，可提高人们的生活质量。
在信息检索方面，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。
另外，情感计算还可以应用在机器人、智能玩具和游戏等相关产业中，以构筑更加拟人化的风格。
本文摘编自吴敏，刘振焘，陈略峰著《情感计算与情感机器人系统》第1章，内容略有删减改动。（配图来源：百度图片）
作者：吴敏，刘振焘，陈略峰
责任编辑：朱英彪，赵晓廷
北京：科学出版社，2018.4
ISBN：978-7-03-056923-3
《情感计算与情感机器人系统》在介绍情感计算、情感建模以及人机情感交互概念的基础上，分析了当前人机情感交互的研究前沿，总结了在多模态情感识别方法、人机交互氛围场建模、情感意图理解方法、情感机器人的多模态情感表达以及人机情感交互系统应用方面的最新研究成果，使读者对人机情感交互有更深的理解，对促进我国在情感计算与情感机器人领域的快速发展具有积极的作用。
（本期编辑：小文）
一起阅读科学!
科学出版社│微信ID：sciencepress-cspm
专业品质 学术价值
原创好读 科学品味
点击文中书名、作者、封面可购买本书。
转载本文请联系原作者获取授权，同时请注明本文来自科学出版社科学网博客。
链接地址：https://wap.sciencenet.cn/blog-528739-1112328.html?mobile=1
收藏
