引用本文

杨旭升, 李福祥, 胡佛, 张文安. 基于肌电−惯性融合的人体运动估计: 高斯滤波网络方法. 自动化学报, 2024, 50(5): 991−1000 doi: 10.16383/j.aas.c230581

Yang Xu-Sheng, Li Fu-Xiang, Hu Fo, Zhang Wen-An. Human motion estimation based on EMG-inertial fusion: A Gaussian filtering network approach. Acta Automatica Sinica, 2024, 50(5): 991−1000 doi: 10.16383/j.aas.c230581

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230581

关键词

高斯滤波网络，多传感器融合，人体运动估计，非线性卡尔曼滤波 

摘要

本文研究了基于肌电(Electromyography, EMG)−惯性融合的人体运动估计问题, 提出了一种序贯渐进高斯滤波网络(Sequential progressive Gaussian filtering network, SPGF-net)估计方法来形成肌电和惯性的互补性优势, 以提高人体运动估计精度和稳定性. 首先, 利用卷积神经网络对观测数据进行特征提取, 以及利用长短期记忆(Long short-term memory, LSTM)网络模型来学习噪声统计特性和量测模型. 其次, 采用序贯融合的方式融合异构传感器量测特征, 以建立高斯滤波与深度学习相结合的网络模型来实现人体运动估计. 特别地, 引入渐进量测更新对网络量测特征的不确定性进行补偿. 最后, 通过实验结果表明, 相比于现有的卡尔曼滤波网络, 该融合方法在上肢关节角度估计中的均方根误差(Root mean square error, RMSE)下降了13.8%, 相关系数(R2)提高了4.36%.

文章导读

人体运动估计旨在通过分析和理解人体动作, 从输入传感器数据中提取出有关人体姿态、运动轨迹和动作意图等信息. 传统人体运动估计方法通常基于视觉传感器(如摄像头或深度相机)获取图像或点云数据来检测人体的姿态和运动. 然而, 该方法在遮挡、光照变化和复杂背景等情形下往往表现不佳, 这限制了其应用范围. 为了克服视觉传感器的应用局限性, 近年来, 基于表面肌电信号 (Surface electromyography, sEMG)、惯性等可穿戴式传感器的人体运动估计引起了广泛关注[1]. 特别地, 表面肌电信号是一种通过肌肉收缩状态反映肢体运动的电信号, 可用于识别手势、肢体运动和人类意图等[1]. 由于采集方式的无创性和便携性, sEMG被广泛应用于助力机器人、康复机器人、智能假肢[2-6], 以及人机协作等领域[7-10].

尽管现有sEMG采集技术已经比较成熟, 但由于sEMG自身非平稳、微弱等特性, 采集的信号中往往包含复杂噪声干扰[1, 6]. 为此, 不少研究人员开始融合惯性传感器信息, 来获取更多的姿态信息, 从而弥补sEMG感知的不足[1, 11-14]. 例如, Stival等集成sEMG和惯性测量单元(Inertial measurement unit, IMU)信息, 来提高人体运动估计的性能[15]. Sakamoto等构建了长短期记忆(Long short-term memory, LSTM)网络以sEMG和IMU信息作为输入, 来实现下肢力和力矩的估计[16]. Hollinger等将多个sEMG和IMU的特征作为网络输入, 利用Bi-LSTM网络实现了超前100 ms的关节角度预测[17]. 上述方法大多以深度学习为主, 通过挖掘各传感器数据的高维特征, 对高维特征向量进行拼接来实现人体运动的融合估计. 尽管这类方法有助于提高人体运动估计的性能, 但由于深度学习网络存在可解释性欠缺的问题, 这限制了网络模型估计性能的进一步提升[1, 12, 18].

卡尔曼滤波(Kalman filtering, KF)是一种能够有效地降低由传感器噪声以及其他外部因素引起的不确定性的滤波算法, 已被广泛用于多传感器信息融合领域. Han等利用Hill模型结合前向动力学构建了状态空间模型, 并利用无迹卡尔曼滤波(Unscented Kalman filtering, UKF)实现了基于sEMG的肢体运动估计[19]. 然而, Hill模型是一种生理现象学模型[1, 11], 其内部结构复杂, 需要专业的人体肌肉知识来进行人体运动模型的构建和分析, 存在较大的应用局限性[12-14]. 为了克服这些限制, 学者们尝试利用神经网络学习卡尔曼滤波参数和模型. Coskun等首先提出了LSTM-KF框架, 将三个LSTM模块集成到KF中, 来学习姿态估计任务中的观测模型和噪声模型[20]. Revach等提出了一种KalmanNet网络, 在传统KF的基础上, 利用深度神经网络(Deep neural networks, DNN)学习KF中的增益[21]. Bao等利用LSTM模块学习KF的所有参数, 实现了基于sEMG的腕部和指部关节角度估计[22]. 但这种LSTM-KF的结构较为简单, 线性量测框架对肌电和运动状态之间的非线性关系描述并不充分. 在LSTM-KF的基础上, 文献[23]提出了一种渐进无迹卡尔曼滤波网络(Progressive unscented Kalman filter network, PUKF-net), 设计了三个LSTM模块学习量测模型和噪声统计特性, 利用UT变换(Unscented transformation)和渐进量测来减小线性化误差, 实现了端到端的估计. 然而, 该方法在网络端到端的训练中, 缺乏多传感器互补性信息, 这限制了线性化误差的补偿性能以及估计效果的提升.

针对以上问题, 本文提出一种序贯渐进高斯滤波网络 (Sequential progressive Gaussian filtering network, SPGF-net)来融合多通道表面肌电和惯性信息, 以增强人体运动估计的性能. 首先, 利用卷积神经网络对观测数据进行特征提取, 挖掘深层次观测特征. 其次, 针对异构传感器融合问题, 采用了序贯融合的方式融合肌电和惯性量测特征. 特别地, 通过序贯渐进量测更新的方法对观测网络特征的不确定性进行补偿, 来提高人体上肢关节运动估计的精度和抗干扰能力.

图 1  多传感器融合的人体肢体估计示意图

图 2  SPGF-net结构

图 3  各学习模块

本文设计了一种面向多通道表面肌电和惯性融合的序贯渐进高斯滤波网络, 实现了人体上肢运动估计. 利用卷积神经网络提取观测特征向量, 与常见的特征拼接不同, SPGF-net采用序贯融合的方式, 融合异构传感器量测. 特别地, 通过渐进量测更新的方法, 对观测网络的不确定性进行补偿. 实验结果表明所提出的融合方法可有效提高人体上肢关节角度估计的精度和稳定性. 本文仅对单个肘关节运动进行了估计, 然而多关节协同对模型要求更高. 在未来工作中, 将考虑多关节的协同和更复杂场景下的运动估计, 来评估我们的模型, 并进一步提高高斯滤波网络的自适应性, 同时将充分发挥深度学习在自适应滤波中的优势, 研究更为智能且泛用的自适应滤波策略.

作者简介

杨旭升

浙江工业大学信息工程学院副教授. 主要研究方向为信息融合估计, 人体运动估计和目标定位. 本文通信作者. E-mail: xsyang@zjut.edu.cn

李福祥

浙江工业大学信息工程学院硕士研究生. 主要研究方向为多源信息融合估计, 人体运动估计. E-mail: fuxiangli@zjut.edu.cn

胡佛

浙江工业大学信息工程学院助理研究员. 主要研究方向为人机交互, 情感计算和人工智能. E-mail: fohu@zjut.edu.cn

张文安

浙江工业大学信息工程学院教授. 主要研究方向为多源信息融合估计及应用. E-mail: wazhang@zjut.edu.cn