引用本文

苏本跃, 王婕, 刘双庆, 盛敏, 向馗. 惯性动捕数据驱动下的智能下肢假肢运动意图识别方法. 自动化学报, 2020, 46(7): 1517-1530. doi: 10.16383/j.aas.c180070

SU Ben-Yue, WANG Jie, LIU Shuang-Qing, SHENG Min, XIANG Kui. An Improved Motion Intent Recognition Method for Intelligent Lower Limb Prosthesis Driven by Inertial Motion Capture Data. ACTA AUTOMATICA SINICA, 2020, 46(7): 1517-1530. doi: 10.16383/j.aas.c180070

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180070

关键词

运动意图识别，惯性传感器，模式空间，转换模式，摆动相 

摘要

为了解决传统意图识别方法使用多模态传感器信号所带来的复杂性以及识别转换模式一般具有滞后性等问题, 本文提出了基于惯性传感器的智能下肢假肢的运动意图实时识别方法.从模式识别的角度看, 在对象空间到模式空间的转换中, 对运动模式尤其是运动转换模式进行了重定义; 在模式采集中, 采用在患侧的运动模式进行转换之前, 采集绑定在健侧的传感器于摆动相前期所产生的时序运动数据, 选择均值、方差等特征统计量和支持向量机分类器对其进行特征选择提取与特征分类的策略, 实现对残疾人运动意图准确、实时地识别.实验结果表明, 本文所提出的方法可以识别出单肢截肢患者在不同地形下的运动意图, 包括平地行走、上楼、下楼、上坡、下坡5种稳态模式, 识别率可达到97.52 %, 并且加入在5种模式之间相互转换的转换模式之后, 识别率可达到95.12 %.本文方法可以极大提高智能下肢假肢的控制性能, 实现智能假肢能根据人的运动意图在多种运动模式之间进行自然、无缝的状态切换.

文章导读

根据我国第二次全国残疾人抽样调查结果显示, 残疾人总人数达到8 502万人, 其中肢体残疾2 472万人, 占残疾人总数的30 %左右[1].残疾人是当代社会的一个特殊群体, 由于其身体上的缺陷, 他们不仅在日常生活中有诸多不便, 而且同时心灵也遭受不同程度的折磨.为了弥补截肢者或肢体不完全缺损的肢体, 设计者运用工程技术的手段和方法, 设计了各种各样的假肢.假肢的主要作用是代替失去肢体的部分功能, 使得截肢者恢复一定的生活自理能力和工作能力.假肢按照截肢部位分为上肢假肢和下肢假肢, 上肢假肢主要是为了弥补上半身外观以及维持肢体平衡, 同时在一定程度上恢复患者的自理能力, 由于步行是人体下肢的基本功能之一, 相比于上肢假肢, 下肢假肢则显得更加重要, 不仅需要维持基本的平衡, 更要尽可能地恢复人体的正常行走姿态, 重建已失去的站立和行走等功能.下肢假肢按照控制方式可分为气压控制假肢、液压控制假肢以及计算机控制假肢[2].计算机控制假肢又称为智能假肢, 相比于压力控制假肢, 智能假肢不仅具有较好的仿真造型, 而且能够根据不同的地形自动地调节相应模式, 使得截肢患者在行走过程中更加接近正常人.

目前, 国内外关于智能假肢的研究, 主要包括两个方面[3]: 1)智能假肢的设计方案与控制策略研究, 即主要通过探究人体关节在运动过程中的力学规律, 设计具有仿生特性以及配套控制方法的机械智能假肢结构. 2)基于单模态或多模态传感器的运动意图识别研究.具体来说, 就是根据传感器采集人体表面肌电或机械信号等进行分析, 抑或结合多种类型的传感器综合研究, 从而识别出残疾人的运动意图.基于智能假肢的运动意图识别方法对于下肢残疾患者来说是十分重要的, 准确地识别运动意图能够使得假肢提前预知运动状态, 并做出相应的控制策略与参数的调整, 使患者的运动过程更加稳定、流畅、自然.

表面肌电信号[4] (Surface electromyogram signal, sEMG), 即可通过附着在皮肤表面的生物电极, 以非侵入式的方式记录直接反映肌肉收缩与舒张情况的生物电信号. sEMG信号已被广泛应用于残疾人患者的智能假肢装置中[5]. Huang等[6]引入模式识别方法, 利用表面肌电信号成功识别出平地行走、跨越障碍、上楼、下楼、患侧旋转、健侧旋转以及站立7种日常运动模式, 提出了脚尖离地(Foot-ofi)和脚跟触地(Foot-contact)两个步态事件, 通过提取步态事件周围的时间窗口数据, 使得7种运动模态的平均识别错误率为7.4 %.佟丽娜等[7]提出了一种基于sEMG信号的人体运动模式识别方法, 根据信号波形相似度进行特征选择, 建立了描述各运动过程的多路sEMG时序特征的隐马尔科夫模型(Hidden Markov model, HMM), 基于最大似然估计法对多模型匹配进行综合判决, 确定识别结果, 对下肢踏车、椭圆运动、步行三种运动模式成功识别, 识别率达到91.67 %.此外, Hargrove等[8]采集了6名截肢患者在执行膝关节屈、伸、踝关节背屈、跖屈、股骨旋转和胫骨旋转6个动作时残余大腿肌肉上的9个通道sEMG信号, 提取时域特征并结合模式分类算法, 得到了90 %左右的平均识别率.但是, sEMG信号易受神经萎缩、电极位置等其他因素影响, 从而带来信号不稳定, 系统不够鲁棒等缺陷[7].

机械信号(Mechanical signal), 即通过加速度计、陀螺仪、压力计等设备, 采集记录人体运动过程中的加速度、角速度、关节角、地面接触力等运动学与动力学信息的传感器信号[9].基于机械信号的运动意图识别研究中, Liu等[10]提出一种基于机械传感器的运动意图识别方法, 其传感器系统由加速度计、陀螺仪和压力传感器组成, 通过5种不同的地形模式并结合三种速度水平定义了15种不同的运动模式, 根据实时运动数据和模板数据的组内相关系数(Intra-class correlation coe–cient, ICC)计算, 结合Dempster Shafer (D-S)数据融合理论, 通过隐马尔可夫模型(HMM)来识别最终运动状态, 可识别出三种不同速度水平下平地行走、上楼、下楼、上坡以及下坡5种稳态运动模式, 识别率为95.8 %.但该方法并没有涉及转换模式的识别问题. Young等[11]仅使用机械传感器数据, 构建包含运动模式过渡状态的意图识别系统, 即根据集成在假肢上的多种机械传感器(惯性传感器、力传感器等)所采集的数据进行运动模态的识别, 一共采集了6名截肢患者平地行走、上楼、下楼、上坡和下坡5种稳态模式以及5种稳态模式之间的8种转换模式的数据, 其识别率可达到93.9 %, 但在意图识别模型的训练中需采用模式转换结束后的数据, 具有一定的滞后性.随后, 该团队又改变了研究策略[12], 将一段时间的历史数据作为先验知识参与训练并且加入了动态贝叶斯网络(Dynamic Bayesian network), 在实验结果上, 相比之前的方法, 错误率降低了50 %. Yuan等[13]通过集成在假肢上的惯性传感器, 压力传感器等, 采集了6名正常人和3名残疾人的运动信号, 并提取关节角度, 脚的倾斜度等5个特征, 提出了一种基于模糊逻辑的识别方法来识别13种运动模式(包括5种稳态模式和8种转换模式), 达到了98.7 %的平均识别率, 但是在识别时间上, 平均延迟了9.1 %个步态周期.随后, 该团队又提出了一个非接触式电容感知的方法来识别智能假肢的运动意图, 电容式传感系统集成在假肢上, 并与嵌在假肢上的机械传感器结合使用, 通过转换模式的支撑阶段准确识别即将到来的运动模式, 一共采集了6名截肢患者在8种转换模式中的数据并采用支持向量机和二次判别分析进行分类, 平均识别率分别达到95.8 %与94.9 %[14].

上述基于机械传感器的意图识别研究, 通过机械传感器数据或融合多种类型的传感器数据, 结合模式识别方法实现了对智能假肢多种运动模式和运动转换模式的识别分类, 相应的结果也表明这些研究达到了意图识别的目的.但是, 由于传感器均内嵌在智能假肢本体中, 在进行转换模式识别时, 往往采用假肢摆动相数据进行分析, 而摆动相是连接前后两种不同稳态模式的中间过渡状态, 因此在分析假肢摆动相数据时, 下一稳态模式必然已经发生, 这就带来了意图识别的滞后性问题, 并不能真正体现运动的意图.鉴于此, 本文提出了一种基于单一类型惯性传感器的运动意图实时识别方法, 首先, 在运动模式识别的对象空间到模式空间的转换中, 对运动模式尤其是运动转换模式进行了重定义, 目的是在新的稳态模式开始前即可根据转换模式的定义准确识别出运动转换模式, 从而体现真正的运动意图识别; 另外, 在模式采集中, 采用在患侧的运动模式进行转换之前, 采集绑定在健侧的传感器于摆动相前期所产生的时序运动数据, 选择均值、方差等特征统计量和支持向量机分类器对其进行特征选择提取与特征分类, 并根据识别结果及时将相关参数传递给患侧假肢进行控制, 从而实现对残疾人运动意图的准确实时识别.从实现条件上来说, 随着可穿戴技术的迅猛发展, 现有的传感器已经足够灵巧轻便, 实时通信技术和无线传感技术也已成熟, 为本文方法的实现提供了硬件基础.从算法复杂性上来说, 使用单一惯性传感器, 避免了因数据融合带来的复杂性问题, 简化了数据分析与处理的过程.从实际应用角度来说, 在后一模式发生之前, 根据健侧的运动意图进行识别并改变假肢的控制策略, 可避免因假肢的动力参数改变不及时而引起的不必要的晃动与摔倒等意外.

图 1  智能下肢假肢中的分层策略

图 2  基于机械传感器的人体运动意图识别方法

图 3  一个步态周期

本文提出了一种惯性传感器数据驱动的残疾人运动意图识别方法.具体来说, 首先对运动模式尤其是运动转换模式进行了重定义, 接着通过采集绑定在健侧的传感器于摆动相时所产生的时序数据, 通过提取该时序数据的均值、方差等特征统计量作为特征向量并结合支持向量机进行模式分类.而传统的智能下肢假肢运动意图识别方法, 一般通过检测嵌在假肢本体内的传感器所产生的数据进行分析, 在转换模式中, 摆动相是连接前后两个稳态模式的中间过渡状态, 由于所提取的是假肢摆动相数据, 所以意味着下一运动模式必然已经发生, 这就带来了滞后性的问题.本文方法在检测到健侧下肢的运动意图变化以后, 可以及时在假肢运动模式未转换之前进行参数传递, 从而调整患侧假肢控制参数, 以此解决了传统运动意图识别的滞后性问题, 使得假肢运动意图得到真正的识别.该研究的意义在于, 它能够使得假肢控制系统提前改变下肢假肢的相关参数, 从而帮助残疾人实现更加稳定、流畅的行走.这为安装单侧下肢假肢的残疾人的运动意图预测和识别提供了新思路.

当然, 由于本文主要考虑模式空间中的模式再定义及相关的分类问题, 在特征空间中并没有更深层次探讨与挖掘数据的内在特征, 因此, 如何选取更好的数据特征以及分类模型, 如何更精准地识别更多复杂的运动模式, 仍需要进一步讨论.另外, 从智能下肢假肢的应用出发, 如何进一步提高意图识别精度依然是一个值得探讨的问题.

作者简介

王婕

安庆师范大学计算机与信息学院、安徽省智能感知与计算高校重点实验室硕士研究生.主要研究方向为机器学习, 运动意图识别.E-mail: wangjiexiaogui@126.com

刘双庆

安庆师范大学数学与计算科学学院、安徽省智能感知与计算高校重点实验室硕士研究生.主要研究方向为机器学习, 运动意图识别.E-mail: liushuangqing11@126.com

盛敏

安庆师范大学数学与计算科学学院、安徽省智能感知与计算高校重点实验室教授. 2009年获得合肥工业大学计算机与信息学院博士学位.主要研究方向为模式识别与图像及视频处理.E-mail: msheng0125@aliyun.com

向馗

武汉理工大学自动化学院教授.2006年获得浙江大学控制理论与控制工程博士学位.主要研究方向为人体行走机理, 仿生智能关节.E-mail: xkarcher@126.com

苏本跃

安庆师范大学计算机与信息学院、安徽省智能感知与计算高校重点实验室教授. 2007年获得合肥工业大学计算机与信息学院博士学位.主要研究方向为模式识别与机器学习, 图形图像处理.本文通信作者.E-mail: bysu@aqnu.edu.cn