引用本文

杨旭升, 吴江宇, 胡佛, 张文安. 基于渐进高斯滤波融合的多视角人体姿态估计. 自动化学报, 2024, 50(3): 607−616 doi: 10.16383/j.aas.c230316

Yang Xu-Sheng, Wu Jiang-Yu, Hu Fo, Zhang Wen-An. Multi-view human pose estimation based on progressive Gaussian filtering fusion. Acta Automatica Sinica, 2024, 50(3): 607−616 doi: 10.16383/j.aas.c230316

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230316

关键词

渐进高斯滤波，自适应滤波，分布式融合，人体姿态估计 

摘要

针对视觉遮挡引起的人体姿态估计(Human pose estimation, HPE)性能下降问题, 提出基于渐进高斯滤波(Progressive Gaussian filtering, PGF)融合的人体姿态估计方法. 首先, 设计分层性能评估方法对多视觉量测进行分类处理, 以适应视觉遮挡引起的量测不确定性问题. 其次, 构建分布式渐进贝叶斯滤波融合框架, 以及设计一种分层分类融合估计方法来提升复杂量测融合的鲁棒性和准确性. 特别地, 针对量测统计特性变化问题, 利用局部估计间的交互信息来引导渐进量测更新, 从而隐式地补偿量测不确定性. 最后, 仿真与实验结果表明, 相比于现有的方法, 所提的人体姿态估计方法具有更高的准确性和鲁棒性.

文章导读

随着人工智能和传感器技术的发展, 人体姿态估计(Human pose estimation, HPE)逐渐应用于各种不同的领域, 如人机交互、运动捕捉[1-2]、虚拟替身、康复训练[3]、自动驾驶、视频监控和运动表现分析等[4-6]. 然而, 受视觉遮挡等因素影响[7], 这将增加视觉人体姿态估计中腕、肘等人体部件误识别的风险, 从而导致量测不确定性的存在, 而多视觉融合方法是处理视觉遮挡下HPE的主流方法之一[8-11].

针对多视觉融合估计问题, 文献[8]提出一种面向人体关节点位置信息的可靠性判别方法, 通过调节加权观测融合中的量测融合权重, 以提高HPE的鲁棒性. 而在文献[12]中, 将多视觉下的融合估计问题转换为优化问题, 利用骨骼长度作为约束条件, 并基于关节点位置信息的可靠性, 来调整优化过程中的权重大小, 从而减小视觉遮挡时的人体骨架抖动. 然而, 在求目标函数的过程中, 该方法易受初始数据的影响. 针对基于多视角融合的HPE问题, 文献[9]首次提出信息加权一致性滤波器(Information weighted consensus filter, IWCF), 通过平均一致性(Average consensus)[13]来获得邻近节点的信息. 同时, 使用Metropolis权重来提高IWCF的收敛速度, 实验证明融合后的人体姿态信息可获得更高的动作识别精度. 之后, 针对多视觉HPE中各传感器节点估计误差引起的关节点波动问题, 文献[10]将IWCF与交互式多模型(Interacting multiple model-based, IMM)相结合, 获得混合恒定速度(Constant velocity, CV)、恒定加速度(Constant acceleration, CA)和Singer运动等多模型下的姿态估计, 从而减小视觉遮挡的影响以及提高估计的精度.

另一方面, 针对人体姿态量测存在的噪声问题, 卡尔曼滤波(Kalman filtering, KF)[14]是一种有效的去噪方法. 其不仅在目标跟踪领域应用广泛[15-17], 而且在人体姿态估计领域也发挥重要的作用[18-20]. 例如, 文献[19]利用卡尔曼滤波器提高人体姿态估计的准确性. 针对人体姿态量测噪声统计特性的难以精确描述问题, 文献[20]提出一种基于鲁棒卡尔曼滤波的HPE方法, 利用假设检验对视觉遮挡下的复杂噪声进行识别, 并引入自适应因子来对量测噪声协方差进行调整, 从而减小量测不确定性对滤波器性能的影响. 此外, 针对量测信息缺失的目标跟踪问题, 文献[21]同样利用假设检验对量测信息进行有效筛选, 并利用渐进滤波方法来处理量测信息缺失造成的误差增大问题, 从而提高滤波器的鲁棒性. 针对渐进滤波对量测不确定性补偿的问题, 文献[22-23]提出带自适应量测更新的渐进高斯滤波方法, 给出渐进量测更新的终止条件. 这不仅有利于计算效率, 而且提高了对量测不确定性的自适应能力. 然而, 针对视觉遮挡造成量测噪声的复杂性, 现有估计方法并未充分考虑到局部量测不确定性的差异. 同时, 基于假设检验的方法局限于单一维度对量测进行筛选, 没有充分考虑到先验信息和局部量测以及不同局部量测之间的相容性问题.

为此, 本文构建分布式的渐进贝叶斯滤波融合框架, 提出基于渐进高斯滤波融合的人体姿态估计方法. 针对量测信息包含的复杂噪声, 设计分层性能评估方法, 从空间维度到时间维度对量测进行分类处理. 为解决量测不确定性下的融合估计问题, 设计一种分层分类的融合估计方法. 特别地, 针对量测统计特性变化问题, 引入渐进滤波方法, 利用局部估计间的交互信息来引导渐进量测更新, 从而隐式地补偿量测不确定性. 最后, 仿真与实验结果表明, 相比于现有的方法, 提高了人体姿态估计的准确性和鲁棒性.

图 1  多视觉人体姿态估计示意图

图 2  量测相容性分析

图 3  方法框图

为处理视觉遮挡下人体姿态估计性能下降问题, 提出基于渐进高斯滤波融合的姿态估计方法. 首先, 采用CNN的方法从深度图像中识别并得出人体各关节点在相机坐标系下的3D位置, 并将其转换到世界坐标系下; 其次, 在多视觉骨架数据融合中, 构建分布式的渐进贝叶斯滤波融合框架并提出基于渐进高斯滤波融合的人体姿态估计方法. 针对量测信息中包含的复杂噪声, 分别从空间、时间维度对量测进行相容性分析与分类处理. 同时, 引入渐进量测更新与引导机制, 隐式地补偿量测不确定性.

作者简介

杨旭升

浙江工业大学信息工程学院副教授. 主要研究方向为信息融合估计, 人体姿态估计和目标定位. 本文通信作者. E-mail: xsyang@zjut.edu.cn

吴江宇

浙江工业大学信息工程学院硕士研究生. 主要研究方向为人体姿态估计和信息融合估计. E-mail: wujiangyu@zjut.edu.cn

胡佛

浙江工业大学信息工程学院助理研究员. 主要研究方向为人机交互, 情感计算和人工智能. E-mail: fohu@zjut.edu.cn

张文安

浙江工业大学信息工程学院教授. 主要研究方向为多源信息融合估计及应用. E-mail: wazhang@zjut.edu.cn