引用本文

蔡轶珩, 王雪艳, 马杰, 孔欣然. 基于随机森林误分类处理的3D人体姿态估计. 自动化学报, 2020, 46(7): 1457-1466. doi: 10.16383/j.aas.c180314

CAI Yi-Heng, WANG Xue-Yan, MA Jie, KONG Xin-Ran. 3D Human Pose Estimation Based on Random Forest Misclassiflcation Processing Mechanism. ACTA AUTOMATICA SINICA, 2020, 46(7): 1457-1466. doi: 10.16383/j.aas.c180314

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180314

关键词

人体姿态估计，随机森林，误分类处理，主方向分析 

摘要

为解决基于随机森林的3D人体姿态估计算法容易出现的误分类问题, 提出一种基于自适应融合特征提取和误分类处理机制的改进算法.该算法利用自适应融合特征提取方法自适应提取深度融合特征, 此特征可表达图像距离信息和部位尺寸信息, 增强特征的表征能力; 针对识别部位误分类问题, 分别从识别部位误分点聚集情况和迭代整合思想出发, 提出误分类处理机制, 改善部位识别结果; 最后提出可进一步处理误分点的改进主方向分析(Principal direction analysis, PDA)算法, 自适应计算出部位主方向向量, 实现3D人体姿态估计.结果表明, 该算法能有效去除部位误分点, 并显著改善了3D人体姿态估计.

文章导读

基于图像的人体姿态估计是指获得给定图像中人体各部位在图像中的位置及方向等信息的过程[1], 是计算机视觉领域的重要研究方向, 可应用于视频监控、行为识别[2-3]和人机交互[4]等领域.截至目前, 针对此任务已经有众多的研究算法被提出, 大致可分为两类:基于模型和基于无模型的人体姿态估计算法.前者利用人体先验知识对人体进行姿态估计, 通过预先构建人体模型, 将模型和图像中的人体轮廓、梯度等特征对应起来, 求解人体模型参数, 此方法虽然具有较高的识别效率, 但容易受到复杂模型的限制, 只适用于特定的姿态估计环境, 不利推广应用.而基于无模型的方法, 是通过学习的方式来构建人体特征与人体姿态之间的复杂映射关系[4-8], 由于不需要事先构建复杂人体模型, 使得该方法不受复杂模型的限制, 简化了姿态估计的计算复杂度, 因此近年来, 基于无模型的姿态估计算法得到广泛研究.

其中在基于RGB彩色图像的人体姿态估计上, 单人姿态估计或多人姿态估计中均取得了一定成果[9-12], 但由于彩色图像的姿态估计算法受人体的体型、着装、肤色和光照等限制, 算法鲁棒性较弱.与彩色图像相比, 深度图像记录的是距离信息, 具有颜色无关性, 可在一定程度上应对在彩色图像上遇到的挑战, 故而许多研究者围绕基于单一深度图像的人体姿态估计算法展开.在深度图像上, 基于无模型的人体姿态估计算法, 针对学习方法的不同, 可分为基于深度学习的方法和基于传统随机森林的方法.

在基于深度学习的姿态估计方法中, 文献[12]利用卷积神经网络(Convolutional neural network, CNN)搭建了用于关节坐标回归的网络框架, 并通过级联回归器的方式取得较好的姿态估计结果, 虽然此方法主要从整体的人体部件进行推理, 并未考虑到相邻部件间的局部上下文信息, 但也引起了后续研究者[9-11, 13-14]的关注.其中, 在深度图像上, 文献[14]采用长短期记忆网络架构(Long short-term memory, LSTM), 学习局部视点不变特征, 并利用自顶向下的错误反馈机制, 纠正姿态位置; 文献[13]则采用了MatchNet [15]计算全卷积网络(Fully neural network, FCN)预测的关节区域和模板之间的相似度的方法, 并通过相邻关节之间的配置关系, 来达到优化关节点位置的目的.

在对优化姿态的研究方面, 文献[16-17]针对人体图像遮挡问题, 提出采用基于范例的方法来纠正最初估计的姿态, 此方法虽能有效降低姿态错误估计, 但不能保证所纠正姿态的规范性, 因此文献[18]针对此问题, 将姿态纠正任务视为一种姿态优化问题, 在文献[16-17]的纠正结果上, 通过姿态先验模型来优化姿态效果, 保证姿态规范性.

而对于基于随机森林的姿态估计方法, 采用将深度图像像素逐一部位分类的思想, 此方法将姿态估计任务转为了对像素分类的问题, 降低了姿态估计的困难程度[5].其中文献[8]提出了使用随机森林训练部位模型, 并利用Mean-shift方法确定相应部位中关节点位置, 从而完成基于单一深度图像的3D人体姿态估计的任务; 文献[6]则根据Mean-shift方法对识别的身体部位聚类情况以及人体目标尺寸依赖较高等问题, 提出主方向分析算法(Principal direction analysis, PDA)来分析识别的身体部位, 通过求取部位主方向向量来估计出图像中的3D人体姿态.

综上, 针对深度图像的无模型人体姿态估计算法均取得了大量的研究成果.其中基于深度学习方法的人体姿态估计需要大量训练数据和训练时间, 才可达到较高的估计精度.而基于随机森林的方法, 与之相对来说, 可在较少训练样本的情况下, 取得不错的估计效果.因此本文从实验条件和方法性能两方面考虑, 针对随机森林方法进行研究和改进, 提出新的3D人体姿态估计算法.

在以往使用随机森林方法进行3D人体姿态估计的算法中, 由于部位分类模型分类准确率限制, 容易出现部位像素误分类的现象, 使得在识别的部位中引入误分干扰点, 这些部位干扰点对后续关节点的准确定位有一定的负面影响, 从而降低姿态估计的准确性.为此, 本文首先通过特征提取阶段的改进算法, 改善特征的表达性能, 提高部位分类准确率; 随后, 针对此估计算法中存在的像素误分类问题, 分别从识别部位误分点聚集情况和迭代整合思想出发, 提出误分类处理机制来去除识别部位中的干扰点, 以降低对姿态估计的影响; 最终通过改进的PDA算法得到更为准确的姿态估计结果.

图 1  合成深度图像数据库

图 2  算法整体流程图

图 3  偏移向量对示意图

基于深度图像的人体姿态估计是当前计算机视觉的难点之一.首先, 本文为提高随机森林分类准确率, 提出改进型自适应深度融合特征提取办法, 提高特征表征能力, 改善部位识别精度; 然后, 对于随机森林误分类现象, 为避免其对后续姿态估计的影响, 提出误分类处理机制来处理误分点, 获得更为准确的部位识别结果; 最后, 利用识别部位的尺寸信息, 提出位置权重处理办法再次去除部位误分点, 从而得到较优的3D人体姿态估计.实验表明结合改进的PDA算法, 多级随机森林整合算法获得的3D人体姿态估计较分级聚类算法更具有鲁棒性.

作者简介

王雪艳

北京工业大学信息学部研究生. 2016年获得河北工程大学信息与电气工程学院学士学位.主要研究方向为图像与视频处理. E-mail: xinxiY23@126.com

马杰

北京工业大学信息学部研究生. 2016年获得北京工业大学信息学部学士学位.主要研究方向为图像与视频信号处理. E-mail: 13241247924@163.com

孔欣然

北京工业大学信息学部研究生. 2016年获得北京工业大学信息学部学士学位.主要研究方向为图像与视频处理.E-mail:duzouran@163.com

蔡轶珩

北京工业大学信息学部副教授.美国罗切斯特大学访问学者. 1998年获得合肥工业大学精密仪器专业硕士学位. 2007年获得北京工业大学智能化信息处理专业博士学位.主要研究方向为医学图像信息处理, 光度立体三维表面重建, 视觉感知信息处理.本文通信作者. E-mail: caiyiheng@bjut.edu.cn