引用本文

朱红蕾, 朱昶胜, 徐志刚. 人体行为识别数据集研究进展. 自动化学报, 2018, 44(6): 978-1004. doi: 10.16383/j.aas.2018.c170043

ZHU Hong-Lei, ZHU Chang-Sheng, XU Zhi-Gang. Research Advances on Human Activity Recognition Datasets. ACTA AUTOMATICA SINICA, 2018, 44(6): 978-1004. doi: 10.16383/j.aas.2018.c170043

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170043

关键词

计算机视觉，行为识别，真实场景，多视角，多模态 

摘要

人体行为识别是计算机视觉领域的一个研究热点，具有重要理论价值和现实意义.近年来，为了评价人体行为识别方法的性能，大量的公开数据集被创建.本文系统综述了人体行为识别公开数据集的发展与前瞻：首先，对公开数据集的层次与内容进行归纳.根据数据集的数据特点和获取方式的不同，将人体行为识别的公开数据集分成4类.其次，对4类数据集分别描述，并对相应数据集的最新识别率及其研究方法进行对比与分析.然后，通过比较各数据集的信息和特征，引导研究者选取合适的基准数据集来验证其算法的性能，促进人体行为识别技术的发展.最后，给出公开数据集未来发展的趋势与人体行为识别技术的展望.

文章导读

人体行为识别是一个多学科交叉的研究方向, 涉及图像处理、计算机视觉、模式识别、机器学习、人工智能等多个学科, 是计算机视觉领域的一个重要研究课题[1].随着数字图像处理技术和智能硬件制造技术的飞速发展, 人体行为识别在智能视频监控[1-3]、自然人机交互[4-6]、智能家居[7-9]、虚拟现实[10]等领域具有广泛的应用前景.

自以色列魏茨曼科学研究所于2001年发布基于事件的视频分析数据库[11]以来, 许多人体行为数据集陆续公开发布, 对促进人体行为识别方法的研究起到关键的作用, 也对计算机视觉研究的发展具有很大的推动作用.公开的人体行为数据集为众多研究者提供了一定的研究规范, 使研究者可以利用相同的输入数据来比较不同识别方法的相关性能, 是校验识别方法性能优劣的重要标准.

人体行为数据集的更新和发展在计算机视觉领域起到了方向标的作用.而各个公开的人体行为数据集在相机状态、拍摄视角、活动场景、行为类别以及视频规模等方面具有很大的差异.因此, 对公开数据集进行对比分析, 有利于研究者根据自己的需求选择合适的数据集, 缩短研究周期.截至目前, 已有一些涉及行为识别数据集相关的综述性文章[12-14]. Ahad等[12]简单介绍了与人体行为相关的数据集信息. Chaquet等[13]较详尽地介绍与人体行为和活动相关的数据集, 并罗列出应用各个数据集的相应文献, 但没有提供数据集的最新研究成果.而等[14]针对涉及深度信息的行为识别数据集进行了详细介绍, 但有些数据集的信息和研究成果需要更新.还有一些综述性文章[15-18], 侧重于行为识别的研究方法, 而对相关数据集介绍较简单.

根据数据集的数据特点和获取方式, 可以把人体行为识别领域常用的公开数据集分为4类:通用数据集、真实场景数据集、多视角数据集和特殊数据集.而根据人的行为方式可以将公开数据集分为三类:个体行为数据集、交互行为数据集和群体行为数据集.根据第一种分类方式, 下面的章节将分别对4类数据集及其研究方法进行详细介绍.

图 1  KTH数据集示例图

图 2  Sample images of KTH dataset

图 4  UCF Sports数据集示例图

总体而言, 早期的公开数据集相机固定、行为类别较少、背景较简单.而近几年发布的人体行为识别公开数据集有如下几个趋势:

1) 行为类别和数量越来越多.随着科技的发展和设备的进步, 发布的公开数据集的行为类别从最初KTH的6种行为类别发展到Sports-1M的487种行为类别.而视频的数量从100个左右发展到1M.近期, Google又公布了一个大型视频数据集YouTube-8M[146].该数据集是目前最大的视频数据集, 包含800万个YouTube视频共计4 800个类别, 并带有视频标注.而其中与人相关的视频只是其中的一小部分, 大约有8 000个.虽然如此, 但可以肯定, 人体行为识别公开数据集的规模会越来越大, 行为类别的数量会越来越多.

2) 行为越来越复杂.公开数据集的人体行为从走、跑、跳等简单的行为发展到涉及人与人交互、人与物交互、异常行为、群体行为等复杂行为.对异常行为、交互行为、群体行为等复杂行为的识别, 逐渐成为研究者关注的热点, 并将为以后公共场所的安全防范提供有力的保障.

3) 场景越来越复杂.数据集的视频从简单场景到复杂场景, 并伴有遮挡、光照等噪声影响, 给人体行为识别的研究带来进一步的挑战.因此, 如何降低噪声对识别效果的影响是人体行为识别未来的研究方向之一.

4) 多视角化.较早的公开数据集相机基本固定, 几乎没有视角变化.近几年的数据集出现了相机运动和视角变化.而相机在不同视角下, 人、物和场景的大小、方向和形状都会发生变化, 这给行为识别的研究提出了新要求.在行为识别中, 多视角的研究具有一定的优势, 通过视角变化对人体行为进行二维或三维建模, 利用相同点在模型不同位置的匹配和分析实现不同视角下人体行为特征的表征.因此, 视角无关的行为识别研究也是人体行为识别未来的研究方向之一.

5) 多模态化.随着各式新型传感器和设备的发展, 相继出现了包含RGB视频、深度信息、骨架信息、红外信息等多模态信息的数据集.不同模态数据之间存在较强相关性, 利用人体行为语义信息和互补性信息, 从多模态的低层特征学习到高层语义特征来进行人体行为识别, 这也将成为未来的研究方向.

总之, 人体行为识别公开数据集越来越接近于不受控的自然状态下的情形, 给研究者在保持算法鲁棒性的同时, 提高行为识别准确率带来更大的难度.而随着深度学习在目标检测、分类等领域的应用, 其强大的数据表达能力, 必将为提高行为识别的性能开辟一个新的研究方向.

作者简介

朱昶胜

兰州理工大学计算机与通信学院教授.2006年获得兰州理工大学博士学位.主要研究方向为高性能计算, 数据分析与理解.E-mail:zhucs2008@163.com

徐志刚 

兰州理工大学计算机与通信学院副教授.2012年获得中国科学院研究生院博士学位.主要研究方向为计算机视觉与图像处理.E-mail:xzgcn@163.com

朱红蕾 

兰州理工大学计算机与通信学院博士研究生.2004年获得兰州理工大学硕士学位.主要研究方向为计算机视觉与模式识别.本文通信作者.E-mail:zhuhllut@139.com