引用本文

刘畅, 赵巍, 刘鹏, 唐降龙. 目标跟踪中辅助目标的选择、跟踪与更新. 自动化学报, 2018, 44(7): 1195-1211. doi: 10.16383/j.aas.2017.c160532

LIU Chang, ZHAO Wei, LIU Peng, TANG Xiang-Long. Auxiliary Objects Selecting, Tracking and Updating in Target Tracking. ACTA AUTOMATICA SINICA, 2018, 44(7): 1195-1211. doi: 10.16383/j.aas.2017.c160532

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160532

关键词

目标跟踪，动态背景，辅助目标，跟踪器融合 

摘要

在目标的动态背景中存在有利于目标跟踪的信息.使用辅助目标来描述目标的动态背景，在跟踪目标的同时建立辅助目标与目标之间的运动依赖关系.用多个辅助目标预测目标的位置，将辅助目标预测结果与目标跟踪器预测结果融合得到目标位置.方法包括，利用辅助目标与目标之间的运动依赖关系和辅助目标自身跟踪精度的辅助目标选择方法；使用多个低精度辅助目标跟踪器获得良好的目标预测结果的辅助目标跟踪和目标预测方法；以及根据目标跟踪结果更新辅助目标跟踪参数的方法.辅助目标具有多样性和独立性.基于辅助目标的目标跟踪方法可以与其他目标跟踪器结合，具有推广泛化能力.实验结果表明，辅助目标在目标跟踪中发挥重要作用，与其他目标跟踪方法对比结果表明，有更好的鲁棒性和目标跟踪精度.

文章导读

目标跟踪是指给定目标在图像中的初始位置, 预测图像序列中的目标变化, 是计算机视觉研究的热点领域.目标跟踪器的跟踪能力主要体现在鲁棒性和实时性.跟踪方法的鲁棒性不仅反映该方法的精确度, 也包括对特殊情况, 例如光照变化和背景干扰等的适应性和通用性.一般而言, 鲁棒的跟踪方法可以长时间有效跟踪目标.实时性是在线跟踪的一项重要评价指标, 反映了方法的运行效率.

传统的目标跟踪一般从目标表示出发, 提取用于跟踪的特征, 先对目标进行检测分割, 再进行跟踪[1].跟踪方法包括点跟踪、核跟踪和轮廓跟踪.现有的目标跟踪方法不仅对目标提取特征, 而且针对目标外观变化对目标建立外观模型, 进行在线学习[2-3].目标跟踪方法依据在线学习方式的不同主要分两类, 一类是产生式模型(Generative model), 根据已有的跟踪结果更新目标模板, 在下一帧中寻找相似性最大的区域作为目标; 另一类是判别式模型(Discriminative model), 将目标区域和非目标区域视为两类, 根据已有的采样样本训练分类器, 将下一帧图像分为两类, 得到目标.实际应用中, 成像条件、成像环境以及目标运动的特点等因素对目标跟踪的效果产生重要影响.这些因素包括光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、超出平面的旋转、目标脱离视场、背景干扰、图像低分辨率等.而对目标跟踪器性能的评价是在所有因素共同作用下跟踪效果的评价[4].

利用上下文信息可以改善在复杂环境中目标跟踪的效果.在目标跟踪中, 上下文信息是指瞬时的目标及其周围背景.目标上下文与目标之间有关联.利用目标上下文和目标之间的关联有助于提高目标跟踪效果.例如跟踪运动员时, 运动员身上的标签, 以及其他运动员都对运动员状态的预测有帮助.通常目标与周围每一点都有运动联系, 相对周围每一点在任一时刻靠近、远离或保持一致, 短时间内运动关系变化很小.将图像中与目标有一定联系, 能够预测目标运动的物体称为目标跟踪的辅助目标(Auxiliary objects), 辅助目标与目标之间存在运动动依赖关系.辅助目标在运动场景中是广泛存在的, 例如运动员身上的标签、旁边的运动员、跑道线、影子等.使用辅助目标来表示目标上下文, 建立辅助目标与目标之间的关系能够提高目标跟踪的性能.

本文提出一种利用辅助目标来改善目标跟踪效果的方法(Auxiliary objects for visual tracking, AOT), 包括辅助目标选择方法、目标与辅助目标运动关系建模方法和辅助目标更新方法.在目标跟踪过程中同时跟踪目标和被选择的辅助目标.通过学习建立目标与辅助目标之间的运动关系模型来描述每一个辅助目标与目标之间在运动上的依赖关系.用辅助目标预测目标的状态, 将预测结果与对目标自身的跟踪结果融合, 改善在复杂环境中目标跟踪的精度.在跟踪过程中, 淘汰依赖关系过度衰减的辅助目标, 补充依赖关系增强的目标.从本质上讲, 在目标周围的辅助目标是目标跟踪中的动态背景.在以往的研究中, 通常将背景, 特别是动态背景视为目标跟踪中的不利因素.但是, 本文提出的方法从动态背景中挖掘有利信息—辅助目标与目标之间的依赖关系, 而且辅助目标选择方法和更新方法使目标状态预测精度与目标跟踪精度之间实现平衡.本文提出的利用辅助目标改善目标跟踪效果的方法不依赖于具体的目标跟踪器, 可以与多种目标跟踪器结合使用, 具有明显的推广能力, 并且该方法对复杂环境有鲁棒性, 在背景干扰、目标形变、遮挡等条件下能够取得良好的跟踪效果.

图 1  辅助目标在目标跟踪中的作用示意图

图 2  用辅助目标跟踪的目标跟踪方法的框架

图 3  候选辅助目标选择

本文提出目标跟踪过程中辅助目标的选择、跟踪和更新方法.将辅助目标作为目标的动态背景描述.在动态背景中挖掘有利于目标跟踪的上下文信息, 建立辅助目标与目标之间的运动依赖关系.通过辅助目标自适应选择、跟踪、目标位置预测机制和参数更新, 使基于辅助目标的目标跟踪方法在目标跟踪过程中一直追寻目标周围的背景变化, 使方法在复杂环境下具有鲁棒性.利用辅助目标的多样性, 使用多个辅助目标预测目标的位置, 实现用多个低精度辅助目标跟踪获得良好的目标预测结果的目的.将辅助目标跟踪器预测结果与目标跟踪器预测结果融合, 有效地抑制了目标漂移.本文方法不依赖于具体的目标跟踪器, 可以与不同的目标跟踪方法结合使用, 具有推广能力.实验结果表明, 辅助目标在目标跟踪中发挥重要作用, 与多种目标跟踪方法对比, 结果表明本文方法有良好的跟踪性能.本文方法在目标发生大幅度尺度变化与长期遮挡时, 辅助目标与目标直接的关系会不稳定, 本文方法通过更新辅助目标的作用权值淘汰所有辅助目标, 即没有辅助目标参与目标跟踪过程, 方法退化为一般的KCF目标跟踪方法.在下一步的工作中将研究辅助目标的重检测方法, 用来在大尺度变化或长期遮挡情况结束后自主恢复辅助目标跟踪.

作者简介

刘畅

哈尔滨工业大学计算机科学与技术学院博士研究生.主要研究方向为计算机视觉与模式识别.E-mail:magicallc@126.com

赵巍  

哈尔滨工业大学计算机科学与技术学院副教授.2006年获得哈尔滨工业大学计算机应用技术博士学位.主要研究方向为计算机视觉与模式识别.E-mail:zhaowei@hit.edu.cn

唐降龙  

哈尔滨工业大学计算机科学与技术学院教授.1995年获得哈尔滨工业大学计算机应用技术博士学位.主要研究方向为计算机视觉与模式识别.E-mail:tangxl@hit.edu.cn

刘鹏  

哈尔滨工业大学计算机科学与技术学院副教授.2007年获得哈尔滨工业大学微电子与固体电子学博士学位.主要研究方向为计算机视觉与模式识别.本文通信作者.E-mail:pengliu@hit.edu.cn