引用本文

王法胜, 李富, 尹双双, 王星, 孙福明, 朱兵. 全天实时跟踪无人机目标的多正则化相关滤波算法. 自动化学报, 2023, 49(11): 2409−2425 doi: 10.16383/j.aas.c220424

Wang Fa-Sheng, Li Fu, Yin Shuang-Shuang, Wang Xing, Sun Fu-Ming, Zhu Bing. All-day and real-time multi-regularized correlation filter for UAV object tracking. Acta Automatica Sinica, 2023, 49(11): 2409−2425 doi: 10.16383/j.aas.c220424

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220424

关键词

无人机目标跟踪，相关滤波，自适应图像增强模块，轻量型深度网络，高斯形状掩膜 

摘要

相关滤波算法(Correlation filter, CF)已广泛应用于无人机目标跟踪. 然而, 受无人机 (Unmanned aerial vehicle, UAV) 平台本身计算性能的制约, 现有的无人机相关滤波跟踪算法大都仅采用手工特征来描述目标的外观, 难以获得目标的全面语义信息. 并且这些跟踪算法仅能较好地进行光照条件良好场景下的跟踪, 而在跟踪夜间场景下的目标时性能严重下降. 此外, 相关滤波跟踪器采用余弦窗口来抑制循环移位产生的边界效应, 缩小了样本提取区域, 产生了训练样本污染的问题, 这不可避免地降低了跟踪器的性能. 针对以上问题, 提出全天实时多正则化相关滤波算法(All-day and real-time multi-regularized correlation filter, AMRCF)跟踪无人机目标. 首先, 引入一个自适应图像增强模块, 在不影响图像各通道颜色比例的前提下, 对获得的图像进行增强, 以提高夜间目标跟踪性能. 其次, 引入一个轻量型的深度网络来提取目标的深度特征, 并与手工特征一起来表示目标的语义信息. 此外, 在算法框架中嵌入高斯形状掩膜, 在抑制边界效应的同时, 有效避免训练样本污染. 最后, 在5个公开的无人机基准数据集上进行充分的实验. 实验结果表明, 所提出的算法与多个先进的相关滤波跟踪器相比, 取得了有竞争力的结果, 且算法的实时速度约为25 fps, 能够胜任无人机的目标跟踪任务.

文章导读

近年来, 无人机 (Unmanned aerial vehicle, UAV) 目标跟踪技术在道路规划、交通监控等问题中得到广泛应用[1]. 目前, 有两类目标跟踪算法得到研究人员的高度关注: 基于相关滤波(Correlation filter, CF)的跟踪方法和基于深度学习(Deep learning, DL)的跟踪方法[2]. 后者使用一个或多个深度网络对目标进行跟踪, 大大提高了跟踪的准确性和鲁棒性. 但是这类方法需要较高的算力, 导致其在无人机平台上难以满足实时跟踪目标的要求. 而CF跟踪方法因具有较低的计算成本和较高的跟踪精度, 在无人机目标跟踪领域得到了广泛的应用[3]. 这类方法通过空间域中的循环移位生成训练样本[4], 但循环移位操作会导致出现边界效应问题, 从而降低滤波器的判别力. 为此, 研究人员提出在跟踪框架中加入余弦窗口来抑制边界效应[4-5], 并在此基础上结合其他策略来进一步增强算法的判别能力. 例如, 具有尺度和旋转自适应的长时目标跟踪算法[6], 提出将傅里叶−梅林变换与核相关滤波方法结合, 以提高滤波器对尺度和旋转参数估计的鲁棒性和准确性. 融合显著性与运动信息的相关滤波跟踪算法[7], 将目标的像素级概率性表征模型与相关滤波算法融合, 并且提出一种基于显著性的观测模型, 提高算法面对复杂跟踪场景时识别目标的能力. 另有研究人员提出空间正则化[5, 8-10]和上下文学习[11-14]等策略提高相关滤波的性能. 但这些算法均使用余弦窗口, 而余弦窗口的引入对训练样本造成了污染, 降低了算法的跟踪性能.

CF跟踪算法中采用的手工特征主要包括灰度特征、方向梯度直方图(Histogram of oriented gradient, HOG)和颜色名称(Color names, CN)等. Bolme等[15]首次提出了仅使用灰度特征的CF跟踪算法. 后续的一些工作[4, 16-17]为了学习具有多通道的滤波器, 使用了灰度特征、HOG、CN等多种特征的组合. 但手工特征无法表述目标全部的语义信息. 随着ResNet、VGG (Visual geometry group)等提取深度特征的卷积神经网络(Convolutional neural network, CNN)在诸如图像分类和图像识别等具有挑战性视觉任务上取得巨大成功, 研究人员开始将深度特征加入到CF跟踪框架中[18-19], 显著提高了CF跟踪算法的鲁棒性. 但CNN特征的计算负担较高, 严重影响跟踪器的实时性. 受到无人机平台本身计算性能的限制(仅搭载CPU), 现有的无人机目标跟踪算法[20-22]大都仅使用手工特征来描述目标的外观. 此外, 这些跟踪算法仅能较好地处理光照条件良好的跟踪场景, 而在跟踪夜间场景下的目标时则遇到性能严重下降的挑战.

为了解决以上问题, 本文提出一种全天实时多正则化相关滤波算法(All-day and real-time multi-regularized correlation filter, AMRCF)跟踪无人机目标, 即, 以多正则化的相关滤波器为基础框架[21], 引入自适应图像增强模块、轻量型深度网络和高斯形状掩膜. 首先, 引入一个自适应图像增强模块, 在不影响图像各通道颜色比例的前提下, 对获得的图像进行增强, 以提高夜间目标的跟踪性能. 其次, 引入一个轻量型的深度网络来提取目标的深度特征, 并与手工特征一起来表示目标的语义信息. 此外, 在算法框架中嵌入高斯形状掩膜, 在抑制边界效应的同时, 有效避免训练样本污染. AMRCF与其他先进的目标跟踪算法在DTB70基准数据集[23]上的总体比较如图1所示.

图 1  AMRCF与其他算法在DTB70上的总体性能比较

本文主要贡献如下:

1)以多正则化的相关滤波器为基础框架, 引入一个自适应图像增强模块, 自动判别无人机目标场景的光照条件, 并在不改变图像各通道颜色比例的前提下, 根据判别结果对图像进行相应的处理.

2)引入轻量型的深度网络[24]来提取目标的深度特征, 并与手工特征一起表示目标的语义信息. 该网络的计算量小, 使用CPU平台便可以进行特征的提取, 并且不会大幅降低算法的跟踪速度.

3)在CF跟踪框架中嵌入高斯形状掩膜, 建立相关滤波跟踪算法模型, 并使用交替方向乘子方法优化求解, 在抑制边界效应的同时, 减少样本污染问题.

4)在5个公开的无人机基准数据集DTB70[23]、UAVTrack112[25]、UAVDark135[26]、VisDrone-SOT2018[27]和UAV123[28]上进行综合实验. 结果表明, 所提出的算法具有较高的精确度和鲁棒性. 本文算法代码及结果发布于https://gitee.com/he_bing_DLMZ/amrcf.

图 2  AMRCF跟踪算法框架图

图 3  原始图像与增强图像的对比(每组图像的第一行是原始图像, 第二行是相应的增强图像)

本文提出一种全天实时跟踪无人机目标的多正则化相关滤波算法AMRCF, 在不改变图像各通道颜色比例的前提下, 使用自适应图像增强模块对夜间图像进行光照增强处理, 以应对夜间无人机目标跟踪的挑战; 同时, 在保证实时性的前提下, 引入一个轻量型深度网络CF-VGG来提取目标的深度特征, 联合手工特征一起描述目标的语义信息, 提高跟踪器的鲁棒性; 通过嵌入高斯形状掩膜, 在抑制边界效应的同时, 解决训练样本污染问题, 提高滤波器的训练质量. 在5个公开的无人机基准数据集上的实验结果表明, 与先进的无人机目标跟踪算法相比, AMRCF算法表现出较强的竞争力, 并且具有较好的实时性. 在下一步工作中, 将考虑在本文算法框架中加入重检测模块, 进一步提升算法的性能.

作者简介

王法胜

大连民族大学信息与通信工程学院教授. 主要研究方向为计算机视觉, 模式识别. E-mail: wangfasheng@dlnu.edu.cn

李富

大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉. E-mail: fuliytu@163.com

尹双双

大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉. E-mail: yss460229828@163.com

王星

大连民族大学信息与通信工程学院硕士研究生. 主要研究方向为计算机视觉. E-mail: dlnuwangxing@gmail.com

孙福明

大连民族大学信息与通信工程学院教授. 主要研究方向为计算机视觉, 多媒体技术. 本文通信作者. E-mail: sunfuming@dlnu.edu.cn

朱兵

哈尔滨工业大学电子与信息工程学院副研究员. 主要研究方向为图像处理, 模式识别. E-mail: zhubing@hit.edu.cn