引用本文

韩佳艺, 刘建伟, 陈德华, 徐璟东, 代琪, 夏鹏飞. 深度长尾学习研究综述. 自动化学报, 2025, 51(5): 985−1020 doi: 10.16383/j.aas.c240077

Han Jia-Yi, Liu Jian-Wei, Chen De-Hua, Xu Jing-Dong, Dai Qi, Xia Peng-Fei. Survey on deep long-tailed learning. Acta Automatica Sinica, 2025, 51(5): 985−1020 doi: 10.16383/j.aas.c240077

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240077

关键词

深度长尾学习，长尾分布，不平衡学习，深度学习 

摘要

深度学习是一门依赖于数据的科学, 传统深度学习方法假定在平衡数据集上训练模型, 然而, 现实世界中大规模数据集通常表现出长尾分布现象, 样本数量众多的少量头部类主导模型训练, 而大量尾部类样本数量过少, 难以得到充分学习. 近年来, 长尾学习掀起学术界的研究热潮. 本文综合梳理和分析近年来发表在高水平会议或期刊上的文献, 对长尾学习进行全面综述. 具体而言, 根据深度学习模型设计流程, 将图像识别领域的长尾学习算法分为丰富样本数量与语义信息的优化样本空间方法, 关注特征提取器、分类器、logits和损失函数这四个基本组成部分的优化模型方法, 以及通过引入辅助任务来帮助模型训练并在多个空间共同优化长尾学习模型的辅助任务学习3大类, 根据提出的分类方法综合对比分析每类长尾学习方法的优缺点. 然后, 进一步将基于样本数量的狭义长尾学习概念推广至多尺度广义长尾学习. 此外, 对文本数据、语音数据等其他数据形式下的长尾学习算法进行简要评述. 最后, 讨论目前长尾学习面临的可解释性较差、数据质量较低等挑战, 并展望如多模态长尾学习、半监督长尾学习等未来具有潜力的发展方向.

文章导读

近年来, 深度学习为计算机视觉、自然语言处理、自动驾驶等领域带来了突破性进展. 然而, 深度学习的优势通常依赖于海量数据资源, 当数据量不足、数据质量较差或数据集分布不平衡时, 深度模型的性能会受到严重影响. 大多数真实数据集通常呈现长尾分布(Long-tailed distribution), 即数据集中的大部分数据属于少量头部类, 而大量尾部类在数据集中出现的频率极低, 每类样本数量从头部到尾部呈指数递减[1−2]. 在模型训练过程中, 头部类主导了模型参数优化过程, 导致模型对头部类表现出过强的偏好[3]. 另一方面, 由于尾部类包含的样本数量过少, 模型对尾部类学习不充分, 难以学到良好的特征表示[4]. 传统长尾学习算法通常假设训练集服从长尾分布, 并假设测试集服从类平衡分布, 这种分布上的差异也是造成长尾学习模型泛化能力与鲁棒性下降的原因之一. 深度长尾学习指通过深度神经网络学习长尾分布训练集, 使其准确、公平地识别未知分布测试集的每个样本. 长尾学习适用于数据本身类分布具有稀疏性的学习场景, 能够降低人工收集稀有类数据来构建平衡数据集的高昂成本, 对于深度学习进一步部署于实际学习环境中有着重要意义[5]. 

从2016年开始, 不断涌现出大量长尾学习的研究工作. 早期方法主要关注于使得各个类不平衡的数据趋于类平衡, 即在模型训练过程中平衡各类样本数量或损失值, 包括重采样[6−7]、数据增强[8−10]、代价敏感加权损失函数[11−13]等方法. 2019年, Kang等[1]提出解耦长尾学习, 将表示学习与分类器学习解耦, 在原始长尾数据上学习泛化性良好的特征表示, 然后通过类平衡学习方法微调分类器. 同时期, Zhou等[14]构建双分支孪生网络实现端到端的解耦学习. 此后, 长尾学习进入发展的繁荣期, 部分文献基于头尾知识迁移思想[10, 15−16], 利用头部类丰富、完整的训练资源指导尾部类的学习. 另外, 一些研究主张将长尾数据集划分为多个分布更平衡的子集, 通过知识蒸馏[17]、集成学习[18−20]等方法提升模型鲁棒性与泛化能力. 长尾学习与其他领域交叉的过程中, 逐渐融合了度量学习[21−22]、层次学习[23−25]、因果推断[26−27]、对抗学习[28]、元学习[29−30]、提示学习[31]等先进算法. 2022年, Tang等[32]提出广义长尾分布概念, 将类间样本数量的长尾分布拓展到类内样本属性层面的长尾分布, 向贴近现实世界的应用研究迈出积极的一步. 

深度长尾学习在许多应用领域发挥重要作用. 在计算机视觉领域, 长尾学习算法用于解决医疗影像识别[33−35]、遥感图像检测[36−37]、声纳图像识别[38]、人脸识别[39−40]、视频分类[41]等任务的数据长尾分布问题. 在自然语言处理[42]领域中, 研究人员应用长尾学习模型完成文本关系抽取[43]、多标签文本分类[44]、机器阅读理解[45]等任务. 此外, 长尾学习在语音识别[46]、故障诊断[47]、推荐系统[48]、日常行为识别[49]等领域也取得了广泛的应用. 

尽管长尾学习发展迅猛, 涌现出大量杰出工作, 但针对长尾学习的综述文献寥寥无几. Zhang等[50]首次对长尾学习展开系统回顾, 将长尾学习方法分为类再平衡、信息增强与模型改进三大类. Yang等[5]从表征学习的角度将长尾学习细分为数据处理、代价敏感加权、解耦学习等十类, 并概述了每一类的亮点和局限性. 为帮助初学者理解长尾学习的研究思路和设计方法, 本文从深度学习的设计流程出发, 构建一种新的长尾学习分类方法. 对于图像识别领域, 重采样与数据增强本质上都属于构建信息量更均衡的输入样本空间. 优化特征提取器、优化分类器、logits调整和代价敏感加权损失函数方法旨在优化模型结构或模型参数, 属于优化模型空间的方法. 在此基础上, 解耦学习、度量学习、知识蒸馏、集成学习和层次学习通过引入辅助任务, 同时优化多个空间上的任务. 此外, 广义长尾分布则是从多尺度建模长尾分布. 

本文收集了2016年至今在高水平期刊与会议上发表的有关长尾学习的文献, 并加以梳理、归纳与评述. 与先前的英文综述相比, 本文的优势有以下3点: 

1)提出一种逻辑性更强、更贴近深度学习实际设计流程的新颖分类方法. 具体而言, 首先以深度学习的设计流程为线索, 将视觉领域的长尾学习算法分为优化样本空间与优化模型空间两个大类. 然后, 从任务学习的角度理解与其他领域的深度学习算法相结合、在多个空间进行混合优化的长尾学习算法. 在每个子类中, 根据研究动机与实现手段对文献进一步细化归类. 既从宏观上保证了整体分类的综合性, 又细致完整地涵盖了长尾学习的各个子类型, 避免了内容的杂糅. 

2)从更广义的视角给出长尾分布的描述, 从类内属性、特征表示、领域等多个角度探索数据内部蕴含的长尾分布现象. 

3)在现实世界中, 长尾分布数据广泛存在于各种应用场景, 本文介绍文本数据、图结构数据、多模态数据、时序数据、语音数据、故障数据这6种常见的数据形式下的长尾学习研究工作. 

本文内容设置如下: 第1节介绍长尾学习的背景知识, 包括问题定义、与其他领域算法的关系、常用数据集与评价指标. 第2节针对图像识别领域的长尾学习算法展开全面的回顾与评述, 并引入本文提出的分类方法. 第3节列举其他数据形式下的长尾学习工作. 第4节对深度长尾学习的挑战与机遇提出一些见解. 第5节进行全文总结. 本文组织结构如图1所示. 

图 1  深度长尾学习研究综述组织结构图

图 2  长尾训练集示意图

图 3  长尾测试集示意图

本文归纳与评述了长尾学习的研究现状, 依据模型设计流程将图像识别领域的长尾学习算法分为优化样本空间、优化模型空间和辅助任务学习三大类, 并详细分析每类长尾学习范式的研究动机与算法特点, 对比了各种方法的优缺点. 然后, 进一步将狭义长尾分布推广到广义长尾分布, 并对自然语言处理、时序预测等多种其他数据形式下的长尾分布任务场景进行介绍. 最后, 从可解释性、数据质量、模型性能、计算资源和评价指标这5个方面讨论了目前长尾学习研究的瓶颈, 并提出若干个有前景的未来发展方向, 为读者提供更多思路. 

作者简介

韩佳艺

中国石油大学(北京)人工智能学院自动化系博士研究生. 主要研究方向为深度长尾学习, 计算机视觉. E-mail: 2022310703@student.cup.edu.cn

刘建伟

中国石油大学(北京)人工智能学院自动化系副教授. 2006年获得东华大学博士学位. 主要研究方向为智能系统, 机器学习, 复杂非线性系统的分析、预测与控制. E-mail: liujw@cup.edu.cn

陈德华

东华大学计算机科学与技术学院教授. 主要研究方向为数据科学, 深度学习. 本文通信作者. E-mail: chendehua@dhu.edu.cn

徐璟东

中国石油大学(北京)人工智能学院自动化系硕士研究生. 主要研究方向为深度长尾学习, 因果推断. E-mail: 2022211221@student.cup.edu.cn

代琪

2024年获得中国石油大学(北京)控制理论与控制工程专业博士学位. 主要研究方向为数据挖掘, 机器学习.E-mail: daiqi0622@ncst.edu.cn

夏鹏飞

东华大学计算机科学与技术学院博士研究生. 主要研究方向为深度学习, 计算机视觉.E-mail: x6635570@163.com