引用本文
金军委, 常少凯, 耿彪, 李艳婷, 赵孟, 王震, 陈俊龙, 李鹏. 松弛图嵌入的判别宽度学习系统以及在视觉识别中的应用. 自动化学报, 2025, 51(6): 1388−1402 doi: 10.16383/j.aas.c240734
Jin Jun-Wei, Chang Shao-Kai, Geng Biao, Li Yan-Ting, Zhao Meng, Wang Zhen, Chen C. L. Philip, Li Peng. Relaxed-graph embedding discriminative broad learning system and its application in visual recognition. Acta Automatica Sinica, 2025, 51(6): 1388−1402 doi: 10.16383/j.aas.c240734
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240734
关键词
宽度学习系统，松弛图，柔性标签，视觉识别
摘要
宽度学习系统作为一种轻量级网络, 在效率和准确性之间实现了良好的平衡. 然而, 宽度学习系统主要依赖严苛的二元标签进行监督并且在数据变换过程中忽视局部结构信息, 这些问题限制了模型的性能. 为解决此问题, 提出一种松弛图嵌入的判别宽度学习系统模型并将其应用于视觉识别, 旨在通过松弛图结构与柔性标签的引入提升模型性能. 创新性如下: 1)创新地使用双变换矩阵构建松弛图, 将变换矩阵的责任分离, 减少变换矩阵的负担, 从而学习更加灵活的变换矩阵, 解决了模型过拟合问题; 2)引入柔性标签策略, 扩大不同类别标签之间的距离, 解决了严苛二元标签的问题, 提高了模型的判别能力; 3)提出一种基于交替方向乘子法的迭代优化算法, 实现了模型的高效优化. 在人脸图像数据集、物体图像数据集、场景图像数据集以及手写体图像数据集上的大量实验证明提出的模型与其他先进的识别算法相比具有优势.
文章导读
随着人工智能领域的快速发展, 基于神经网络的方法被大量开发并用于处理分类识别任务, 涵盖从人脸识别[1]、动作识别[2]、医学图像分析[3]到遥感图像分类[4]等各种实际应用. 深度神经网络因其能够拟合复杂函数的特点, 被广泛应用于提取图像、语音、文本等数据的抽象特征[5], 且提取的特征比人为设定的特征具有更强的泛化性能. 然而, 深度神经网络涉及大量的超参数, 导致难以从理论上进行分析. 此外, 这些超参数通常通过梯度下降进行优化, 导致训练时间过长等问题.
近年来, Chen等[6]提出一种新型的随机神经网络结构——宽度学习系统(Broad learning system, BLS), 其因随机化和扁平化的结构避免了耗时的参数训练过程, 在分类准确性与计算效率[7]之间实现了良好的平衡, 在人工智能领域引起极大的关注. 标准BLS的整体架构如图1所示, 输入数据首先通过映射产生一系列的随机特征, 随后将这些随机特征传播到增强特征. 最后, 将这两种类型的特征结合为宽度转换特征并连接到标签空间, 其中连接所需权重可以通过解析求解岭回归得到. 此外, BLS的通用逼近能力也得到证明[8]. BLS简洁的网络架构和计算吸引力, 吸引了众多学者的进一步研究. 例如, 赵慧敏等[9]提出基于流形正则化框架和最大均值差异的域自适应BLS模型, 用于跨域图像分类. Duan等[10]研究新型级联模糊BLS算法, 通过将多个模糊BLS块组合或级联在一起, 解决了传统BLS性能饱和的问题[11]. Liu等[12]提出一种基于模态回归的BLS模型, 用于处理受噪声和异常值影响的回归和分类任务. Shi等[13]提出一种用于旋转机械故障的半监督类增量宽度网络, 应对工业数据不断增长和标签样本不足的挑战[14]. Jin等[15]基于标准BLS进一步设计最大似然鲁棒宽度学习. 在大多数情况下, BLS及其变体能够在识别任务中取得良好效果. 然而, 在复杂情境下, 这些方法依赖于严苛的二元标签向量, 限制了模型的灵活性[16]. 同时, 二元标签将不同类别之间的距离固定为$ \sqrt{2} $, 导致难以有效区分样本, 进而影响模型的泛化能力[17]. 为解决严苛二元标签的限制, Xiang等[18]提出一种拖拽技术强制将不同类别的标签朝相反方向移动, 以此来扩大不同类别标签之间的距离. 基于这种思想, Jin等[19]进一步发展出柔性标签策略并引入BLS中, 提出基于标签拖拽的流形宽度学习系统(Label dragging-based manifold broad learning system, LDMBLS)并将其应用于多类图像识别, 该模型通过引入柔性标签策略以及构建类紧致图进一步提升了模型效果.
图 1 标准宽度学习系统网络架构
虽然LDMBLS通过构建类紧致图捕获数据的局部结构, 但图构建时使用的变换矩阵仍需负责将样本映射至标签空间, 这样学习到的变换矩阵过于严苛. 因为变换矩阵$ \boldsymbol{W} $不仅负责将宽度特征转换到柔性标签空间中, 而且还要负责保持数据的局部结构. 由于要兼顾这两方面, 变换矩阵$ \boldsymbol{W} $的自由度不可避免地受到限制, 难以学到更加具有灵活性与判别性的变换矩阵, 从而无法完美解决过拟合问题, 影响模型的泛化能力. 为解决这一问题, 本文通过引入新变换矩阵, 分担$ \boldsymbol{W} $保留数据局部结构的责任, 使用双变换矩阵构建松弛图, 给予$ \boldsymbol{W} $更多的自由度, 从而学习到更具判别性的变换矩阵. 本文的核心贡献如下:
1)引入双变换矩阵完美分离映射样本至标签空间以及保持数据流形结构这两方面的责任, 并且引入柔性标签策略, 尽可能地扩大不同类别标签之间的距离, 增强了模型的判别能力;
2)通过结构一致性约束项以及双变换矩阵构建松弛图嵌入, 使得在增强$ \boldsymbol W $的判别能力的同时提升$ \boldsymbol W $的灵活性, 解决了模型的过拟合问题;
3)提出一种用于求解所提模型的优化算法, 并对其进行全面的理论分析, 在多种数据集上与众多先进方法进行大量的对比实验, 验证了提出方法的优越性.
图 2 DREBLS模型的流程图
图 3 部分人脸数据集图像
本文所提出的松弛图嵌入的判别宽度学习系统为图像分类领域带来新的思路和方法. 首先, 柔性标签策略以及松弛图嵌入的引入使得模型在分类任务中既考虑到不同类别之间的可分性, 又考虑到相同类别之间的紧密性. 传统的分类方法通常只考虑类别之间的边界, 忽略同一类别内部的分布情况. 而松弛图嵌入的判别技术能够同时优化类间距离和类内距离, 从而更好地保持类别之间的区分度和同一类别内部的紧密性, 提高了分类的准确性和稳定性. 此外, DREBLS还引入结构一致性项, 以确保两个变换矩阵之间具有相似的结构, 从而提高了模型的泛化能力和鲁棒性. 最后, 在多个图像分类数据集上进行实验, 验证了所提模型在分类精度和效率方面的优越性. 这种结合理论分析和实验验证的方法, 为图像分类领域的进一步研究和发展提供重要的参考和启示.
尽管DREBLS算法效果表现出色, 但仍有一些问题需要在未来工作中进一步研究. 首先, 宽度网络虽然具有速度优势, 但在特征提取方面仍略微落后于深度神经网络. 因此, 将DREBLS与其他更多先进网络架构相结合以改进特征提取效果是未来的研究方向之一. 其次, 在参数调整方面所使用的网格搜索虽然可以用于寻找最优的参数组合, 但搜索过程较为耗时. 因此, 将在未来工作中研究如何使用自动化参数调整方法, 实现高效调参. 最后, 所提出的DREBLS目前主要应用于图像分类, 在医学诊断和语义分割等潜在应用领域还未得到充分的探索和拓展, 这将是未来另一项有意义的工作.
作者简介
金军委
河南工业大学人工智能与大数据学院副教授. 主要研究方向为机器学习, 计算机视觉和神经网络. 本文通信作者. E-mail: jinjunwei24@163.com
常少凯
河南工业大学人工智能与大数据学院硕士研究生. 主要研究方向为计算机视觉, 标签增强和宽度学习. E-mail: csk4188@163.com
耿彪
新南威尔士大学计算机科学与工程学院硕士研究生. 主要研究方向为神经网络, 机器学习和计算机视觉. E-mail: gengbiao2002@163.com
李艳婷
郑州轻工业大学计算机科学与技术学院讲师. 主要研究方向为函数逼近理论, 图像处理, 稀疏编码和机器学习. E-mail: ytli1227@126.com
赵孟
河南工业大学人工智能与大数据学院讲师. 主要研究方向为人机对话系统, 生成式人工智能和自然语言处理. E-mail: zm@haut.edu.cn
王震
西北工业大学网络空间安全学院教授. 主要研究方向为复杂网络, 进化博弈和数据科学. E-mail: w-zhen@nwpu.edu.cn
陈俊龙
华南理工大学计算机科学与工程学院教授. 主要研究方向为控制论, 系统和计算智能. E-mail: philip.chen@ieee.org
李鹏
河南工业大学复杂性科学研究院教授. 主要研究方向为中医大数据和人工智能. E-mail: lipeng@haut.edu.cn
转载本文请联系原作者获取授权，同时请注明本文来自Ouariel科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3291369-1496425.html?mobile=1
收藏
