引用本文

冯卫栋, 余东, 张淳杰, 郑晓龙. 基于扰动响应的自适应集成黑盒对抗攻击算法. 自动化学报, 2025, 51(8): 1788−1799 doi: 10.16383/j.aas.c250034

Feng Wei-Dong, Yu Dong, Zhang Chun-Jie, Zheng Xiao-Long. Perturbation response-based adaptive ensemble black-box adversarial attack algorithm. Acta Automatica Sinica, 2025, 51(8): 1788−1799 doi: 10.16383/j.aas.c250034

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250034

关键词

对抗样本，集成攻击，梯度，黑盒模型

摘要

模型集成对抗攻击通过整合多个替代模型的梯度信息, 能够显著增强对抗样本的跨模型迁移能力, 是当前黑盒攻击中最具潜力的策略之一. 然而, 现有集成方法在动态加权过程中通常依赖扰动引起的预测误差作为权重依据, 未能有效区分扰动作用与模型自身固有误差. 由此可能高估低质量模型对扰动优化的贡献, 干扰攻击方向, 进而削弱对抗样本的实际迁移效果. 鉴于此, 提出基于扰动响应的自适应集成黑盒对抗攻击算法. 首先, 提出扰动响应感知的权重分配策略, 通过引入KL散度与集成相似度指标来衡量扰动对模型输出的真实影响, 避免低质量模型对集成过程的干扰; 其次, 提出梯度协同扰动缩放策略, 结合像素级梯度一致性度量, 动态调整扰动幅度, 缓解集成过程中的局部过拟合现象, 增强对抗样本在多模型间的泛化能力; 最后, 在多个黑盒攻击任务中进行综合评估, 实验结果表明所提出的基于扰动响应的自适应集成黑盒对抗攻击算法在迁移性能、攻击成功率与扰动效率方面均显著优于现有方法.

文章导读

深度神经网络(Deep neural network, DNN), 如卷积神经网络(Convolutional neural network, CNN)[1−6]和视觉注意力模型(Vision transformer, ViT)[7−10], 在图像识别等任务中均取得显著成功. 然而, 研究发现, 这些模型普遍存在对抗脆弱性[11], 即通过向干净样本中添加微小的扰动, 能够显著改变模型的预测结果[12]. 此外, 对抗样本展现出跨模型的迁移性, 即一个在某模型上生成的对抗样本往往能够误导其他结构不同的模型. 这种现象表明, 生成跨模型可迁移的对抗样本, 尤其是在黑盒攻击场景中, 成为一个重大挑战与研究方向.

在黑盒攻击场景中, 攻击者无法访问目标模型结构, 需通过间接方式生成对抗样本. 查询攻击依赖频繁访问模型输出[13], 代价高昂且易被检测; 迁移攻击则在替代模型上优化扰动[14], 以利用其跨模型迁移性, 因而成本更低. 但使用单一替代模型易导致过拟合, 限制对抗样本的迁移能力. 为提升对抗样本的迁移能力, 研究者提出集成攻击策略, 通过融合多个模型的信息来增强对抗样本的泛化能力. 已有研究表明, 与基于单一模型的方法相比, 集成多个替代模型的输出能显著提升对抗扰动的迁移能力[15−17]. 例如, 一些方法通过对多个模型的输出进行等权融合来增强对抗样本的可迁移性[15, 18]. 然而, 这类方法未能有效建模模型间的结构差异和梯度不一致性, 导致对抗扰动的优化方向可能受到干扰, 从而限制最终的迁移效果. 为解决这一问题, 后续研究开始引入动态加权机制, 以更精细地调控各替代模型在集成过程中的贡献. 例如, 方法AdaEA (Adaptive ensemble adversarial attack)[16]通过监控每个模型对扰动梯度的影响, 自适应地调整其在集成中的权重, 从而提升对抗样本的迁移能力, 并减少模型间差异带来的负面影响. 方法SMER (Stochastic mini-back black-box attach with ensemble reweighting)[17]则通过强化学习策略动态调整融合权重, 在保持模型间多样性的同时, 避免过拟合单一模型特性. 这些方法在一定程度上提升了攻击效果, 特别是在多个模型间的迁移能力方面.

尽管这些方法在提升迁移性能方面取得一定成效, 但其模型加权策略仍存在不足, 即未能明确区分扰动引发的预测变化与模型固有的误差. 现有方法通常将模型在扰动后的预测与真实标签之间的差异, 作为衡量其对抗信息贡献的依据, 并据此分配集成权重. 然而, 在实际应用中, 部分替代模型可能在干净样本上就已存在较高的分类错误率, 即其真实决策边界本就偏离期望边界. 当扰动被加入后, 这类原有误差进一步放大, 使得算法错误地将模型性能不足导致的预测误差解读为对抗扰动的攻击效果, 从而在加权过程中赋予这些低质量模型不成比例的高权重. 结果是, 集成过程受到干扰, 扰动优化方向偏离有效区域, 最终削弱对抗样本的跨模型迁移能力.

为解决上述问题, 本文提出一种基于扰动响应的自适应集成黑盒对抗攻击算法(Perturbation response-based adaptive ensemble black-box adversarial attack algorithm, PRA-EA), 旨在提高集成对抗攻击中对抗样本的迁移能力, 其包含两个核心策略. 首先, 基于扰动响应感知的权重分配(Perturbation response-aware weight allocation, PRA-WA)策略通过在集成过程中精确评估模型对对抗扰动的响应程度, 避免低质量模型的负面影响, 同时确保高质量模型的对抗信息能够有效贡献, 从而提升对抗样本的迁移能力. 具体而言, 通过KL (Kullback-Leibler)散度量化模型对扰动的敏感性, 并基于集成相似度动态调整每个替代模型的权重, 从而优化集成模型的对抗性能. 其次, 考虑对抗样本在不同模型上的攻击表现可能存在显著的局部差异, 本文设计基于梯度协同的扰动缩放(Gradient-collaborative based perturbation scaling, GCPS)策略. 该策略旨在缓解集成过程中的局部过拟合问题. 具体而言, 定义交叉余弦相似度均值来衡量集成模型和每个替代模型在扰动优化方向上的局部一致性. 基于该一致性, 我们对每个像素位置的扰动幅度进行动态缩放, 从而抑制对局部噪声的过度依赖, 避免扰动陷入局部最优, 并提升对抗样本的整体迁移能力. 实验结果验证了PRA-EA在黑盒攻击任务中的优越性能. 提出的方法不仅提升了对抗样本的生成效率, 还有效缓解了局部过拟合问题, 从而提高攻击的迁移性和成功率.

本文的贡献可以总结为以下三个方面:

1)提出基于扰动响应感知的权重分配机制(PRA-WA), 通过引入KL散度和集成相似度指标, 区分扰动引发的预测变化与模型本身误差, 从而有效避免低质量模型对集成方向的干扰, 提升对抗扰动的迁移能力.

2)设计基于梯度协同的扰动缩放(GCPS)策略, 结合像素级梯度一致性度量, 动态调整扰动幅度, 缓解集成过程中的局部过拟合现象, 增强对抗样本在多模型间的泛化能力.

3)在多个黑盒攻击任务中进行系统评估, 实验结果表明所提出的PRA-WA方法在迁移性能、攻击成功率和扰动优化效率方面均优于现有先进方法.

图 1  PRA-EA结构图

图 2  对抗攻击的收敛过程

图 3  迭代过程中的权重变换趋势

针对传统集成对抗攻击方法在模型权重分配和跨模型迁移性方面的不足, 本文提出一种基于扰动响应的自适应集成黑盒对抗攻击算法(PRA-EA). 该方法创新性地引入KL散度和集成相似度指标, 通过量化模型对扰动的响应程度来自适应调整各模型的权重分配, 有效避免低效模型带来的负面影响, 从而提升对抗样本在黑盒攻击场景下的迁移能力. 此外, 本文还设计基于梯度协同的扰动缩放策略, 通过对图像像素位置上的扰动进行细粒度的调整, 进一步增强对抗样本的攻击性能. 实验结果表明, PRA-EA方法在多种基准测试和模型架构下均展现出最优异的攻击性能, 特别是在跨模型迁移任务中(如从CNN到ViT模型的攻击), 其成功率显著优于现有方法, 这充分验证了该方法在提升对抗样本跨模型迁移能力方面的有效性. 值得注意的是, 虽然PRA-EA具有较快的收敛速度, 但其迭代次数的选择仍需通过实验调参来确定. 为提高对抗样本的生成效率, 未来可以考虑引入自适应早停机制, 当检测到攻击性能趋于稳定时自动终止迭代过程.

作者简介

冯卫栋

北京交通大学计算机科学与技术学院信息科学研究所硕士研究生. 主要研究方向为对抗攻防技术, 图像理解. E-mail: 22120344@bjtu.edu.cn

余东

北京交通大学计算机科学与技术学院信息科学研究所博士研究生. 主要研究方向为图像融合, 图像理解. E-mail: 23115071@bjtu.edu.cn

张淳杰

北京交通大学计算机科学与技术学院信息科学研究所教授. 主要研究方向为图像处理与理解, 计算机视觉和多媒体数据处理与分析. 本文通信作者. E-mail: cjzhang@bjtu.edu.cn

郑晓龙

中国科学院自动化研究所研究员. 主要研究方向为大数据与社会计算和多模态数据感知与理解. E-mail: xiaolong.zheng@ia.ac.cn