周次

第七十周

研究方向

多模态对抗攻击与防御

本周完成工作

1. 阅读论文《Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack》

2. 阅读论文《MAA: METICULOUS ADVERSARIAL ATTACK AGAINST VISION-LANGUAGE PRE-TRAINED MODELS》

本周

问题汇报

1. 论文1针对视觉-语言预训练（VLP）模型在面对对抗攻击时的脆弱性，提出了一种名为语义对齐的对抗演化三角（SA-AET）的方法，旨在提高对抗样本的跨模型迁移性。文章分析了现有方法在增强对抗样本多样性方面的局限性，并提出通过在对抗轨迹的交集区域进行采样来提高多样性。此外，文章还提出了在语义图像-文本特征对比空间中生成对抗样本的方法，以减少对受害者模型的依赖，从而提高对抗样本的迁移性。通过理论分析和大量实验，验证了所提方法的有效性。其核心创新点包括：提出对抗演化三角形（AET）增强对抗样本多样性，构建语义对齐的对抗样本生成空间减少对受害者模型依赖，以及提供理论分析支持并验证方法的有效性。

2. 论文2提出了一种名为细致对抗攻击（MAA）的方法，用于评估视觉-语言预训练（VLP）模型在多模态任务中的鲁棒性。MAA方法通过开发新颖的缩放和滑动裁剪（RScrop）技术以及多粒度相似性破坏（MGSD）策略，充分利用模型独立特性和个体样本的脆弱性，生成具有更强泛化能力和减少模型依赖的对抗样本。MAA方法在多个VLP模型、基准数据集和下游任务上进行了广泛实验，结果表明其显著提高了对抗攻击的有效性和迁移性。其核心创新点包括：引入RScrop技术增强对抗样本的细粒度特征捕捉能力，提出MGSD策略放大对抗扰动影响，以及通过大量实验验证了方法的有效性和迁移性。

下周工作计划

1. 继续阅读并复现多模态对抗攻击与防御的相关文章

2. 继续了解深伪检测研究方向