周次

第七十一，二周

研究方向

多模态对抗攻击与防御

本周完成工作

1. 参与制作医工交叉项目——多模态临床大队列数据与语言大模型双驱动的缺血性脑卒中智能诊疗研究答辩PPT

2. 阅读论文《AIM: Additional Image Guided Generation of Transferable Adversarial Attacks》

3. 阅读论文《Boosting Generative Adversarial Transferability with Self-supervised Vision Transformer Features》

本周

问题汇报

1. 论文1AIM 的主要创新在于引入了一种语义注入机制，通过额外引导图像将目标类别的语义特征融入对抗样本生成过程，提升了对抗扰动的通用性和迁移性。语义注入模块（SIM）可插入任意生成器结构中，通过仿射变换调整中间特征，使对抗样本在特征空间更接近目标图像。论文同时构建了统一的目标与非目标攻击损失函数，并首次在多种视觉架构（特别是 ViT）和跨领域任务中实现了高成功率的可迁移目标攻击，打破了现有方法在 transformer 架构上的性能瓶颈。

2. 论文2的核心创新在于首次将自监督学习的 Vision Transformer（ViT）特征系统性引入到生成式对抗攻击中，从而显著提升对抗样本的黑盒迁移性。本文提出了 dSVA（dual Self-supervised ViT feature Attack）方法，联合利用了两种自监督策略——对比学习（Contrastive Learning, CL）和遮蔽图像建模（Masked Image Modeling, MIM）——分别从 DINO 和 MAE 模型中提取结构性与纹理性特征。dSVA 不仅在 ViT 的中间层中以“query、key、value”细粒度（facet-level）方式提取深层语义特征，还进一步引入了来自 ViT 自注意力机制的显著性图作为正则约束，引导生成器对关键特征进行精准扰动。实验结果表明，该方法在多种黑盒模型和对抗防御模型上均展现出显著优于现有方法的迁移性能，特别是在跨架构与跨领域场景中展现出广泛的适应性和鲁棒性。

下周工作计划

1. 继续阅读并复现多模态对抗攻击与防御的相关文章

2. 继续了解深伪检测研究方向