周次

第六十三周

研究方向

多模态对抗攻击与防御

本周完成工作

1. 阅读论文《Mutual-Modality Adversarial Attack with Semantic Perturbation》

2. 阅读论文《On the Robustness of Large Multimodal Models Against Image Adversarial Attacks》

3. 阅读论文《Vision-fused Attack: Advancing Aggressive and Stealthy Adversarial Text against Neural Machine Translation》

本周

问题汇报

1. 论文1提出了一种新的对抗攻击方法，利用预训练的CLIP模型在语义特征嵌入空间中生成对抗样本。该方法通过视觉攻击和文本防御的联合优化框架，增强对抗样本的可转移性。

提出了一种基于语义扰动的多模态对抗攻击方法，利用CLIP模型的视觉和文本模态对齐能力，生成更具可转移性的对抗样本。

设计了迭代优化策略，通过交替进行视觉攻击和文本防御，提高攻击的可转移性。

引入语义一致性约束，确保扰动后的特征保留明确的语义信息，避免攻击样本陷入无意义的特征区域。

2. 论文2研究了大規模多模態模型（LMMs）对视觉对抗攻击的鲁棒性。通过在图像分类、图像描述和视觉问答等任务上进行实验，发现LMMs在没有额外文本信息的情况下对视觉对抗输入不鲁棒，但在有上下文提示的情况下表现出一定的鲁棒性。此外，文章还提出了一种基于上下文的图像分类方案，通过将问题分解为多个存在性问题，提高模型的鲁棒性。

系统地评估了LMMs在不同任务和数据集上对视觉对抗攻击的鲁棒性，揭示了其在不同场景下的脆弱性。

发现上下文提示对提高LMMs的鲁棒性有显著作用，为增强模型的防御能力提供了新思路。

提出了基于上下文的图像分类方案，通过问题分解和上下文插入，有效提高了模型在对抗环境下的分类准确性。

3. 论文3提出了一种视觉融合攻击（VFA）框架，通过引入视觉感知来增强对抗文本的攻击性和隐匿性。

将视觉感知引入对抗文本生成，提出了视觉融合攻击框架，增强对抗文本的攻击性和隐匿性。

设计了视觉增强解决方案空间策略，通过反向翻译和文本图像转换模块，扩大对抗候选词的搜索范围。

提出感知保留对抗文本选择策略，通过改进的单词替换操作和全局感知约束，提高对抗文本的隐匿性。

下周工作计划

1. 继续阅读并复现多模态对抗攻击与防御的相关文章

2. 继续了解深伪检测研究方向