周次

第六十五周

研究方向

多模态对抗攻击与防御

本周完成工作

1. 阅读论文《Multiloss Adversarial Attacks for Multimodal Remote Sensing Image Classification》

2. 阅读论文《MMCert: Provable Defense against Adversarial Attacks to Multi-modal Models》

本周

问题汇报

1. 论文1研究了多模态遥感图像分类模型的对抗鲁棒性，并提出了一种新的多模态多损失协同对抗攻击方法（Multimodal Multiloss Cooperative Attack）。文章首先分析了不同融合策略下的多模态遥感图像分类模型的鲁棒性，然后提出了一种优化方法来生成对抗样本，以提高攻击效果。

首次系统性地分析了多模态遥感图像分类模型在不同融合策略（早期融合、中期融合、晚期融合）下的对抗鲁棒性。

提出了一种新的对抗攻击方法，通过以下两个损失函数优化多模态扰动：

平衡扰动损失：平衡不同模态的扰动强度，避免单一模态主导攻击。

协同对抗损失：约束不同模态的扰动方向一致，减少模态间扰动的冲突。

2. 论文2提出了一种名为 MMCert 的防御方法，用于对抗多模态模型中的对抗攻击。多模态模型通过整合多种模态的输入来提高任务性能，但这些模型同样容易受到对抗攻击的影响。

MMCert 的核心思想是通过独立子采样和集成分类器来提高多模态模型的鲁棒性。

首个针对多模态模型的可证明防御方法：MMCert 是首个专门针对多模态模型设计的防御方法，能够提供对抗攻击的正式鲁棒性保证。

独立子采样策略：通过独立子采样不同模态的基本元素，MMCert 能够适应不同模态的特性，并在对抗攻击下保持稳定性。 

鲁棒性理论保证：通过 NeymanPearson 引理和 Monte Carlo 采样方法，MMCert 提供了对抗攻击下预测结果不变的理论下界。

下周工作计划

1. 继续阅读并复现多模态对抗攻击与防御的相关文章

2. 继续了解深伪检测研究方向