MMCert: Provable Defense against Adversarial Attacks to Multi-modal Models

不同于单模型，其输入只来自单一模态，多模型的输入（称为多模态输入）来自多个模态，例如图像、3D点、音频、文本等。与单模型类似，许多现有研究表明，多模型也容易受到对抗扰动的影响，攻击者可以向多模态输入的所有模态添加小扰动，使得多模型对其进行错误预测。现有的认证防御主要是为单模型设计的，当将其扩展到多模型时，其认证鲁棒性保证不够优秀，这也在我们的实验结果中得到了证实。在我们的工作中，我们提出了MMCert，这是第一个针对多模型的对抗攻击的认证防御。我们推导出了MMCert在受到有界扰动的任意对抗攻击下的性能下限（例如，在自动驾驶的情况下，我们限制了RGB图像和深度图像中更改的像素数）。我们使用两个基准数据集评估了我们的MMCert：一个用于多模态道路分割任务，另一个用于多模态情感识别任务。此外，我们将我们的MMCert与从单模型扩展而来的最新认证防御进行了比较。我们的实验结果表明，我们的MMCert优于基线。

本论文旨在提出针对多模态模型的认证防御方法，解决现有认证防御方法在多模态模型中的不足。

本文提出了MMCert，这是第一个针对多模态模型的认证防御方法。该方法通过对模态的扰动进行限制，得到了对于任意攻击的下界保证。

本文使用两个基准数据集对MMCert进行了评估，分别为多模态道路分割任务和多模态情感识别任务。实验结果表明，MMCert在多模态场景下表现优于基于单模态模型的认证防御方法。本文的方法为多模态模型的认证防御提供了新的思路。

最近在多模态模型认证防御领域，还有一些相关的研究被进行。例如，基于单模态模型的认证防御方法在多模态场景下的性能研究。