MMCert: Provable Defense against Adversarial Attacks to Multi-modal Models

不同于单模型，其输入只来自单一模态，多模型的输入（称为多模态输入）来自多个模态，如图像、三维点、音频、文本等。与单模型相似，许多现有研究表明，多模型也容易受到对抗性扰动的影响，攻击者可以向多模态输入的所有模态添加小扰动，使得多模型对其进行错误的预测。现有的认证防御主要是针对单模型设计的，当扩展到多模型时，其获得的认证鲁棒性保证不够优秀，正如我们的实验结果所示。在我们的工作中，我们提出了 MMCert，这是第一个针对多模型对抗攻击的认证防御。我们推导了我们的 MMCert 在受到有界扰动的任意对抗攻击下的性能下限（例如，在自动驾驶的情况下，我们限制了 RGB 图像和深度图像中更改的像素数量）。我们使用两个基准数据集评估了我们的 MMCert：一个用于多模态道路分割任务，另一个用于多模态情感识别任务。此外，我们将我们的 MMCert 与从单模型扩展而来的最先进的认证防御进行了比较。我们的实验结果表明，我们的 MMCert 优于基线。

本论文旨在提出针对多模态模型的认证防御方法，以解决现有认证防御方法在多模态模型上的不足。

论文提出了MMCert，这是第一个针对多模态模型的认证防御方法。该方法通过对模态间的扰动进行限制，从而提高了多模态模型的认证鲁棒性。

论文使用两个基准数据集对MMCert进行了评估，并将其与从单模态模型扩展而来的最先进的认证防御方法进行了比较。实验结果表明，MMCert优于基线。该论文的贡献在于提出了针对多模态模型的认证防御方法，为多模态模型的安全性提供了保障。

最近的相关研究包括针对单模态模型的认证防御方法，如DeepPoly和ReLU证明等。