AdvLoRA: Adversarial Low-Rank Adaptation of Vision-Language Models

视觉语言模型（VLM）是人工通用智能（AGI）的重要技术之一。随着AGI的快速发展，安全问题成为VLM面临的最重要挑战之一。本文通过广泛的实验，展示了传统VLM适应方法的漏洞，可能带来重大的安全风险。此外，随着VLM大小的增加，对VLM进行传统的对抗适应技术会导致高计算成本。为了解决这些问题，我们提出了一种参数高效的对抗适应方法，称为AdvLoRA，通过低秩适应（LoRA）来实现。首先，我们研究和揭示了VLM对抗适应过程中固有的低秩特性。与LoRA不同的是，我们通过设计基于参数聚类和参数对齐的新型重新参数化方法，提高了对抗适应的效率和鲁棒性。此外，提出了一种自适应参数更新策略，进一步提高了鲁棒性。通过这些设置，我们提出的AdvLoRA缓解了模型安全和高资源浪费问题。广泛的实验证明了AdvLoRA的有效性和高效性。

本篇论文旨在解决Vision-Language Models (VLMs)在人工智能中的安全问题和高计算成本问题，提出了一种名为AdvLoRA的新的参数高效的对抗适应方法。

论文提出了一种名为AdvLoRA的新的对抗适应方法，通过参数聚类和参数对齐的新型重新参数化方法来提高对抗适应的效率和鲁棒性，并提出了一种自适应参数更新策略来进一步提高鲁棒性。

论文通过实验表明了传统的适应方法存在着安全风险和高计算成本问题，提出的AdvLoRA方法可以有效地解决这些问题，并在多个数据集上进行了验证。此外，论文还提出了一种新的参数聚类方法和自适应参数更新策略，这些方法可以被应用于其他领域的对抗适应问题中。

最近的相关研究包括：《Exploring Adversarial Attacks and Defenses in Text Classification》、《Adversarial Training Methods for Semi-Supervised Text Classification》等。