SPA-VL: A Comprehensive Safety Preference Alignment Dataset for Vision Language Model

视觉语言模型（VLM）的出现带来了理解多模态信息的前所未有的进展。VLM中文本和视觉语义的组合非常复杂和多样化，这使得这些模型的安全对齐具有挑战性。此外，由于对VLM安全对齐的研究有限，缺乏大规模、高质量的数据集。为了解决这些限制，我们提出了一个名为SPA-VL的视觉语言模型安全偏好对齐数据集。在广度方面，SPA-VL涵盖了6个有害领域、13个类别和53个子类别，并包含100,788个四元组（问题、图像、选择的响应、拒绝的响应）。在深度方面，响应是从12个开源（例如QwenVL）和闭源（例如Gemini）的VLM中收集的，以确保多样性。实验结果表明，在SPA-VL数据集上使用对齐技术训练的模型在保持核心能力的同时，在无害性和有用性方面都有显著的改进。SPA-VL作为一个大规模、高质量和多样化的数据集，代表了确保VLM实现无害和有用的重要里程碑。我们已经公开了我们的代码https://github.com/EchoseChen/SPA-VL-RLHF和SPA-VL数据集url https://huggingface.co/datasets/sqrti/SPA-VL。

本论文旨在解决Vision Language Models（VLMs）的安全对齐问题，即如何确保这些模型既无害又有益。此外，由于对VLMs安全对齐的研究有限，缺乏大规模、高质量的数据集。

本论文提出了一个名为SPA-VL的安全偏好对齐数据集，以解决VLMs的安全对齐问题。该数据集包含100,788个样本，涵盖6个有害领域、13个类别和53个子类别。在深度上，SPA-VL从12个开源和闭源的VLMs中收集响应，以确保多样性。

本论文的亮点包括：提出了一个大规模、高质量、多样化的SPA-VL数据集；使用对齐技术训练的模型在无害性和有益性方面表现出显著提高；通过公开代码和数据集促进了该领域的发展。

最近的相关研究包括：《ViLBERT：Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》、《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》、《VisualBERT: A Simple and Performant Baseline for Vision and Language》等。