Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study

尽管多模态大语言模型（MLLM）在各种任务中具有卓越的能力，但它们仍然面临着重大的可信度挑战。然而，有关评估可信MLLM的当前文献仍然有限，缺乏全面的评估，无法提供对未来改进的深入洞察。在本文中，我们建立了MultiTrust，这是第一个关于MLLM可信度的全面统一基准，涵盖了真实性、安全性、鲁棒性、公平性和隐私五个主要方面。我们的基准采用了严格的评估策略，涵盖了32个不同的任务和自我策划的数据集，旨在解决多模态风险和跨模态影响。通过21个现代MLLM的大量实验，我们发现了一些以前未探索的可信度问题和风险，突出了多模态引入的复杂性，并强调了增强其可靠性的先进方法的必要性。例如，典型的专有模型仍然难以感知视觉上混淆的图像，并容易受到多模态越狱和对抗性攻击的攻击；MLLM更倾向于在文本中透露隐私，并在推理时即使与无关图像配对也会透露意识形态和文化偏见，这表明多模态放大了基本LLM的内部风险。此外，我们发布了一个可扩展的工具箱，用于标准化的可信度研究，旨在促进这一重要领域的未来进步。代码和资源可在以下网址公开获取：https://multi-trust.github.io/。

本论文旨在建立一个全面的、统一的可信多模态大语言模型（MLLMs）基准，以评估MLLMs的可信度，包括真实性、安全性、鲁棒性、公平性和隐私性。当前关于可信MLLMs评估的文献仍然有限，缺乏全面的评估，因此需要建立这样一个基准。

MultiTrust是第一个全面的、统一的可信MLLMs基准，包括32个不同的任务和自主策划的数据集，采用严格的评估策略，涵盖多模态风险和跨模态影响。通过对21个现代MLLMs的广泛实验，揭示了一些以前未被探索的可信度问题和风险，强调了多模态引入的复杂性，并强调了提高其可靠性的必要性。

本论文提供了一个全面的、统一的MLLMs可信度评估基准，涵盖了五个方面的可信度评估，并提供了一个可扩展的工具箱，以促进未来在这一重要领域的进一步发展。研究表明，MLLMs在处理视觉上混淆的图像方面仍然存在困难，容易受到多模态越狱和对抗性攻击的攻击；MLLMs更倾向于在文本中披露隐私，并在推理中揭示意识形态和文化偏见，即使与无关图像配对，表明多模态放大了基础LLMs内部风险。

最近在这个领域中，还有一些相关的研究，如《A Survey on Trustworthy Deep Learning》、《Towards Trustworthy AI: Developments and Challenges in Verification and Validation》等。