RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness

从反馈中学习可以通过与人类偏好对齐来减少多模态大型语言模型（MLLMs）的幻觉。传统方法依赖于费力和耗时的手动标注，而最近采用模型作为自动标注器的方法在不需要人类干预的情况下显示出有希望的结果。然而，这些方法严重依赖于昂贵的专有模型，如GPT-4V，导致可扩展性问题。此外，这种范式本质上是将专有模型提炼出来，以快速弥补性能差距的暂时解决方案。随着这种差距继续缩小，社区很快将面临使用具有可比能力的标注器模型来对齐MLLMs的基本挑战。在这项工作中，我们介绍了RLAIF-V，这是一个新颖的框架，它在完全开源的范式下对齐MLLMs，以实现超级GPT-4V的可信度。RLAIF-V最大程度地利用了两个方面的开源反馈，包括高质量的反馈数据和在线反馈学习算法。在自动和人工评估的七个基准测试中进行了广泛的实验，结果显示RLAIF-V在不损失其他任务性能的情况下显著提高了模型的可信度。使用34B模型作为标注器，RLAIF-V 7B模型将对象幻觉减少了82.9％，总幻觉减少了42.1％，优于标注器模型。值得注意的是，RLAIF-V还揭示了开源MLLMs的自我对齐潜力，其中12B模型可以从自身反馈中学习，实现不到29.5％的总体幻觉率，大大超过GPT-4V（45.9％）。这些结果为提高领先的MLLMs的效能提供了有希望的途径。

解决问题的问题是如何通过开源反馈数据和在线反馈学习算法来提高多模式大语言模型（MLLMs）的可靠性，以便在不牺牲其他任务的情况下减少幻觉。

该论文提出了一种全新的框架RLAIF-V，利用开源反馈数据和在线反馈学习算法来提高MLLMs的可靠性，而不需要昂贵的专有模型，同时揭示了开源MLLMs的自我对齐潜力。

该论文的实验在七个基准测试中进行，在自动评估和人工评估中都表现出显著的提高。使用34B模型作为标签器，RLAIF-V 7B模型将对象幻觉降低了82.9％，总幻觉降低了42.1％，优于标签器模型。此外，RLAIF-V还揭示了开源MLLMs的自我对齐潜力，其中12B模型可以从自身的反馈中学习，实现少于29.5％的总体幻觉率，大大超过GPT-4V（45.9％）。

相关研究包括使用标签器模型的传统方法和最近的自动标签器方法，但这些方法都依赖于昂贵的专有模型。