DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback

我们提出了DRESS，一个大型视觉语言模型（LVLM），它创新地利用来自大型语言模型的自然语言反馈（NLF）来增强其对齐和交互，从而解决了现有LVLM的两个关键限制。首先，先前的LVLM通常仅依靠指令微调阶段来增强与人类偏好的对齐。如果不加入额外的反馈，它们仍然容易产生无用、幻觉或有害的响应。其次，虽然视觉指令调整数据通常以多轮对话格式结构化，但连续对话轮之间的连接和依赖关系较弱。这降低了有效多轮交互的能力。为了解决这些问题，我们提出了将NLF分为两种关键类型的新颖分类方法：批判和改进。批判NLF识别响应的优点和缺点，并用于将LVLM与人类偏好对齐。改进NLF提供具体的改进建议，并用于提高LVLM的交互能力，重点是通过在多轮交互中融入反馈来改进响应。为了解决NLF的不可微性，我们将有条件的强化学习推广到训练中。我们的实验结果表明，与SOTA LVML相比，DRESS可以生成更有帮助（9.76％）、更诚实（11.52％）和更无害（21.03％）的响应，并更有效地从多轮交互中的反馈中学习。

论文试图通过利用自然语言反馈来增强大型视觉语言模型的交互能力和对人类偏好的对齐，以解决当前大型视觉语言模型存在的问题。

论文提出了一种新的自然语言反馈分类方法，将反馈分为批评和改进两种类型，并利用条件强化学习来训练模型，以提高模型的交互能力和生成更好的回复。

论文的实验结果表明，DRESS可以生成更有帮助、更诚实、更无害的回复，并且在多轮交互中更有效地学习反馈。该论文使用了大量的数据集，并且开源了代码。

最近的相关研究包括《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》等。