Can Feedback Enhance Semantic Grounding in Large Vision-Language Models?

本文探讨了一种新的方法，即通过"接收"反馈来提高视觉-语言模型（VLM）的语义基础能力，而无需收集特定领域的训练数据、改进网络架构或修改训练方法。我们使用二进制信号的反馈机制系统地分析了这个假设。我们发现，如果得到适当的提示，VLM可以在单步和迭代中都利用反馈，展示了反馈作为一种提高互联网规模VLM语义基础的替代技术的潜力。此外，像LLM一样，VLM也难以自我纠正错误。然而，我们发现，通过二进制验证机制可以缓解这个问题。最后，我们探讨了将这些发现综合起来，迭代地应用于自动增强VLM基础性能的潜力和限制，展示了在所有模型和所有调整设置中使用自动反馈一致提高了基础准确性。总体而言，我们的迭代框架在无噪声反馈下将VLM的语义基础提高了超过15个准确度点，在简单的自动二进制验证机制下提高了高达5个准确度点。该项目网站位于https://andrewliao11.github.io/vlms_feedback。

本文试图探究是否可以通过反馈机制来提高视觉语言模型（VLMs）的语义基础能力，而无需收集特定领域的训练数据、修改网络结构或微调训练。

本文提出了一种反馈机制，通过二进制信号来指导VLMs的学习，从而提高其语义基础能力。实验结果表明，如果适当引导，VLMs可以利用反馈机制进行单步和迭代学习，从而提高其语义基础能力。

本文的亮点包括：使用反馈机制来提高VLMs的语义基础能力；实验结果表明，自我纠正和二进制验证机制可以缓解VLMs的错误；使用自动化反馈机制可以显著提高VLMs的语义基础能力；实验使用的数据集和代码已开源。

在相关研究中，有一些研究使用了反馈机制来提高模型的性能，例如《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》和《Meta-Learning with Differentiable Convex Optimization》。