SELF-[IN]CORRECT: LLMs Struggle with Refining Self-Generated Responses

简介

LLM能否持续改进其以前的输出以获得更好的结果？肯定的答案需要LLM在区分先前生成的替代方案方面比生成初始响应更好。我们在实践中探讨了这个假设的有效性。我们首先介绍了一个统一的框架，使我们能够比较任何模型在任何任务上的生成和判别能力。然后，在我们的实验分析中，我们观察到几个LLM模型在区分方面的表现并不可靠地比生成更好。我们希望这些发现能够为自我改进的AI系统不断增长的文献提供信息。
作者讲解

目前尚无作者解读视频，你可点击下方【许愿开讲】按钮，许愿作者开讲~
图表
解决问题

论文试图验证语言模型是否能够通过对之前输出的不同版本的区分来不断改进其输出结果。
关键思路

通过实验，论文发现语言模型的区分能力并不一定比生成能力更好，因此不能完全依赖区分来改进输出结果。
其它亮点

论文提出了一个统一的框架来比较不同模型在不同任务上的生成能力和区分能力。实验结果表明，语言模型的区分能力并不一定优于生成能力，这对于自我改进的AI系统具有重要启示。
相关研究

近期的相关研究包括《Improving Language Understanding by Generative Pre-Training》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。