Can Large Language Models Reason and Plan?

虽然人类有时会通过自我批评纠正自己错误的猜测，但在LLMs的情况下似乎没有这种假设的基础。

论文旨在研究语言模型的自我纠错能力，探讨其是否存在以及如何提高。

通过对多个语言模型进行实验，论文发现它们缺乏自我纠错的能力，并提出了一种基于对抗训练的方法来提高模型的自我纠错能力。

论文使用了多个数据集和语言模型进行实验，并开源了代码。论文提出的对抗训练方法在多个指标上都取得了显著的提升，表明其具有较好的通用性和有效性。值得进一步研究如何将该方法应用到其他自然语言处理任务中。

近期的相关研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《RoBERTa: A Robustly Optimized BERT Pretraining Approach》等。