Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation

解决问题： 这篇论文旨在解决自然语言生成中训练大型语言模型所面临的问题，即生成有毒、不准确和无用的内容，以及自动评估指标往往无法识别这些问题。论文试图通过利用人类反馈来评估和改进模型。

关键思路： 论文提出了一种全面的反馈形式，并将现有的研究按照这种形式进行分类和组织。论文讨论了反馈的格式和目标，并介绍了两种使用反馈的方法：直接使用反馈或训练反馈模型。此外，论文还讨论了用于收集人类反馈数据的现有数据集以及与反馈收集相关的问题。最后，论文提供了AI反馈领域的概述，该领域利用大型语言模型根据一组原则进行判断，从而最小化对人类干预的需求。

其他亮点： 论文提供了一个全面的反馈形式，可以帮助研究人员更好地理解和组织现有的反馈研究。此外，论文还介绍了现有的人类反馈数据集，并讨论了与反馈收集相关的一些问题。论文提出的AI反馈领域也是一个值得关注的新兴领域。

关于作者： Patrick Fernandes、Aman Madaan、Emmy Liu、António Farinhas和Pedro Henrique Martins是本篇论文的主要作者。他们分别来自加拿大滑铁卢大学、微软公司和葡萄牙里斯本大学。他们之前的代表作包括：Patrick Fernandes的“Learning to Learn with Feedback and Local Plasticity”（ICML 2019）、Emmy Liu的“Adversarial Training Methods for Semi-Supervised Text Classification”（EMNLP 2019）和Pedro Henrique Martins的“Learning to Paraphrase with Back-Translation”（ACL 2018）。

相关研究： 近期其他相关的研究包括：

  1. “Improving Language Generation by Controlling Foresight”（ACL 2021）作者：Yen-Chun Chen、Yu-An Chung、Huan Lee、Zi-Yi Dou、Cheng-Hao Ho、Chia-Ping Chen、Jen-Tzung Chien，机构：国立台湾大学。
  2. “Controllable Text Generation with Plug and Play Language Models”（EMNLP 2020）作者：Luyang Huang、Maruan Al-Shedivat、Yashar Mehdad、Javid Ebrahimi、Zhe Gan，机构：斯坦福大学。
  3. “Towards Controlled Generation of Text”（ICLR 2018）作者：Sumanth Dathathri、Andrea Madotto、Janice Lan、Jane Hung、Eric Frank、Piero Molino、Jason Yosinski，机构：OpenAI。

论文摘要：最近自然语言生成的许多进展都是通过在互联网规模的数据上训练大型语言模型来推动的。然而，这种范式可能导致模型生成有毒、不准确和无用的内容，自动评估指标通常无法识别这些行为。随着模型变得更加强大，人类反馈是评估和改进模型的宝贵信号。本文旨在提供关于利用人类反馈改进自然语言生成的最新研究概述。首先，我们介绍了一个全面的反馈形式化，并根据这个形式化将现有研究进行分类和组织。接下来，我们讨论了反馈如何通过其格式和目标进行描述，并涵盖了两种使用反馈的方法（用于训练或解码）：直接使用反馈或训练反馈模型。我们还讨论了用于人类反馈数据收集的现有数据集以及围绕反馈收集的问题。最后，我们提供了人工智能反馈的新兴领域概述，该领域利用大型语言模型基于一组原则进行判断，从而最小化人类干预的需求。

内容中包含的图片若涉及版权问题，请及时与我们联系删除