The Best of Both Worlds: Toward an Honest and Helpful Large Language Model

本文探讨了一个问题：我们能否在保持LLM诚实的同时，优先考虑它们的有用性，以确保安全有效的现实世界应用。首先，我们建立了详尽的原则，旨在保证LLM的诚实性。此外，我们引入了一个新的数据集HoneSet，包括930个查询，涵盖了六个类别，旨在评估LLM维护诚实性的能力。随后，我们提出了两种增强LLM诚实性和有用性的方法：一种是基于好奇心驱动的提示的无训练增强，使LLM能够表达对查询的内部困惑和不确定性，从而优化它们的响应；另一种是基于课程学习启发的微调方法，采用两阶段过程：首先指导LLM区分诚实和不诚实的响应，然后优化它们的训练以提高有用性。在九个知名LLM上进行的实验表明，通过实施我们提出的增强措施，所有模型的诚实性得到了显著改善。尤其值得注意的是，在H$^{2}$（诚实和有用）评估中，Llama3-8b的改善达到了65.3％，Mistral-7b的改善更是达到了惊人的124.7％。我们相信，我们的工作可以为开发更值得信赖的LLM应用程序铺平道路。

如何在保证LLMs诚实的前提下提高其帮助性？

提出两种方法来增强LLMs的诚实和帮助性：基于好奇心驱动的提示和基于微调的改进。前者使LLMs能够表达其对查询的内部困惑和不确定性，后者则通过课程学习的两阶段过程来提高LLMs的训练，使其能够区分诚实和不诚实的回答并增强帮助性。实验结果表明，这两种方法都能显著提高LLMs的诚实和帮助性，特别是在H$^{2}$（诚实和有帮助）评估中，Llama3-8b的提高幅度为65.3％，Mistral-7b的提高幅度为124.7％。

论文提出了一个新的数据集HoneSet，用于评估LLMs的诚实性。实验使用了9个知名的LLMs，并展示了两种方法的有效性。

近期的相关研究包括GPT-3和Turing-NLG等大型语言模型的研究，以及关于LLMs可解释性和公平性的研究。