A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

随着大型语言模型（LLM）在写作类人文本方面的能力不断提高，一个关键的挑战仍然存在，即它们倾向于产生虚构内容，这些内容看起来是事实的，但是却没有依据。这种幻觉问题可以说是将这些强大的LLM安全地部署到影响人们生活的实际生产系统中的最大障碍。在实践环境中广泛采用LLM的旅程严重依赖于解决和减轻幻觉问题。与专注于有限任务的传统人工智能系统不同，LLM在训练期间接触了大量的在线文本数据。虽然这使它们显示出令人印象深刻的语言流利性，但也意味着它们能够从训练数据中的偏见中推断信息，误解模糊的提示或修改信息以与输入表面上相符。当我们依赖于语言生成能力进行敏感应用（例如总结医疗记录，财务分析报告等）时，这变得非常令人担忧。本文介绍了32种技术的全面调查，用于减轻LLM中的幻觉。其中值得注意的是检索增强生成（Lewis等人，2021年），知识检索（Varshney等人，2023年），CoNLI（Lei等人，2023年）和CoVe（Dhuliawala等人，2023年）。此外，我们介绍了一种详细的分类法，根据各种参数（如数据集利用，常见任务，反馈机制和检索器类型）对这些方法进行分类。这种分类有助于区分专门设计用于解决LLM中幻觉问题的各种方法。此外，我们分析了这些技术固有的挑战和限制，为未来研究提供了坚实的基础，以解决LLM领域内的幻觉和相关现象。

解决LLM中的幻觉问题，以便在实际生产系统中安全地部署这些强大的LLM

论文提出了32种技术来减轻LLM中的幻觉问题，包括Retrieval Augmented Generation、Knowledge Retrieval、CoNLI和CoVe等。分类方案有助于区分专门设计用于解决LLM中幻觉问题的多种方法。

论文分析了这些技术的挑战和局限性，并提供了未来研究的坚实基础。实验使用了哪些数据集和开源代码没有提及。

最近的相关研究包括：《GPT-3: Language Models are Few-Shot Learners》、《Improving Language Understanding by Generative Pre-Training》等。