Mitigating Large Language Model Hallucination with Faithful Finetuning

大型语言模型（LLMs）在各种自然语言处理任务中表现出了出色的性能。然而，它们容易生成流畅但不真实的回复，称为“幻觉”。幻觉可能导致误传信息并在关键应用中造成伤害。减轻幻觉是具有挑战性的，因为它们来自于诸如噪声数据、模型过度自信、缺乏知识和生成过程本身等因素。最近的努力通过表示编辑和解码算法来解决这个问题，减少幻觉而无需进行重大结构变化或重新训练。然而，这些方法要么在潜在空间中隐式地编辑LLMs的行为，要么在解码过程中抑制输出不忠实结果的倾向，而不是明确地建模幻觉。在这项工作中，我们介绍了忠实微调（F2），一种新颖的方法，在微调过程中通过精心设计的损失函数明确地建模忠实回答问题的过程。我们在流行的数据集上进行了广泛的实验，并证明F2相对于基线模型和普通模型实现了显著的改进。

本文试图解决大型语言模型（LLMs）产生虚假回答（hallucinations）的问题，这可能导致误导和错误应用。作者提出了Faithful Finetuning（F2）方法，通过精心设计的损失函数显式建模忠实回答的过程，以减少LLMs产生虚假回答的风险。

Faithful Finetuning（F2）方法通过显式建模忠实回答的过程，以减少LLMs产生虚假回答的风险。相比当前领域的研究，该方法的关键思路是将忠实回答的过程显式地纳入到模型的fine-tuning中，而不是在生成过程中抑制产生虚假回答的倾向。

本文通过实验验证了F2方法的有效性，并与基线模型进行了比较。实验结果表明，F2方法可以显著减少LLMs产生虚假回答的风险。本文使用了流行的数据集，并开源了代码。该方法的亮点是可以直接在fine-tuning过程中减少虚假回答的风险。

最近的相关研究包括使用表示编辑和解码算法减少虚假回答，以及使用隐空间编辑来减少虚假回答的倾向。相关论文包括：《Reducing Hallucination in Neural Machine Translation with Variational Information Bottleneck》、《Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation》等。