SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models

我们介绍了一种名为SelfCite的新颖自监督方法，该方法使大型语言模型（LLM）能够生成高质量、细粒度的句子级别引用，以支持其生成响应中的陈述。与仅依赖昂贵且耗时的人工标注不同，SelfCite利用了通过上下文消融由LLM自身提供的奖励信号：如果引用是必要的，那么从上下文中移除被引用的文本应该会阻止相同的响应；如果引用是充分的，那么仅保留被引用的文本应能保持相同的响应。这种奖励信号可以引导推理时的最佳N选一采样策略，显著提高引用质量，并可用于偏好优化，直接微调模型以生成更好的引用。SelfCite的有效性在LongBench-Cite基准测试中得到了验证，在五个长篇问答任务中，引用的F1分数最高提升了5.3分。

该论文试图解决大型语言模型（LLM）在生成响应时如何自动生成高质量、细粒度的句子级别引用的问题。这是一个相对较新的问题，因为随着LLM的能力增强，确保其输出内容的可追溯性和准确性变得越来越重要。

关键思路是引入了一种名为SelfCite的自我监督方法，通过上下文消融（context ablation）来评估和优化引文的质量。具体来说，如果移除引用的文本会影响模型的相同响应，则表明该引用是必要的；反之，仅保留引用文本也能保持相同的响应，则说明引用是充分的。这种方法利用了LLM自身的奖励信号，从而减少了对昂贵且耗时的人工标注依赖，提高了引文生成的质量。

实验设计包括使用LongBench-Cite基准测试，在五个长篇问答任务上验证了SelfCite的有效性，结果显示引用F1分数提高了5.3个百分点。此外，该研究提出了在推理时采用最佳N采样策略，并通过偏好优化直接微调模型以生成更好的引文。虽然论文中未明确提及代码开源情况，但这种技术框架为未来的研究提供了坚实的基础，值得进一步探索的方向包括改进奖励机制以及扩展到更多类型的文本生成任务。

最近在这个领域内的相关研究还包括： 1.《Improving Factuality in Language Models via Retrieval-Augmented Generation》——探讨了通过检索增强生成来提高事实性的方法。 2.《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》——聚焦于知识密集型自然语言处理任务中的检索增强生成。 3.《Knowledge Intensive Language Tasks Require Modularized Prompting》——讨论了模块化提示对于知识密集型语言任务的重要性。 这些研究共同推动了如何使LLM更好地利用外部知识源并生成准确可靠的内容。