Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning

大型语言模型（LLMs）的长上下文建模是近期研究的关键领域，因为许多实际应用场景需要对较长的输入（如文档）进行推理。关于长上下文建模的研究主要集中在如何处理位置信息，而对其他重要的语言建模方面（如指令调优）则较少关注。创建和使用长上下文训练样本既具有挑战性又耗费资源。在本文中，我们探讨了如何为长上下文预训练模型的后训练阶段设计指令数据：即为了实现最优且高效的后训练，需要多少以及何种类型的上下文。我们的控制实验表明，基于短上下文进行指令调优的模型可以有效推广到更长的上下文，并同时识别出其他关键因素，如指令难度和上下文构成。基于这些发现，我们提出了上下文合成，这是一种新颖的数据合成框架，利用现成的LLMs生成高质量指令-答案对的扩展背景上下文。在文档级基准测试（LongBench）上的实验结果表明，我们提出的方法优于以往的指令合成方法，并接近人类标注的长上下文指令数据的表现。该项目将在以下地址提供： https://github.com/NJUNLP/context-synthesis。

该论文试图解决长文本（如文档）处理中指令调优的问题，特别是在大规模语言模型（LLMs）的后训练阶段。研究的重点在于确定最优和高效的后训练所需的上下文长度和类型，以及如何设计指令数据以提高模型在长上下文中的推理能力。这是一个相对新颖的问题领域，因为大多数现有研究集中在位置建模上，而对指令调优的关注较少。

关键思路是通过控制实验来探索短上下文指令调优的有效性及其向更长上下文的泛化能力。此外，论文引入了‘上下文合成’这一新框架，利用现有的LLMs生成高质量的指令-答案对，并扩展背景上下文。这种方法不仅降低了创建长上下文训练样本的成本和难度，而且提高了模型性能，接近人类标注数据的效果。

亮点包括：1) 发现短上下文指令调优可以有效推广到更长的上下文；2) 提出了一种名为‘上下文合成’的新方法，用于生成扩展背景上下文；3) 在LongBench基准测试上的表现优于先前的指令合成方法；4) 开源项目代码（https://github.com/NJUNLP/context-synthesis）。未来值得深入研究的方向包括进一步优化上下文合成算法，探索不同领域内的应用效果。

最近的相关研究包括《Enhancing Long-Range Context Modeling in Transformers》、《Beyond Attention: Towards Richer Representations of Context for LLMs》等。这些研究主要集中在改进变换器架构以更好地捕捉长距离依赖关系或丰富上下文表示。相比之下，本研究聚焦于指令调优策略及其对长上下文理解的影响。