Tulu 3: Pushing Frontiers in Open Language Model Post-Training

语言模型的后训练被应用于改进行为并解锁最近一系列语言模型的新技能，但开放的后训练方法却落后于专有方法。后训练的底层数据和方法同时是这一难题中最重要的部分，也是透明度最低的部分。为了弥合这一差距，我们推出了 Tulu 3，这是一系列完全开放且最先进的后训练模型，附带其数据、代码和训练方法，为现代后训练技术提供了一个全面的指南。Tulu 3 基于 Llama 3.1 基础模型，其表现超过了 Llama 3.1 的指令版本、Qwen 2.5、Mistral 以及封闭模型如 GPT-4o-mini 和 Claude 3.5-Haiku。我们的模型训练算法包括监督微调（SFT）、直接偏好优化（DPO）和一种我们称为可验证奖励的强化学习（RLVR）的新方法。通过 Tulu 3，我们引入了一种多任务评估方案，用于后训练方法的开发和未见过的评估，提供了标准基准测试的实现，并对现有开放数据集在这些基准上的污染进行了大量清理。我们还分析和讨论了未能可靠提升性能的训练方法。除了 Tulu 3 模型权重和演示外，我们还发布了完整的配方——包括多样化的核心技能数据集、强大的数据策划和评估工具包、训练代码和基础设施，最重要的是，一份详细的报告，以重现和进一步适应 Tulu 3 方法到更多领域。

该论文旨在解决开放源码语言模型在后训练技术上的透明度和可用性不足的问题。尽管后训练能够显著提升模型性能，但目前大多数先进的后训练方法和技术细节仍由闭源公司掌握。

论文提出了一种全面开放的后训练框架Tulu 3，不仅包括了模型权重，还提供了完整的数据集、代码和训练方法。通过引入新的训练算法如强化学习与可验证奖励（RLVR），Tulu 3在多个基准测试上超越了包括闭源模型在内的现有模型。这一框架为研究者和开发者提供了一个透明且易于复现的后训练解决方案。

1. 提供了完整的后训练流程，包括数据集、代码、训练方法和详细的复现指南。 2. 引入了多种先进的后训练算法，如监督微调（SFT）、直接偏好优化（DPO）和强化学习与可验证奖励（RLVR）。 3. 设计了多任务评估方案，确保模型在不同任务上的鲁棒性和泛化能力。 4. 开源了所有资源，促进了社区的进一步研究和发展。

1. 'Leveraging Instructions for Effective Learning of Language Models' - 探讨了指令微调对语言模型性能的影响。 2. 'Reinforcement Learning from Human Feedback' - 研究了如何利用人类反馈进行强化学习。 3. 'Direct Preference Optimization: Benchmarks and Baselines' - 介绍了直接偏好优化的方法和基准测试。 4. 'Data-Centric AI Development: A Case Study in Language Model Post-Training' - 讨论了数据在AI开发中的重要性，特别是在后训练阶段。