A Survey on Post-training of Large Language Models

大语言模型（LLMs）的出现从根本上改变了自然语言处理领域，使其在从对话系统到科学研究的各个领域中变得不可或缺。然而，这些预训练模型的架构在特定情境下往往暴露出一些局限性，包括推理能力受限、伦理不确定性以及领域特定性能不佳等问题。为了解决这些不足，需要进一步发展后训练语言模型（PoLMs），例如 OpenAI-o1/o3 和 DeepSeek-R1（统称为大型推理模型，或 LRMs）。本文首次对 PoLMs 进行了全面综述，系统地追溯了它们在五个核心范式中的演变过程：微调（Fine-tuning），用于提升任务特定的准确性；对齐（Alignment），确保与人类偏好的一致性；推理（Reasoning），尽管在奖励设计上存在挑战，但仍推动多步推理能力的发展；效率（Efficiency），在复杂性不断增加的情况下优化资源利用；以及集成与适应（Integration and Adaptation），扩展跨模态能力的同时解决连贯性问题。从 ChatGPT 的基础对齐策略到 DeepSeek-R1 的创新推理改进，我们展示了 PoLMs 如何利用数据集来减少偏差、深化推理能力和增强领域适应性。我们的贡献包括对 PoLM 演变的开创性综合分析、一个结构化的分类法以归类技术和数据集，以及一个战略议程，强调 LRMs 在提高推理能力和领域灵活性方面的作用。作为该领域首个如此广泛覆盖的综述，本工作整合了近期 PoLM 的进展，并为未来研究建立了严谨的理论框架，推动了在科学和社会应用中具备更高精度、更强伦理稳健性和更广泛适用性的 LLMs 的发展。

该论文旨在解决大型语言模型（LLMs）在特定领域应用中的局限性，包括推理能力有限、伦理不确定性以及领域特定性能不佳等问题。这是一个需要进一步深入研究的问题，尤其是在提高模型的推理能力和适应特定领域的表现方面。

论文的关键思路是通过引入后训练语言模型（PoLMs），特别是大型推理模型（LRMs），来改进现有LLMs的不足。相比当前的研究，这篇论文提出了一个系统的框架，涵盖五个核心范式：微调、对齐、推理、效率和集成与适应，以全面提升LLMs的能力。这种系统化的分类和分析方法为未来的研究提供了新的视角。

论文的亮点包括：1) 提出了一个全面的PoLM进化路径，从ChatGPT的基础对齐策略到DeepSeek-R1的推理改进；2) 强调了使用数据集来减少偏见、深化推理能力和增强领域适应性的方法；3) 提供了一个结构化的分类法，涵盖了技术和数据集；4) 开源代码和数据集的使用情况未明确提及，但强调了这些资源的重要性；5) 指出了一些值得继续深入研究的方向，如多模态集成和跨领域推理。

最近在这个领域中，相关的研究包括：1) 《Fine-Tuning Large Language Models for Specific Domains》探讨了如何通过微调提高LLMs的领域特定性能；2) 《Aligning AI with Human Values for Ethical Decision Making》研究了如何使AI系统与人类价值观保持一致；3) 《Improving Reasoning Capabilities in LLMs》专注于提升LLMs的推理能力；4) 《Efficient Resource Utilization in Deep Learning Models》关注于优化深度学习模型的资源利用。