Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?

自蒸馏已成为大语言模型（LLM）训练后优化的一种有效范式，通常能在提升性能的同时缩短推理路径。然而，在数学推理任务中，我们却发现：尽管自蒸馏确实能缩短模型输出的响应长度，却反而导致性能下降。我们将这一性能退化现象归因于“认知性言语表达”（epistemic verbalization）——即模型在推理过程中对自身不确定性的显式表述——受到了抑制。通过一系列受控实验，我们系统地调节教师模型所依赖的上下文信息丰富度与任务覆盖范围，结果表明：当教师模型被置于高度丰富的条件信息下进行训练时，其不确定性表达倾向显著减弱；这虽有助于在有限任务覆盖范围内快速实现领域内性能优化，却严重损害了模型在分布外（OOD）场景下的泛化能力——而在面对未见过的新问题时，恰恰需要模型主动表达不确定性，并据此动态调整推理策略。我们在Qwen3-8B、DeepSeek-Distill-Qwen-7B以及Olmo3-7B-Instruct三种模型上均观察到最高达40%的性能下降。本研究揭示：恰当地暴露模型的不确定性，对构建鲁棒的推理能力至关重要；同时也强调，推理行为的优化不应止步于简单强化“正确答案路径”，而更需关注推理过程本身的合理性与适应性。

论文试图解决自蒸馏（self-distillation）在大语言模型数学推理任务中导致性能下降的问题，尤其揭示其根本原因在于抑制了模型的‘认知性言语化’（epistemic verbalization）——即对不确定性的表达；该问题此前未被系统识别和归因，属于对自蒸馏副作用的新诊断。

提出‘不确定性暴露’（uncertainty exposure）是鲁棒数学推理的关键机制，指出过度丰富的教师模型条件信息会压制不确定性表达，从而牺牲OOD泛化能力；与主流聚焦答案正确性的蒸馏范式不同，本文主张显式建模并保留推理过程中的不确定性信号作为可学习的推理行为特征。

在Qwen3-8B、DeepSeek-Distill-Qwen-7B、Olmo3-7B-Instruct上验证，OOD数学问题性能最大下降40%；通过控制实验解耦‘上下文丰富度’与‘任务覆盖范围’，证实教师端信息过载是主因；未提及其开源代码，但实验设计严谨（含消融变量、跨模型复现、in-domain vs OOD对比）；值得深入的方向包括：不确定性感知的蒸馏目标函数设计、可控不确定性注入机制、以及面向推理鲁棒性的新评估协议。

Self-Distillation Improves Reasoning Efficiency but Harms Robustness (ICLR 2024); Uncertainty-Aware Chain-of-Thought (ACL 2023); Teaching Models to Express Doubt: Epistemic Modality in LLM Reasoning (NeurIPS 2023); Distilling Step-by-Step: Outperforming Larger Language Models with Less Data (ACL 2024); The Illusion of Certainty: Calibration Gaps in Mathematical Reasoning (EMNLP 2023)