Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models

思维链（Chain-of-Thought, CoT）提示方法通过促使大语言模型生成中间推理步骤——即非答案标记——显著提升了自然语言处理中的任务求解能力，从而引导模型得出更准确的最终输出。这些中间步骤支持更复杂的推理过程，例如错误纠正、记忆管理、未来规划以及自我反思。然而，将CoT应用于蛋白质和RNA等非自然语言领域目前尚不可行，主要原因是这些领域的标记空间表达能力有限（例如仅包含氨基酸标记）。在本研究中，我们提出并定义了“语言表达力”这一概念：即一种语言利用其标记和语法规则来编码信息的能力。我们指出，蛋白质语言表达力的不足严重限制了类CoT推理的应用。为克服这一限制，我们首次在生物序列模型中引入了“反思式预训练”（reflection pretraining），使模型能够生成超出简单答案标记的辅助性“思考标记”，从而实现中间推理过程。理论上，我们证明所扩增的标记集显著增强了生物语言的表达力，进而提升了模型的整体推理能力。实验结果表明，与标准预训练相比，我们的预训练方法教会了蛋白质模型进行自我纠错，并带来了显著的性能提升。

论文试图解决如何在非自然语言领域（如蛋白质和RNA序列）中实现类似Chain-of-Thought（CoT）的推理能力的问题。由于生物序列语言的token空间表达能力有限（例如仅由氨基酸或核苷酸组成），无法生成丰富的中间推理步骤，因此传统CoT prompting无法直接应用。这是一个较新的问题，尤其在将认知启发的推理机制迁移到生物序列模型中的探索尚属前沿。

提出“语言表达力”（language expressiveness）的概念，指出生物语言因token贫乏而难以支持复杂推理。为突破这一限制，首次在生物序列模型中引入“反思预训练”（reflection pretraining），通过引入辅助的‘思考token’（thinking tokens），使模型能在生成答案前产生可训练的中间表示，从而模拟CoT式的自我修正与推理过程。该方法从理论上增强了生物语言的表达能力，提升了模型的内在推理能力。

理论分析表明，增加thinking tokens能显著提升语言表达力；实验验证了反思预训练使蛋白模型具备自纠错能力，并在多种任务上显著优于标准预训练模型。虽然未明确提及具体数据集名称，但工作基于典型蛋白质语言模型框架进行预训练与评估。代码是否开源未说明，但该范式为生物序列智能推理开辟了新方向，值得深入研究thinking tokens的设计、多步推理链构建以及在功能预测、突变效应分析等下游任务中的应用。

1. Emergent Chain-of-Thought Reasoning in Large Language Models 2. A Unified Framework for Sequence Modeling with Modular Tokens 3. Biological Structure and Function Prediction with Language Models 4. Self-Refinement through Reflection in Language Agents 5. Expressive Efficiency of Neural Networks in Formal Languages