上下文学习是现代大语言模型（LLM）的核心机制；然而，当前主流架构通过分配线性或固定的常数位置索引来强加一种僵化且固定不变的上下文结构。基于认知负荷理论（Cognitive Load Theory, CLT），我们认为这种缺乏信息性的结构会增加外在认知负荷，消耗本应用于深度推理和注意力分配的有限工作记忆资源。为解决这一问题，我们提出了一种名为RePo的新机制，通过重新调整上下文的位置来降低不必要的认知负担。与标准方法不同，RePo采用一个可微模块 $f_φ$ 来动态分配能够反映上下文依赖关系的标记位置，而非依赖预定义的整数范围。我们在OLMo-2 1B模型基础上持续进行预训练，结果表明，RePo在处理包含噪声上下文、结构化数据以及长上下文的任务中显著提升了性能，同时在通用的短上下文任务上仍保持具有竞争力的表现。详细分析显示，RePo能够更有效地关注距离较远但相关的信息，将位置分配到密集且非线性的空间中，并捕捉输入上下文的内在结构。我们的代码已公开于 https://github.com/SakanaAI/repo。

我们推出Ling 2.0，这是一系列以“每次激活均提升推理能力”为核心理念构建的、面向推理的语言基础模型。Ling 2.0基于统一的专家混合（MoE）范式设计，可从数百亿参数规模扩展至一万亿参数，强调高稀疏性、跨尺度一致性，并依据实证缩放规律实现高效训练。该系列包含三个非思考型（指令遵循）模型：Ling-mini-2.0、Ling-flash-2.0 和 Ling-1T，总参数量从160亿到一万亿不等，在激活计算效率方面最高可达同等稠密模型的7倍。Ling 2.0 在模型架构、预训练、后训练及基础设施层面实现了协同创新：采用支持MTP的高稀疏度MoE结构以实现高效推理；构建面向推理的数据集并引入中期训练思维链（CoT）激活机制；应用基于强化学习的微调方法（DFT、Evo-CoT）；以及通过细粒度异构流水线实现全规模FP8训练。在万亿参数级别，Ling-1T 在推理准确性与计算效率之间建立了新的帕累托前沿，表明当稀疏激活与推理目标恰当对齐时，能够实现可扩展且高效的智能。总体而言，Ling 2.0 为推进未来的推理与思考模型提供了一个连贯、开放且高效的基石，包括建立在同一基础之上的Ring系列模型。

我们推出LongCat-Flash，这是一款拥有5600亿参数的专家混合（MoE）语言模型，专为实现计算效率与先进代理能力而设计。出于对可扩展效率的需求，LongCat-Flash采用了两项创新设计：（a）零计算专家（Zero-computation Experts），该机制支持动态分配计算资源，根据上下文需求，每个token激活186亿至313亿参数（平均270亿），从而优化资源利用；（b）捷径连接的MoE（Shortcut-connected MoE），通过扩大计算与通信重叠的时间窗口，在推理效率和吞吐量方面相比同等规模模型表现出显著提升。我们开发了一套全面的大型模型扩展训练框架，结合超参数迁移、模型增长初始化、多维度稳定性保障措施以及确定性计算，实现了稳定且可复现的训练过程。尤为值得一提的是，依托可扩展的架构设计与基础设施的协同优化，我们在30天内完成了超过20万亿token的模型训练，同时实现了每秒超过100个token（TPS）的推理速度，输出每百万token的成本仅为0.70美元。为了推动LongCat-Flash向代理智能发展，我们首先在优化的数据混合上进行大规模预训练，随后针对推理、代码生成和指令遵循等任务开展有重点的中期与后期训练，并进一步引入合成数据和工具使用任务以增强模型能力。全面评估表明，作为一款非“思维链”型的基础模型，LongCat-Flash在众多领先模型中展现出极具竞争力的性能，尤其在代理类任务中表现卓越。LongCat-Flash的模型权重已开源，以促进学术界和社区的研究发展。 LongCat 聊天入口：https://longcat.ai Hugging Face 页面：https://huggingface.co/meituan-longcat GitHub 仓库：https://github.com/meituan-longcat

我们介绍了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，在初步步骤中没有使用监督微调（SFT），它展示了出色的推理能力。通过强化学习，DeepSeek-R1-Zero自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混用问题。为了解决这些问题并进一步提升推理性能，我们引入了DeepSeek-R1，该模型在强化学习之前结合了多阶段训练和冷启动数据。DeepSeek-R1在推理任务上的表现与OpenAI-o1-1217相当。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1以及从DeepSeek-R1基于Qwen和Llama蒸馏出的六个密集模型（分别为15亿、70亿、80亿、140亿、320亿和700亿参数）。

我们推出了MiniMax-01系列，包括MiniMax-Text-01和MiniMax-VL-01，这些模型在处理更长上下文方面具备卓越能力，同时与顶级模型相媲美。核心在于闪电注意力机制及其高效的扩展性。为了最大化计算能力，我们将该机制与专家混合（MoE）集成，创建了一个拥有32个专家和总计4560亿参数的模型，其中每个token激活459亿参数。我们开发了优化的并行策略和高效的计算-通信重叠技术，用于MoE和闪电注意力机制。这种方法使我们能够在包含数百万tokens的上下文中，对具有数百亿参数的模型进行高效训练和推理。MiniMax-Text-01的上下文窗口在训练时可达100万tokens，在推理时可以外推到400万tokens，且成本可控。我们的视觉-语言模型MiniMax-VL-01通过继续训练5120亿个视觉-语言tokens构建而成。在标准和内部基准测试中，我们的模型性能与GPT-4和Claude-3.5-Sonnet等最先进模型相当，同时提供20到32倍更长的上下文窗口。我们已在https://github.com/MiniMax-AI公开发布MiniMax-01。

我们推出了DeepSeek-V3，这是一个强大的专家混合（MoE）语言模型，总参数量为6710亿，每个token激活的参数量为370亿。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中已经得到了充分验证。此外，DeepSeek-V3首创了一种无需辅助损失的负载均衡策略，并设定了多token预测的训练目标以提升性能。我们在14.8万亿个多样且高质量的token上预训练了DeepSeek-V3，随后通过监督微调和强化学习阶段充分发挥其潜力。全面评估表明，DeepSeek-V3的表现优于其他开源模型，并且达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需2,788,000 H800 GPU小时。此外，其训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可恢复的损失激增或进行任何回滚操作。模型检查点可在https://github.com/deepseek-ai/DeepSeek-V3获取。

我们推出了 MiniMax-M1，这是世界上首个开放权重、大规模的混合注意力推理模型。MiniMax-M1 采用了混合专家架构（MoE）与闪电注意力机制相结合的设计。该模型基于我们之前的 MiniMax-Text-01 模型开发，后者总共包含 4560 亿参数，每个 token 激活 45.9 亿参数。M1 模型原生支持 100 万 token 的上下文长度，是 DeepSeek R1 上下文大小的 8 倍。此外，MiniMax-M1 中的闪电注意力机制能够高效扩展测试时的计算需求。这些特性使得 M1 特别适合处理需要长输入和深度思考的复杂任务。 MiniMax-M1 使用大规模强化学习（RL）在多样化的任务上进行训练，包括基于沙盒的和真实世界软件工程环境中的问题。除了 M1 在 RL 训练中固有的效率优势外，我们还提出了一种新的 RL 算法——CISPO，以进一步提升 RL 效率。CISPO 对重要性采样权重进行裁剪，而非对 token 更新裁剪，从而超越了其他具有竞争力的 RL 变体。通过结合混合注意力机制与 CISPO，MiniMax-M1 的完整 RL 训练可以在仅使用 512 张 H800 GPU 的情况下于三周内完成，租赁成本仅为 534,700 美元。 我们发布了两种版本的 MiniMax-M1 模型，分别具有 40K 和 80K 的“思考预算”，其中 40K 模型代表了 80K 模型训练过程中的中间阶段。在标准基准测试中的实验表明，我们的模型在性能上与强大的开放权重模型（如原始的 DeepSeek-R1 和 Qwen3-235B）相当或更优，尤其在复杂软件工程、工具利用和长上下文任务方面表现出色。我们已公开发布 MiniMax-M1，相关资源可访问 https://github.com/MiniMax-AI/MiniMax-M1 获取。

我们提出了谨慎权重衰减（Cautious Weight Decay, CWD），这是一种仅需一行代码、与优化器无关的改进方法，它仅对那些符号与优化器更新方向一致的参数坐标施加权重衰减。与标准的解耦式衰减不同——后者隐式地优化一个带有正则化项或约束的目标函数——CWD 保持原始损失函数不变，并具有双层优化的解释：当接近平稳流形时，CWD 会引发滑动模态行为，从而能够在未修改的目标函数上搜索局部帕累托最优的平稳点。在实际应用中，CWD 可直接替代 AdamW、Lion 和 Muon 等优化器中的原有权重衰减，无需引入新的超参数，也无需额外调参。在语言模型预训练和 ImageNet 图像分类任务中，从百万到十亿参数规模的实验均表明，CWD 能持续改善最终的损失值和准确率。

大语言模型已在多个领域展现出卓越的能力，但其复杂推理能力背后的机制仍不明确。近期出现的推理模型在复杂的认知任务中表现优于同等规模的指令微调模型，这通常归因于通过更长思维链所实现的扩展计算。本文表明，推理能力的提升并不仅仅源于扩展计算，而关键在于模拟多智能体式的交互——即“思维社会”——这种机制使得内部认知视角之间产生多样化和辩论，这些视角具有不同的人格特质和领域专长。通过对推理轨迹进行定量分析和基于机制的可解释性研究，我们发现，诸如DeepSeek-R1和QwQ-32B等推理模型展现出远超指令微调模型的视角多样性，在推理过程中激活了更多涉及异质人格特征与专业能力之间的冲突。这种多智能体结构体现在对话行为中，包括问答、视角转换以及对矛盾观点的调和，同时也体现在塑造激烈交锋式对话的社会情感角色上，共同促成了推理任务中的准确率优势。通过受控的强化学习实验发现，基础模型在仅因推理准确性获得奖励时，会自发增加对话行为；而使用对话式结构对模型进行微调，则能比基础模型更快地提升推理能力。这些结果表明，思维的社会化组织有助于对解空间进行高效探索。我们提出，推理模型在计算层面实现了人类群体中集体智能的类比：当多样性被系统性地组织起来时，便能实现更优的问题解决能力，这也为通过智能体组织来汇聚群体智慧开辟了新的可能路径。

在机器人操作任务中，由于真实世界交互效率低下，基于学习得到的世界模型来训练机器人策略正成为一种趋势。现有的基于图像的世界模型与策略虽已取得一定成果，但缺乏对三维世界的稳定空间结构和物理规律的理解能力，即便使用互联网规模的视频数据进行预训练，这类模型仍难以提供可靠的几何信息。针对这一问题，我们提出了一种新型的世界模型分支——高斯世界模型（Gaussian World Model, GWM），该模型通过推断机器人动作影响下高斯基元的传播来重建未来状态。其核心是一个结合了三维变分自编码器的隐式扩散变换器（Diffusion Transformer, DiT），借助高斯点阵化（Gaussian Splatting）实现细粒度的场景级未来状态重建。GWM不仅能通过自监督的未来预测训练增强模仿学习智能体的视觉表征能力，还可作为支持基于模型的强化学习的神经仿真器。仿真实验与真实世界实验均表明，GWM能够精确地根据不同的机器人动作预测未来的场景，并可用于训练出显著优于当前最先进方法的策略，展现出三维世界模型在数据规模扩展方面的初步潜力。