Less is More: Recursive Reasoning with Tiny Networks

分层推理模型（HRM）是一种新颖的方法，使用两个小型神经网络以不同频率进行递归。这种受生物启发的方法在数独、迷宫和ARC-AGI等复杂谜题任务上超越了大语言模型（LLMs），而其训练仅依赖于小型模型（2700万参数）和少量数据（约1000个示例）。HRM在利用小型网络解决难题方面展现出巨大潜力，但目前对其理解尚不充分，且可能存在优化不足的问题。我们提出了微型递归模型（TRM），这是一种更为简单的递归推理方法，仅使用一个仅有两层的微型网络，却实现了远超HRM的泛化能力。TRM仅有700万参数，在ARC-AGI-1上达到了45%的测试准确率，在ARC-AGI-2上达到8%，表现优于大多数大语言模型（例如Deepseek R1、o3-mini、Gemini 2.5 Pro），而参数量却不到这些模型的0.01%。

论文试图解决在资源受限的情况下，如何使用极小规模的神经网络实现复杂推理任务（如Sudoku、迷宫和ARC-AGI）的高效泛化问题。传统方法依赖大规模语言模型（LLMs），参数量巨大，而该研究探索是否可以用极小模型通过递归机制实现更强的推理能力。这是一个重要且较新的问题，尤其是在追求高效、可解释、低功耗AI系统的背景下。

提出Tiny Recursive Model (TRM)，仅用一个2层、7M参数的极小网络，通过单一递归机制进行分层推理，摒弃了HRM中复杂的双网络异频递归设计。TRM的关键创新在于简化结构的同时提升泛化性能，证明小模型通过合理的递归架构设计可在难推理任务上超越大模型。相比当前主流依赖缩放法则的LLM路径，TRM代表了一种‘向内’优化架构的新思路。

TRM在ARC-AGI-1上达到45%测试准确率，ARC-AGI-2上达8%，显著优于同规模及更大LLMs（如Deepseek R1等），且参数仅为它们的0.01%以下。实验基于少量数据（约1000样本）训练，突显数据效率。模型结构极其简洁，易于分析与部署。代码已开源，为后续研究提供基础。值得深入的方向包括：递归深度与泛化的理论关系、TRM在其他符号推理任务中的迁移能力、以及结合归纳偏置进一步提升性能。

1. 'Hierarchical Reasoning Model (HRM)' by Li et al., 2024 — 提出双小网络异频递归机制 2. 'Solving Visual Reasoning with ARC: A Minimalist Approach' by Zhang et al., 2023 3. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models' by Wei et al., 2022 4. 'Emergent Abilities of Large Language Models' 5. Neural Turing Machines by Graves et al., 2014 — 早期递归记忆结构探索