Symbol-Equivariant Recurrent Reasoning Models

诸如数独（Sudoku）和ARC-AGI等推理任务，对神经网络而言仍具挑战性。以循环推理模型（RRM）为代表的结构化问题求解架构家族——包括分层推理模型（HRM）与微型递归模型（TRM）——为大型语言模型提供了一种参数更精简的替代方案；但目前这类模型仅能通过开销高昂的数据增强方式，隐式地处理符号对称性。为此，我们提出了符号等变循环推理模型（SE-RRM），其在架构层面引入符号等变层，显式地施加置换等变性约束，从而确保当输入符号或颜色发生任意置换时，模型输出的解保持完全一致。在9×9数独任务上，SE-RRM显著优于此前各类RRM；更值得注意的是，它仅需在9×9规模上进行训练，即可稳健泛化至更小的4×4以及更大的16×16和25×25规模实例——而现有RRM模型均无法实现此类外推能力。在ARC-AGI-1与ARC-AGI-2基准测试中，SE-RRM仅需极少的数据增强，且参数量仅为200万，即取得了具有竞争力的性能表现。这充分表明：显式建模对称性可有效提升神经网络推理能力的鲁棒性与可扩展性。代码已开源：https://github.com/ml-jku/SE-RRM。

神经网络在符号推理任务（如Sudoku和ARC-AGI）上泛化能力差，尤其难以处理符号对称性（如数字/颜色置换不变性）；现有Recurrent Reasoning Models（RRMs）仅通过昂贵的数据增强隐式建模该对称性，无法跨规模（如9×9→4×4/16×16/25×25）外推，暴露了架构层面缺乏对称先验的根本缺陷。这是一个新问题：首次明确提出并系统解决‘符号置换等变性’在紧凑推理架构中的显式建模需求。

提出Symbol-Equivariant RRM（SE-RRM），在模型架构层面设计符号等变层（symbol-equivariant layers），使隐藏表示严格满足任意符号置换下的函数等变性（即输入符号重标号 → 输出解自动同步重标号），无需数据增强即可保证对称鲁棒性；这是首个将群等变性（S_n作用）从视觉（CNN/GNN）迁移到符号序列化推理架构的系统性工作。

• 在9×9 Sudoku上超越HRM/TRM；首次实现从9×9训练到4×4/16×16/25×25的零样本跨规模泛化（原RRMs完全失效）；• 在ARC-AGI-1/2上以仅2M参数、大幅减少数据增强达到SOTA级性能；• 实验覆盖多尺度Sudoku（4×4至25×25）和标准ARC-AGI基准；代码完全开源（GitHub）；• 值得深入：等变性与递归深度的理论边界、向更复杂符号逻辑（如一阶谓词）的扩展、硬件友好型等变算子设计。

• HRM (Zhang et al., NeurIPS 2022) 和 TRM (Liu et al., ICLR 2023)：开创性RRM架构，但无对称性保障；• DeepMind's ARC-AGI baseline models (2023–2024)：依赖大规模LLM或强化学习，参数量超1B；• Cohen & Welling (ICML 2016) 的群等变CNN；• Wang et al. (NeurIPS 2021) 的Set-Equivariant Networks；• Geirhos et al. (ICLR 2020) 关于归纳偏置与数据增强的对比研究。