复旦大学数据智能与社会计算实验室3篇论文被 ICLR 2026录用

ICLR 2026

作者：梁敬聪，王思远，田米忍，李一同，唐都钰，魏忠钰

类别：主会长文

合作单位：南加州大学、华为技术有限公司

摘要：专家混合模型（Mixture-of-Experts, MoE）通过在推理过程中采用稀疏激活的专家组，实现了大语言模型（LLM）的高效扩展。为在内存受限设备上有效部署大型MoE模型，许多系统引入专家卸载机制：将部分专家缓存至高速内存，其余专家保留在低速内存中，由CPU运行或按需加载。尽管已有研究利用专家激活的局部性（即连续token激活相似专家），但这种局部路由一致性的程度在不同模型中存在差异且尚未深入研究。本文提出两项衡量MoE模型局部路由一致性的指标：(1)分段路由最佳性能(SRP)，评估固定专家组覆盖特定token段需求的能力；(2)分段缓存最佳命中率(SCH)，衡量专家缓存利用未来信息长度在缓存限制下的命中率。我们分析了20种不同规模和架构的MoE大型语言模型，并通过简化模型验证了影响局部路由一致性的关键因素。研究发现局部路由一致性与局部负载平衡存在显著权衡关系，同时证明全局负载平衡可与局部路由一致性共存。同时发现共享专家等设置会缩减专家组合空间，导致局部路由一致性下降。我们进一步揭示：领域特化专家对路由一致性的贡献大于词汇特化专家，且x通过将缓存规模设定为活跃专家数量的两倍左右，可以在多数模型上实现缓存效能与效率的平衡。这些发现为在不牺牲推理速度的前提下，设计部署内存高效的MoE模型铺平了道路。

作者：梁敬聪，万石君，吴学海，李一同，陈强龙，唐都钰，王思远，魏忠钰

类别：主会长文

合作单位：南加州大学、华为技术有限公司

摘要：大型推理模型（Large Reasoning Model, LRM）在复杂任务中展现出卓越性能，包括需要推导出满足所有约束条件的解决方案的逻辑解谜游戏。然而，它们能否灵活地将适当规则应用于不同条件——尤其在面对非标准游戏变体时——仍是一个悬而未决的问题。现有数据集聚焦于9x9数独等流行谜题，存在过度拟合经典格式及死记解题模式的风险，这可能掩盖模型在理解新规则或适应变体策略方面的缺陷。为此我们推出HardcoreLogic——涵盖10款游戏、逾5000道谜题的挑战性基准测试，旨在检验LRMs在“长尾”逻辑游戏中的稳健性。HardcoreLogic通过三大维度系统性改造经典谜题：复杂度提升(IC)、非常规元素(UE)及不可解谜题(UP)，从而降低对捷径记忆的依赖。对多个主流推理模型的评估显示，即使在现有基准测试中表现优异的模型也出现显著性能下降，表明其高度依赖记忆化的刻板模式。尽管复杂度提升是主要难点来源，模型在应对规则细微变异时同样表现吃力——这些变异未必增加谜题难度。我们对可解与不可解谜题的系统性错误分析，进一步凸显了模型真实推理能力的缺口。总体而言，HardcoreLogic揭示了当前LRM的局限性，并为提升高级逻辑推理能力建立了基准测试标准。