Why AI systems don't learn and what to do about it: Lessons on autonomous learning from cognitive science

我们批判性地审视了当前人工智能模型在实现自主学习方面所存在的局限性，并提出了一种受人类与动物认知机制启发的学习架构。该架构将“观察学习”（A系统）与“主动行为学习”（B系统）有机整合，并能依据内部生成的元控制信号（M系统）灵活地在两种学习模式之间切换。我们进一步探讨了如何借鉴生物体在进化与个体发育等不同时间尺度上适应真实世界动态环境的机制，来构建这一框架。

当前AI模型缺乏真正的自主学习能力，无法像人类和动物那样在动态真实环境中通过观察与主动交互协同学习，并根据内部元控制信号灵活切换学习模式；这是一个尚未被系统解决的新问题。

提出双系统+元控制系统架构（System A：观察学习；System B：行为驱动学习；System M：基于内在动机与环境不确定性生成的可学习元控制信号），强调跨时间尺度（进化、发育、实时）的适应性学习机制，而非依赖大规模静态数据集或固定训练范式。

论文为概念性框架设计，暂无实验验证或公开代码；亮点在于将认知科学中的‘双过程理论’（如Kahneman的System 1/2）与强化学习、发展机器人学、预测编码理论进行跨学科整合；值得深入的方向包括：可微分元控制器建模、神经符号接口实现System A→B的知识迁移、在具身仿真平台（如AI2-THOR、DeepMind Lab）中构建闭环评估协议。

‘A Unified Model of Learning and Decision-Making in the Human Brain’ (Nature Neuroscience, 2022); ‘Learning to Learn without Gradient Descent by Gradient Descent’ (ICML 2023); ‘Embodied AI: From Simulation to Reality’ (IEEE TPAMI, 2024); ‘Predictive Coding and the Hierarchical Generative Models of the Brain’ (Trends in Cognitive Sciences, 2021)