Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents

本研究探讨了在人脑区域中（尤其是海马和新皮层）广泛观察到的神经活动模式——重放，在人工智能代理中是否会出现？如果会，它是否有助于任务完成？在不依赖于复杂假设的情况下，我们使用基于循环神经网络的强化学习模型，在任务优化范式下自然地发现了重放现象，该模型模拟了海马和前额皮层以及它们之间的交流和感觉皮层输入。海马中的自然重放源于情景记忆、认知图和环境观察，很好地类似于动物实验数据，并作为高任务绩效的有效指标。该模型还成功地重现了局部和非局部重放，与人类实验数据相匹配。我们的研究为理解重放机制提供了新的途径。

论文旨在探讨人工智能代理是否可以出现重播（replay）现象，以及重播是否对任务有所贡献。同时，研究人员也试图了解重播机制背后的原理。

通过使用基于递归神经网络的强化学习模型，模拟海马体、前额皮质和感觉皮层之间的相互作用，以及环境观察，从而在任务优化范式下发现自然出现的重播。这种重播与动物实验数据相似，是高任务性能的有效指标。同时，模型还成功地重现了局部和非局部重播，与人类实验数据相匹配。

实验结果表明，基于递归神经网络的强化学习模型可以自然地产生重播现象，这为理解重播机制提供了新的途径。论文还使用了多个数据集进行了实验，并开源了代码。这项工作还值得进一步研究。

最近的相关研究包括： 1. 'Replay of Episodic Memories in the Hippocampus during Sleep' by Jiannis Taxidis et al. 2. 'Memory Replay in the Mechanisms of Hippocampal Theta Oscillations and Their Potential Use in Neural Computation' by György Buzsáki