Biological Neurons Compete with Deep Reinforcement Learning in Sample Efficiency in a Simulated Gameworld

这篇文章探讨了生物系统和机器学习算法在完成任务时所需的样本数量。作者们使用了一种名为DishBrain的系统，该系统结合了体外神经网络和硅基计算，通过高密度多电极阵列对生物神经网络进行了学习效率和性能方面的对比。作者们在一个简化版的“乒乓球”游戏模拟环境中，将这些生物系统的学习速率和表现与三种最先进的深度强化学习算法（即DQN、A2C和PPO）进行了时间匹配的对比。结果发现，当样本数量受到现实时间限制时，即使是这些非常简单的生物神经网络也比深度强化学习算法在各种游戏表现特征上表现更好，说明它们具有更高的样本效率。最终，即使在评估高维数据输入影响的多种信息输入类型中进行测试，生物神经元仍比所有深度强化学习代理更快地学习。

比较生物系统和机器学习算法在完成任务时所需的样本数量，论文针对生物神经网络和深度强化学习算法在Pong游戏中的表现进行了比较。

论文使用了DishBrain系统，将生物神经网络和深度强化学习算法在相同的游戏环境下进行了比较，发现即使是非常简单的生物神经网络也比深度强化学习算法具有更高的样本效率。

实验设计了多种信息输入以评估高维数据输入的影响，发现生物神经元比所有深度强化学习代理都具有更快的学习速度。

最近的相关研究包括使用生物神经网络进行深度学习和强化学习的研究，如《A spiking neural network architecture for deep reinforcement learning》和《Training deep neural networks with neuromorphic hardware》。