本文中，作者对经典预测编码模型和深度学习架构中的预测编码模型进行了简单回顾，其中重点介绍了用于视频预测和无监督学习的深度预测编码网络 PredNet 以及基于 PredNet 进行改进的一些版本。

 

预测编码（predictive coding）是一种认知科学的假说。与一般认为高层次的神经活动都是由感官输入引起的理念不同，该假说认为更高层次的神经表征会参与定义感觉输入（Sensory Input）。预测编码的概念起源于神经科学界，近年来，机器学习领域的一些研究人员也开始致力于研究预测编码相关的模型。本文以来自路易斯安那大学拉菲特分校（University of Louisiana at Lafayette） 的 Hosseini M 和 Maida A 近期发表的文章为基础[1]，探讨预测编码是如何在深度学习的架构中应用的。

在我们撰写这篇文章的过程中对与预测编码相关的文献进行了搜索，与深度学习各类论文相比，预测编码相关的研究论文数量还非常有限。正如我们在上文中提到的，能够真正意义上称为深度学习架构中的预测编码的模型目前也就只有 PredNet 以及基于 PredNet 进行改进的一些版本。笔者猜测，这可能与预测编码 “仅致力于减少预测误差” 有关，在一些专门的任务中表现可能并不亮眼。但是，这种高度模拟大脑工作机制的方法 / 模型能否在实际场景中获得较好的应用效果，有待后续深入的研究和探索。

内容中包含的图片若涉及版权问题，请及时与我们联系删除