Improved Forward-Forward Contrastive Learning

反向传播算法，或称为反向传播（backprop），是深度学习中广泛使用的优化技术。虽然越来越多的证据表明，使用反向传播训练的模型可以准确解释神经元数据，但是在生物大脑中尚未发现类似于反向传播的学习方法。此外，在大脑中采用朴素的反向传播实现存在一些缺点。2022年，Geoffrey Hinton提出了一种称为前向-前向（FF）算法的生物学上可行的学习方法。不久之后，引入了一种修改版称为FFCL。然而，FFCL存在一些限制，尤其是作为一个三阶段的学习系统，最后一阶段仍然依赖于常规的反向传播。在我们的方法中，我们通过消除FFCL的最后两个阶段并完全消除常规的反向传播来解决这些缺点。相反，我们仅依赖于局部更新，提供了一种更具生物学可行性的替代方法。

论文试图提出一种更符合生物学的学习算法，以替代深度学习中常用的反向传播算法。

论文提出了一种基于前向传播的学习算法，完全消除了反向传播算法的使用，仅依靠本地更新。

该算法被称为FFCL，并通过实验表明其在准确性和生物可行性方面都有优势。论文还探讨了与该算法相关的神经科学和计算机科学问题，并提出了一些有趣的研究方向。

该论文提到了Hinton等人提出的前向传播算法以及FFCL算法，同时也提到了一些其他的生物学可行的学习算法，如STDP和ELM等。