近日 Facebook AI 与法国高校研究人员合作发布新论文「反馈对齐的学习动态」论文概要如下：作为一种有效且生物学上可行的替代方法，直接反馈对准（DFA）在训练深度神经网络方面普遍存在于反向传播算法。尽管依靠随机反馈权重进行反向传递，DFA 仍成功地训练了诸如 Transformers 之类的最新模型。然而它无法训练卷积网络。我们提出了 DFA 成功的理论。我们首先表明，浅层网络中的学习分两个步骤进行：对齐阶段，模型调整其权重以使近似梯度与损失函数的真实梯度对齐，然后是记忆阶段，该阶段着重于倾斜数据。这个两步过程具有一个简并性突破效果：在景观中的所有低损耗解决方案中，使用 DFA 训练的网络自然会收敛到该解决方案，以最大程度地实现梯度对齐。我们还确定了深层线性网络中对齐的关键量：对齐矩阵的条件。后者使人们能够详细了解数据结构对对齐的影响，并为 DFA 训练卷积神经网络的失败提出了简单的解释。

论文地址：https://arxiv.org/pdf/2011.12428.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除