FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information

本文为Adam优化器建立了数学基础，通过黎曼几何和信息几何阐明了它与自然梯度下降的联系。我们严谨地分析了Adam中的对角经验费舍尔信息矩阵（FIM），澄清了所有详细的近似，并提倡使用基于离散分布的对数概率函数作为损失函数，由于经验FIM的限制。我们的分析揭示了原始Adam算法中的缺陷，导致提出了一些修正措施，例如增强动量计算、调整偏差校正、自适应epsilon和梯度裁剪。我们根据理论框架改进了权值衰减项。我们修改后的算法，Fisher Adam（FAdam），在包括LLM、ASR和VQ-VAE在内的多个领域中表现出卓越的性能，在ASR方面取得了最先进的结果。

本论文旨在建立Adam优化器的数学基础，并通过黎曼和信息几何阐明它与自然梯度下降的联系。同时，论文还试图解决原始Adam算法中存在的问题。

论文提出了Fisher Adam (FAdam)算法，通过对原始Adam算法的改进，在多个领域实现了卓越的性能表现。

论文通过对Adam优化器的Fisher信息矩阵进行严格分析，提出了一些改进措施，如增强的动量计算、调整的偏差校正、自适应epsilon和梯度削减。论文还在基于理论框架的基础上，对权重衰减项进行了改进。实验结果表明，FAdam算法在语音识别、文本生成等多个领域均取得了最先进的结果。

在Adam优化器的改进方面，还有一些相关的研究，如AMSGrad和AdaBound算法。