Harmonic Loss Trains Interpretable AI Models

在本文中，我们引入了**谐波损失**作为训练神经网络和大型语言模型（LLMs）的标准交叉熵损失的替代方案。谐波损失通过其固有的尺度不变性和有限的收敛点（可以解释为类中心），实现了更好的可解释性和更快的收敛速度。我们首先验证了谐波模型在算法、视觉和语言数据集上的性能。通过广泛的实验，我们证明了使用谐波损失训练的模型优于标准模型，具体表现在：(a) 提高了可解释性，(b) 泛化时需要更少的数据，以及 (c) 减少了“grokking”现象。此外，我们将使用谐波损失训练的GPT-2模型与标准GPT-2模型进行了比较，表明谐波模型能够生成更具可解释性的表示。展望未来，我们认为谐波损失有潜力成为在数据有限或对可解释性和可靠性要求极高的领域中的重要工具，从而为更稳健和高效的神经网络模型铺平道路。

该论文试图解决标准交叉熵损失在训练神经网络和大语言模型（LLMs）时存在的解释性差、收敛速度慢以及需要大量数据进行泛化的问题。此外，论文还探讨了如何减少模型的‘grokking’现象，即模型过度适应训练数据而难以推广到新数据的情况。这是一个旨在提升模型性能和可靠性的新问题。

论文提出了一种名为‘谐波损失’的新损失函数作为交叉熵损失的替代方案。谐波损失具有尺度不变性和有限收敛点的特点，这使得它能够提高模型的解释性并加速收敛。与现有研究相比，谐波损失的独特之处在于其设计上考虑了类中心的概念，从而使得模型能够更快地达到最优解，并且在较少的数据下也能实现良好的泛化。

论文通过算法、视觉和语言数据集的广泛实验验证了谐波损失的有效性。实验表明，使用谐波损失训练的模型不仅增强了解释性，减少了对大量数据的需求，还降低了‘grokking’现象的发生。值得注意的是，论文对比了GPT-2模型在标准损失和谐波损失下的表现，发现后者生成了更可解释的表示。此外，论文指出谐波损失在未来可能特别适用于数据稀缺或对解释性和可靠性要求高的领域。虽然论文没有明确提到代码开源，但其方法论值得进一步研究和应用。

近年来，在改进神经网络训练方法的研究中，有许多相关的工作。例如，《Improving Generalization and Stability of Neural Networks via Loss Function Design》探讨了通过设计新的损失函数来增强模型的泛化能力和稳定性；《On the Convergence Properties of Non-Convex Loss Functions in Deep Learning》分析了非凸损失函数在深度学习中的收敛特性；《Interpretable Machine Learning: Definitions, Methods, and Applications》则聚焦于提升机器学习模型的解释性。这些研究与本文提出的谐波损失有直接关联，共同推动了这一领域的进步。