A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction

我们提出了一个理论和方法论框架，解决了将深度学习应用于物理系统时面临的一个关键挑战：如何在预测SO（3）等变量（例如电子结构哈密顿量）的同时，协调非线性表达和SO（3）等变性。受物理学中协变理论的启发，我们通过探索SO（3）不变量和SO（3）等变量及其表示之间的数学关系来解决这个问题。我们首先构建从SO（3）等变的回归目标导出的理论SO（3）不变量，并使用这些不变量作为监督标签来指导学习高质量的SO（3）不变特征。由于SO（3）不变性在非线性操作下是保持不变的，因此不变特征的编码过程可以广泛地利用非线性映射，从而完全捕捉物理系统固有的非线性模式。在此基础上，我们提出了一种基于梯度的机制，从学习到的SO（3）不变特征中诱导出各种程度的SO（3）等变编码。这种机制可以将非线性表达能力融入到SO（3）等变表示中，同时在理论上保持它们的等变性质，我们证明了这一点。我们的方法为深度学习方法中等变性和非线性表达之间的关键困境提供了有前途的通用解决方案。我们将我们的理论和方法应用于电子结构哈密顿量预测任务，并在六个基准数据库上展示了最先进的性能。

解决问题：论文试图解决如何在深度学习中实现SO(3)-equivariance的问题，以提高物理系统的预测能力。这是一个新问题。

关键思路：论文提出了一种基于SO(3)-invariant和SO(3)-equivariant之间数学关系的方法，通过构建理论上的SO(3)-invariant数量，引导学习高质量的SO(3)-invariant特征，并提出了一种梯度机制来实现SO(3)-equivariant编码。这种方法可以在保持等变性的同时，充分利用非线性映射的表现能力，提高物理系统的预测能力。

其他亮点：论文在六个基准数据库上展示了最先进的性能，并提供了开源代码。实验结果表明，该方法在物理系统的预测中具有很大的应用潜力。

相关研究：最近的相关研究包括《Symmetry-adapted generation of machine learning models for accurate molecular energies and gradients》、《Learning symmetry-breaking representations for deep learning》等。