SE(3)-Hyena Operator for Scalable Equivariant Learning

在许多领域，如生物学、化学或视觉等领域中，建模全局几何上下文并保持等变性对于准确预测至关重要。然而，由于处理高维数据的计算需求，这是具有挑战性的。现有方法，如等变自注意力或基于距离的消息传递，对于序列长度具有二次复杂度，而局部方法则牺牲了全局信息。受状态空间和长卷积模型的最近成功启发，本文介绍了SE(3)-Hyena操作符，这是一种基于Hyena操作符的等变长卷积模型。SE(3)-Hyena以次二次复杂度捕获全局几何上下文，同时保持旋转和平移的等变性。在等变联想回忆和n体建模方面进行评估，SE(3)-Hyena与等变自注意力相匹配或表现更好，同时需要更少的内存和计算资源来处理长序列。在相同的内存预算下，我们的模型比等变变压器更快3.5倍处理20k个标记的几何上下文，并允许在同一内存预算下处理比等变变压器长175倍的上下文。

本论文旨在解决在许多领域中处理高维数据的全局几何背景的问题，并保持等变性。现有的方法具有二次复杂度，而局部方法则牺牲了全局信息。

本文提出了基于Hyena算子的SE(3)-Hyena运算符，这是一种等变的长卷积模型，能够在保持等变性的同时以次二次复杂度捕捉全局几何背景。

本文提出的SE(3)-Hyena模型在等变联想回忆和n体建模方面与等变自注意力相当或优于等变自注意力，同时需要更少的内存和计算资源。实验表明，相比于等变Transformer，该模型能够3.5倍更快地处理20k个标记的几何背景，并允许在相同的内存预算下处理长达175倍的上下文。

与本文相关的研究包括等变自注意力和基于距离的消息传递方法。