Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning

运算学习用于偏微分方程（PDEs）的代理建模被迅速发展为一种有前途的方法。具有自我关注机制的变压器最初是为自然语言处理而设计的强大工具，最近已被改进用于运算学习。然而，它们面临着挑战，包括高计算需求和有限的可解释性。这引发了一个关键问题：是否有更有效的变压器注意机制用于运算学习？本文提出了一种基于创新位置关注机制构建的位置感知变压器（PiT），在运算学习中比经典的自我关注机制表现出显著优势。位置关注机制从PDE数值方法中汲取灵感。与自我关注不同，位置关注仅由运算符输入函数的采样位置之间的空间相互关系引发，不依赖于输入函数值本身，从而极大地提高了效率。在各种复杂运算学习任务和不同的PDE基准测试中，PiT表现出优于当前最先进的神经运算符的性能。此外，与广泛使用的傅里叶神经运算符相比，PiT具有增强的离散化收敛特性。

本文试图解决Transformer-based operator learning中高计算需求和有限可解释性的问题，探索更高效的attention机制。

文章提出了一种基于位置注意力机制的Position-induced Transformer (PiT)，该机制仅由算子输入函数的采样位置空间相互关系引起，而不依赖于输入函数值本身，从而大大提高了效率。

PiT在各种复杂算子学习任务中，比当前最先进的神经算子表现更好。此外，与广泛使用的傅里叶神经算子相比，PiT具有更好的离散化收敛性能。

最近的相关研究包括使用自注意力机制的Transformer-based operator learning，以及其他基于神经网络的算子学习方法，如傅里叶神经算子。