Neural Preconditioning Operator for Efficient PDE Solves

我们介绍了神经预条件算子（NPO），这是一种旨在加速求解来自偏微分方程（PDE）的大规模稀疏线性系统的克里洛夫（Krylov）求解器的新方法。与经典预条件子不同，后者通常需要大量的调整，并且在不同的网格或参数之间难以泛化，而NPO则通过条件损失和残差损失训练的神经算子来实现。该框架可以无缝集成到现有的神经网络模型中，作为预条件子有效提升克里洛夫子空间方法的性能。此外，通过将代数多重网格原理与基于变换器的架构相结合，NPO显著减少了求解泊松方程、扩散方程和线性弹性问题时所需的迭代次数和运行时间，无论是在均匀网格还是非规则网格上。我们的大量数值实验表明，NPO在各种分辨率下均优于传统方法和现代神经方法，即使在高达4096的网格上也能确保稳健收敛，远超其初始训练范围。这些发现强调了数据驱动预条件技术在提高高维PDE应用计算效率方面的潜力。

该论文试图解决使用传统预条件器在求解由偏微分方程（PDEs）衍生的大型稀疏线性系统时遇到的效率和泛化问题。传统方法通常需要大量的调参，并且在不同网格或参数之间难以通用。这是一个长期存在的挑战，而NPO旨在通过数据驱动的方法来改善这一点。

关键思路是引入神经预条件算子（NPO），它利用神经算子并通过条件和残差损失进行训练。NPO结合了代数多重网格原理与基于Transformer的架构，从而加速Krylov子空间方法，提高求解效率。相比现有研究，NPO无需大量手动调参，能够更好地适应不同类型的网格和参数，显示出更强的泛化能力。

论文展示了NPO在求解泊松方程、扩散方程和线弹性问题上的优越性能，不仅适用于均匀网格也适用于不规则网格。实验涵盖了多种分辨率，甚至包括远超训练规模的4096网格，验证了其稳健性和高效性。此外，作者提供了开源代码，便于复现结果并进一步研究。

近期相关研究包括《Neural Operator: Learning Maps Between Function Spaces》, 《Physics-Informed Neural Networks》 和 《DeepONet: A Deep Neural Network-Based Operator for Solving Differential Equations》。这些研究均探索了如何利用深度学习技术改进PDE求解过程，但NPO的独特之处在于它专注于作为预条件器的角色，以加速现有的数值方法。