Strategies for Pretraining Neural Operators

最近，预训练偏微分方程（PDE）建模已经显示出潜力，可以扩展神经算子跨数据集以提高泛化能力和性能。尽管取得了这些进展，我们对预训练如何影响神经算子的理解仍然有限；研究通常提出定制的体系结构和数据集，这使得比较或检查不同的预训练框架具有挑战性。为了解决这个问题，我们比较了各种预训练方法，而不是优化体系结构选择，以表征不同模型和数据集上的预训练动态，并了解其扩展和泛化行为。我们发现，预训练高度依赖于模型和数据集选择，但通常情况下，迁移学习或基于物理的预训练策略效果最好。此外，使用数据增强可以进一步提高预训练性能。最后，在数据稀缺的情况下微调或推广到类似于预训练分布的下游数据时，预训练也会带来额外的好处。通过为物理预测预训练神经算子提供见解，我们希望激发未来开发和评估PDE预训练方法的工作。

本论文旨在比较不同的预训练方法在PDE建模中的效果，以了解其对于不同模型和数据集的影响，以及其在扩展和泛化方面的表现。

论文比较了不同的预训练方法，探究其对于模型和数据集的影响，并发现基于物理的预训练策略或迁移学习方法效果最好。此外，数据增强也有助于提高预训练性能。在数据稀缺或泛化到类似预训练数据的下游数据时，预训练也能带来额外的好处。

论文的实验设计包括比较不同的预训练方法，探究其对于不同模型和数据集的影响，并研究了数据增强对于预训练性能的影响。论文还提出了预训练在数据稀缺或泛化到类似预训练数据的下游数据时的优势。值得关注的是，本文提供了预训练神经算子的物理预训练框架，这是一个新的思路。

最近的相关研究包括：《Neural Operators for Differential Equations: A Review》、《Neural Ordinary Differential Equations with Layer-wise Adaptive Solvers》、《Graph Convolutional Neural Networks for PDEs: An Overview》等。