DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training

预训练已被研究用于提高在数据稀缺情况下训练神经算子的效率和性能。然而，由于偏微分方程（PDE）数据具有长轨迹、多个尺度和不同维度等内在复杂性和多样性，因此它仍处于早期阶段。在本文中，我们提出了一种新的自回归去噪预训练策略，它允许在PDE数据上进行更稳定和高效的预训练，并推广到各种下游任务。此外，通过设计基于傅里叶注意力的灵活可扩展的模型架构，我们可以轻松地扩展模型以进行大规模预训练。我们使用超过100k条轨迹的10多个PDE数据集训练了具有高达0.5B参数的PDE基础模型。广泛的实验表明，我们在这些基准测试中取得了SOTA，并验证了我们的模型对于显著提高3D数据等不同下游PDE任务的性能的强大泛化能力。代码可在 \url{https://github.com/thu-ml/DPOT} 上获得。

该论文旨在解决在数据稀缺情况下训练神经算子的效率和性能问题，提出了一种新的自回归去噪预训练策略，并通过基于傅里叶注意力的灵活可扩展的模型架构进行大规模预训练。

该论文的关键思路是使用自回归去噪预训练策略来实现更稳定和高效的PDE数据预训练，并通过基于傅里叶注意力的灵活可扩展的模型架构轻松扩展模型规模。

该论文使用了10多个PDE数据集，超过100k个轨迹来训练PDE基础模型，最多使用了0.5B个参数，并在这些基准测试中取得了SOTA的结果。该论文的模型具有很强的通用性，可以显著提高各种下游PDE任务（如3D数据）的性能。代码已在GitHub上开源。

最近的相关研究包括：1. Neural Operators for Differential Equations (2020); 2. Fourier Neural Operator for Parametric Partial Differential Equations (2020); 3. Learning Continuous Time PDEs (2021)等。