MORPH: Shape-agnostic PDE Foundation Models

我们提出MORPH，一种对几何形状无依赖的、用于偏微分方程（PDE）的自回归基础模型。MORPH基于卷积视觉Transformer架构构建，能够无缝处理具有不同数据维度（一维至三维）、不同分辨率以及包含多个混合标量与矢量物理场的异构时空数据集。该架构结合了三个关键设计：（i）逐分量卷积，可联合处理标量和矢量通道，以捕捉局部相互作用；（ii）跨场交叉注意力机制，用于建模不同物理场之间的信息并选择性地进行传播；（iii）轴向注意力机制，沿各个空间和时间轴分别分解完整的时空自注意力，从而在保持表达能力的同时降低计算开销。我们在多种多样的异构PDE数据集上预训练了多个模型变体，并评估其在一系列下游预测任务中的迁移性能。无论是通过全模型微调，还是采用参数高效的低秩适配器（LoRA）方法，MORPH在零样本和全样本泛化场景下均优于从头训练的模型。在广泛的实验评估中，MORPH达到或超过了强基线方法以及近期最先进的模型表现。综上所述，这些能力使MORPH成为一个灵活而强大的骨干网络，可用于学习科学观测中普遍存在的异构性与多模态特性，为实现可扩展且数据高效利用的科学机器学习指明了发展方向。

论文旨在解决科学机器学习中处理异构、多模态偏微分方程（PDE）数据的挑战，特别是模型在不同维度（1D-3D）、分辨率、混合标量与向量场以及跨物理场泛化能力不足的问题。这一问题在当前PDE建模中尚未被充分解决，尤其是在统一框架下实现形状无关且高效迁移的学习架构方面，仍属较新的研究方向。

提出MORPH，一种形状无关的自回归基础模型，采用卷积视觉Transformer架构，结合分量卷积、跨场交叉注意力和轴向注意力机制，统一建模多维、多场、多分辨率的PDE动态。其创新在于将计算机视觉中的现代架构引入科学模拟，实现对异构时空数据的高效编码与跨任务迁移，支持零样本和全样本泛化。

模型在多样化的PDE数据集上进行预训练，并通过全模型微调和低秩适配器（LoRA）实现高效迁移，在多个下游预测任务中优于从头训练的模型。实验涵盖1D至3D场景，验证了其在不同几何和物理场下的鲁棒性。相比现有方法，MORPH展现出更强的表达力与计算效率。目前论文未明确提及开源代码，但其预训练范式为未来科学大模型提供了可扩展路径，值得进一步探索在真实观测数据与闭环控制中的应用。

1. Physics-Informed Neural Networks (PINNs): A Deep Learning Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations 2. FNO: Fourier Neural Operator for Parametric Partial Differential Equations 3. U-Net: Convolutional Networks for Biomedical Image Segmentation 4. ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 5. TokenShift: A Pre-trained Foundation Model for Partial Differential Equations via Spatiotemporal Tokens