Walrus: A Cross-Domain Foundation Model for Continuum Dynamics

基础模型在语言和视觉领域的机器学习中已带来深刻变革，但在物理仿真领域实现类似影响仍面临挑战。数据的异质性以及长期动态的不稳定性限制了从足够多样化的动力学数据中进行学习，而不同分辨率和维度则给在现代硬件上高效训练带来了困难。通过实证与理论分析，我们引入了若干新方法以缓解这些障碍，包括基于谐波分析的稳定化技术、负载均衡的分布式二维与三维训练策略，以及计算自适应的分词方法。利用这些技术，我们开发了Walrus——一种基于Transformer的基础模型，主要面向流体类连续介质动力学问题。Walrus在涵盖天体物理、地球科学、流变学、等离子体物理、声学以及经典流体力学等十九种不同场景的数据上进行了预训练。实验表明，无论是在下游任务的短期还是长期预测中，Walrus均优于以往的基础模型，并且在预训练数据的广泛范围内表现出更优性能；消融研究进一步证实，我们在提升预测稳定性、训练吞吐量以及迁移性能方面所作的改进显著优于传统方法。代码与模型权重均已公开，供学术社区使用。

论文试图解决在物理模拟领域构建基础模型所面临的关键挑战，包括数据异质性、长期动态不稳定性、以及不同分辨率和维度带来的训练效率问题。这些问题限制了从多样化动力学中有效学习，并阻碍了类似语言和视觉领域中基础模型的成功迁移。尽管已有部分尝试，但在跨场景、跨尺度的通用物理模拟上仍缺乏高效稳定的基础模型，因此这是一个正在兴起且具有重要意义的新问题。

提出Walrus——一种基于Transformer的物理模拟基础模型，通过三项关键技术应对挑战：1）基于调和分析的动力学稳定方法，提升长期预测稳定性；2）负载均衡的分布式2D/3D训练策略，适应现代硬件并提升训练效率；3）计算自适应的tokenization机制，统一处理多分辨率和多维度数据。这些方法共同支持在高度异构的物理场景中进行大规模预训练。

Walrus在19个涵盖天体物理、地球科学、流体力学等多样场景的数据集上进行了预训练，展现出卓越的下游任务泛化能力，在短期和长期预测上均超越现有基础模型。消融实验验证了各组件对稳定性、吞吐量和迁移性能的贡献。作者已开源代码与模型权重，促进社区复现与进一步研究，未来可探索更多物理领域扩展与实时仿真应用。

1. Physics-Informed Neural Networks (PINNs): A Deep Learning Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations 2. Learning to Simulate Complex Physics with Graph Networks 3. Foundation Models for Generalist Engineering Simulation 4. Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecasting 5. Fourier Neural Operator for Parametric Partial Differential Equations