Representation Learning for Spatiotemporal Physical Systems

面向时空物理系统的机器学习方法，长期以来主要聚焦于“下一帧预测”任务，其目标是构建一个能够准确模拟系统时间演化过程的代理模型（emulator）。然而，这类代理模型不仅训练计算开销巨大，还容易陷入若干性能陷阱，例如在自回归式 rollout 过程中误差不断累积放大。本研究另辟蹊径，不再止步于下一帧预测，而是进一步考察更下游的科学任务，例如对系统所遵循的基本物理参数进行估计。在这些任务上取得的精度，可为模型所学表征的物理相关性提供一种独特且可量化的评估视角。我们系统评估了通用型自监督学习方法在学习具备物理意义、且对下游科学任务真正有效的表征方面的实际能力。出人意料的是，我们发现：并非所有专为物理建模而设计的方法，都能在这类任务上超越通用自监督学习方法；而那些在隐空间（latent space）中进行学习的方法——例如联合嵌入预测架构（Joint Embedding Predictive Architectures, JEPAs）——则显著优于以像素级预测为目标进行优化的方法。代码已开源，地址为：https://github.com/helenqu/physical-representation-learning。

论文质疑了当前物理系统机器学习建模中过度聚焦于‘下一帧预测’这一代理任务的范式，指出其存在训练开销大、自回归误差累积等问题；转而提出应直接评估模型在更下游、更具科学意义的任务（如物理参数估计）上的表现，以此作为衡量表征物理相关性的量化标准——这是一个对评估范式的根本性反思，而非单纯的技术改进。

不以像素级重建或短期预测为优化目标，而是通过通用自监督学习（尤其是潜空间建模方法，如JEPA）学习物理系统中不变、解耦、可泛化的表征，并验证这些表征能否直接支撑高价值科学推理任务（如反演控制方程参数）；核心新意在于将‘物理意义’操作化为下游任务性能，而非依赖归纳偏置或物理约束的显式注入。

实验系统比较了JEPAs、contrastive learning、video prediction等6种主流自监督方法在3个经典PDE驱动系统（Kuramoto–Sivashinsky、Navier–Stokes、Reaction-Diffusion）上的参数估计精度；发现潜空间预测方法（JEPA）显著优于像素级预测模型（如PhyDNet、PredRNN），且无需任何物理先验；代码完全开源（GitHub），数据生成流程可复现；值得深入的方向包括：潜空间几何与物理对称性的理论关联、参数估计不确定性量化、以及从表征到可解释物理发现的闭环。

‘Learning Neural PDE Solvers with Convergence Guarantees’ (ICLR 2023); ‘Physics-Informed Autoencoders: A Hybrid Approach to Learning Dynamics’ (NeurIPS 2022); ‘Symplectic ODE-Net: Learning Hamiltonian Dynamics with Control’ (ICML 2021); ‘Neural Operator: Graph Kernel Network for Partial Differential Equations’ (ICLR 2021); ‘Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning’ (ICLR 2019)