Learning Physical Simulation with Message Passing Transformer

近年来，物理模拟的机器学习方法取得了显著的成功。我们提出了一种基于图神经网络的新型通用架构——消息传递变换器(Message Passing Transformer)，它融合了消息传递框架，采用了编码器-处理器-解码器结构，并应用了图傅里叶损失作为模型优化的损失函数。为了利用过去的消息传递状态信息，我们提出了Hadamard-Product Attention来更新处理器中的节点属性。Hadamard-Product Attention是点积注意力的一种变体，它关注更细粒度的语义，并强调在每个特征维度上分配注意力权重，而不是相对于其他位置在序列中分配权重。我们进一步引入了图傅里叶损失(GFL)来平衡高能量和低能量成分。为了提高时间性能，我们在训练过程之前预先计算了图的拉普拉斯特征向量。我们的架构在长期预测拉格朗日和欧拉动力系统方面实现了显著的精度提高，优于当前的方法。

该论文旨在解决物理模拟中的长期预测问题，提出了一种基于图神经网络的新型通用架构，名为Message Passing Transformer。

该论文的关键思路是将信息传递框架与编码器-处理器-解码器结构相结合，并应用图傅里叶损失作为模型优化的损失函数。此外，论文还引入了Hadamard-Product Attention和Graph Fourier Loss等新概念。

该论文在长期预测方面取得了显著的准确性提升，实验结果表明该架构在Lagrangian和Eulerian动态系统方面的表现优于当前方法。论文使用了预计算图的拉普拉斯特征向量以提高时间性能。此外，论文还提供了开源代码。

在该领域的相关研究包括：1. Learning Particle Dynamics for Manipulation with Deep Neural Networks；2. Physics-as-Inverse-Graphics: Joint Unsupervised Learning of Objects and Physics from Video；3. Differentiable Physics and Stable Modes for Tool-Use and Manipulation Planning。