Beyond Language: Applying MLX Transformers to Engineering Physics

Transformer神经网络正在推动大型语言模型领域的活动和发现。相比之下，在工程物理领域中，应用Transformer的尝试很少。为了提供一个易于入门的物理中心Transformer模型，我们介绍了一个物理信息化的Transformer模型，用于求解带Dirichlet边界条件的2D平板热传导问题。该模型是在机器学习框架MLX中实现的，并利用了Apple M系列处理器的统一内存。使用MLX意味着这些模型可以在个人机器上高效地训练和执行预测，且只需要适度的内存要求。为了训练、验证和测试Transformer模型，我们使用中心有限差分法解决2D热传导问题。这些集合中的每个有限差分解都是使用四个随机Dirichlet边界条件、均匀但随机的内部温度分布和随机选择的热扩散率初始化的。在训练过程中进行内联验证，以监测过度拟合。训练模型的出色性能通过预测温度场的演变来证明，以达到未见过的测试条件的稳态。

本论文旨在介绍一种基于Transformer模型的物理求解器，用于解决二维板材热传导问题。

该论文提出了一种物理感知Transformer模型，用于解决工程物理问题，并在MLX机器学习框架中实现。

论文使用中心有限差分法解决二维热传导问题，并在训练过程中进行验证以避免过拟合。使用MLX框架实现的模型可以在个人机器上高效地进行训练和预测。实验结果表明，该模型在预测温度场的稳态演化方面表现出色。

当前物理学领域中，应用Transformer模型的研究较少。相关研究包括使用神经网络求解偏微分方程的方法，如PINN和DeepONet。