Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers

大型线性系统在现代计算科学中无处不在。解决它们的主要方法是使用经过良好设计的迭代求解器和预处理器。在共轭梯度（CG）方法的线性求解器迭代过程中，可以使用深度学习模型来预处理残差。在这种设置中，神经网络模型需要大量参数才能很好地逼近。另一种方法是利用小型图神经网络（GNN）来构建预定义稀疏模式的预处理器。在我们的工作中，我们回顾了线性代数中已经建立的预处理器，并将其作为训练GNN的起点。数值实验表明，我们的方法优于传统方法和基于神经网络的预处理方法。我们还提供了损失函数使用的启发式解释，并在复杂数据集上验证了我们的方法。

本论文旨在解决大型线性系统求解中预处理器设计的问题，尝试使用小型图神经网络（GNN）构建预处理器。

论文中的关键思路是利用线性代数中已有的预处理器作为小型GNN的训练起点，并使用其预测残差，从而提高求解器的效率。

论文的实验结果表明，该方法在复杂数据集上优于传统方法和基于神经网络的预处理器。此外，论文还提供了损失函数的启发式解释，并验证了该方法的可行性。

在相关研究中，最近的一些论文包括：1. Graph Neural Networks for Small Graphs: An Application in Materials Science; 2. Deep Learning-Based Preconditioners for Iterative Linear Solvers; 3. Neural Preconditioner for Scientific Simulations with Convolutional Neural Networks.