Engineering software 2.0 by interpolating neural networks: unifying training, solving, and calibration

人工智能（AI）和神经网络理论的发展已经彻底改变了软件编程的方式，从硬编码的一系列代码转向了庞大的神经网络。然而，这种工程软件的转变面临着数据稀缺、数据多模态、模型精度低和推理速度慢等挑战。在这里，我们提出了一种基于插值理论和张量分解的新型网络——插值神经网络（INN）。INN不是像计算机科学中常见的插值训练数据，而是对可训练的物理空间中的插值点进行插值，这些插值点的坐标和值都可以训练。如果插值点位于训练数据范围之外并且插值函数具有更大的支持域，它还可以进行外推。与前馈神经网络（FFNN）或物理信息神经网络（PINN）相比，INN具有数量级更少的可训练参数、更快的训练速度、更小的内存占用和更高的模型精度。INN有望引领工程软件2.0的发展，这是一个统一的神经网络，涵盖了各种空间、时间、参数和初始/边界条件的领域。由于可训练参数数量呈指数级增长，容易超过超过1万亿的ChatGPT的参数大小，因此此前这在计算上是不可行的。INN通过利用张量分解和张量积，并具有可适应的网络架构，解决了这一挑战。

该论文旨在解决人工智能和神经网络理论的进化所面临的挑战，包括数据稀缺、数据多样性、模型准确性低和推理速度慢等问题。作者提出了一种基于插值理论和张量分解的新型神经网络，即插值神经网络（INN），以解决这些挑战。

INN不同于传统神经网络，它通过可训练的插值点在物理空间内进行插值，而不是插值训练数据。它还可以在插值函数具有更大支持域的情况下进行外推。相比于前馈神经网络（FFNN）或物理信息神经网络（PINN），INN具有数量级更少的可训练参数、更快的训练速度、更小的内存占用和更高的模型准确性。

该论文的亮点包括使用插值理论和张量分解，设计出具有可适应性网络结构的INN，从而使工程软件2.0成为可能。该方法可以统一跨越各种空间、时间、参数和初始/边界条件的神经网络，这在过去由于可训练参数的指数级增长而计算上是不可行的。论文还介绍了实验设计和使用的数据集，但并未提供开源代码。

最近的相关研究包括前馈神经网络（FFNN）和物理信息神经网络（PINN）等。