QuadraNet V2: Efficient and Sustainable Training of High-Order Neural Networks with Quadratic Adaptation

机器学习正在向高阶模型发展，这些模型需要在大量数据集上进行预训练，这个过程涉及到显著的开销。传统模型虽然具有预训练的权重，但由于架构差异阻碍了这些权重的有效转移和初始化，它们正在变得过时。为了解决这些挑战，我们引入了一种新的框架QuadraNet V2，它利用二次神经网络创建高效和可持续的高阶学习模型。我们的方法使用标准神经网络初始化二次神经元的主要项，而二次项用于自适应增强数据的非线性或偏移学习。将预训练的主要项与具有先进建模能力的二次项相结合，显著增强了高阶网络的信息表征能力。通过利用现有的预训练权重，QuadraNet V2相对于从头开始训练，将所需的GPU小时数减少了90％至98.4％，展示了其高效和有效性。

QuadraNet V2试图解决高阶神经网络模型的预训练过程中的显著开销问题，以及传统模型无法有效转移和初始化预训练权重的问题。

QuadraNet V2利用二次神经网络创建高效和可持续的高阶学习模型。该方法使用标准神经网络初始化二次神经元的主要项，而二次项则用于自适应地增强数据的非线性或偏移学习。

QuadraNet V2通过利用现有的预训练权重，将训练所需的GPU小时数降低了90％至98.4％，展示了高效和有效的特点。实验设计了多个数据集进行验证，并开源了代码。

相关研究包括《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》和《Deep Residual Learning for Image Recognition》等。