MCNC: Manifold Constrained Network Compression

近年来，大型基础模型在计算机视觉、语音和自然语言处理等各种任务中的出色表现大大增加了它们的需求。然而，由于它们的巨大体积（例如GPT-3为350GB），存储和传输这些模型带来了重大挑战。最近的文献集中在压缩原始权重或减少微调这些模型所需的参数数量上。这些压缩方法通常涉及限制参数空间，例如在模型训练期间通过低秩重新参数化（例如LoRA）或量化（例如QLoRA）来实现。在本文中，我们提出MCNC作为一种新颖的模型压缩方法，它将参数空间限制为低维预定义和冻结的非线性流形，这有效地覆盖了该空间。鉴于超参数化深度神经网络中好的解决方案的普遍存在，我们表明通过将参数空间约束到我们提出的流形上，我们可以在实现前所未有的压缩率的同时识别高质量的解决方案。通过在计算机视觉和自然语言处理任务中进行广泛的实验，我们证明了我们的方法MCNC在压缩、准确性和/或模型重建时间方面显著优于现有技术基线。

如何在大型基础模型在各种任务中表现出色的同时，解决它们存储和传输的挑战？

使用MCNC作为一种新型的模型压缩方法，将参数空间限制在低维度的预定义和冻结的非线性流形上，以达到有效覆盖整个空间的目的。

MCNC方法在计算机视觉和自然语言处理任务中显著优于现有的基线方法，具有更好的压缩率、准确性和/或模型重构时间。实验使用了多个数据集，并开源了代码。

目前的文献主要关注于压缩原始权重或减少微调这些模型所需的参数数量的方法。这些压缩方法通常涉及约束参数空间，例如通过低秩重参数化（例如LoRA）或量化（例如QLoRA）来进行模型训练。