Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation

本文研究表明，机器学习模型中的超参数化虽然在优化和推广方面具有巨大优势，但随着模型规模的增长，也会导致计算需求的增加。我们展示了通过利用数据的固有低维结构和模型参数内在可压缩动态，我们可以在不增加计算负担的情况下获得超参数化的好处。实际上，我们展示了这种方法在深度低秩矩阵完成和微调语言模型方面的有效性。我们的方法建立在深度超参数化低秩矩阵恢复的理论发现基础上，我们展示了每个权重矩阵的学习动态被限制在一个不变的低维子空间中。因此，我们可以构建和训练紧凑、高度压缩的因式分解，具有与超参数化对应物相同的优点。在深度矩阵完成的情况下，我们的技术显著提高了训练效率，同时保留了超参数化的优势。对于语言模型微调，我们提出了一种称为“Deep LoRA”的方法，它改进了现有的低秩自适应（LoRA）技术，减少了过拟合和简化了超参数设置，同时保持了可比较的效率。我们在自然语言任务上验证了Deep LoRA的有效性，特别是在有限数据微调时。

如何在不增加计算负担的情况下利用过度参数化的优势？

通过利用数据的低维结构和可压缩动态以及深度超参数化低秩矩阵恢复的理论结果，构建和训练紧凑、高度压缩的因式分解，从而获得与过度参数化相同的优势。

论文在深度低秩矩阵补全和微调语言模型两个任务上验证了这种方法的有效性，并提出了一种名为Deep LoRA的方法，可以在有限数据情况下进行语言模型微调。

相关研究包括低秩矩阵恢复、深度学习模型压缩等方向的研究。