Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion

矩阵分解模型一直被广泛研究作为理解过度参数化模型的隐式偏差的有价值的测试平台。虽然这些模型的低核范数和低秩正则化都已经被研究过，但它们何时、如何以及为什么实现不同的隐式正则化效果的统一理解仍然很难。在本文中，我们系统地研究了矩阵分解的隐式正则化，以解决矩阵完成问题。我们实证发现，观察数据的连通性在隐式偏差中起着至关重要的作用，随着观察次数的增加，数据从不连通到连通，从低核范数过渡到低秩。我们确定了损失景观中的内在不变流形的层次结构，指导训练轨迹从低秩向更高秩的解演化。基于这一发现，我们理论上表征了训练轨迹遵循分层不变流形遍历过程，推广了Li等人的表征方法（2020）以包括不连通的情况。此外，我们建立了保证最小核范数的条件，与我们的实验结果密切相关，并为确保最小秩提供了动力学特征条件。我们的工作揭示了矩阵分解模型中数据连通性、训练动态和隐式正则化之间的复杂相互作用。

论文探讨矩阵分解模型的隐式正则化效应，研究低核范数和低秩正则化的异同，以及数据连通性对隐式偏差的影响。

论文发现观测数据的连通性在隐式偏差中起着至关重要的作用，随着观测数量的增加，数据从不连通到连通，从低核范数过渡到低秩。论文还发现了损失函数中的内在不变流形层次结构，指导训练轨迹从低秩向高秩解决方案的演变。

论文通过实验发现数据的连通性对隐式偏差有重要影响，提出了损失函数中的内在不变流形层次结构，指导训练轨迹从低秩向高秩解决方案的演变。论文还建立了保证最小核范数的条件，并提供了保证最小秩的动力学特征条件。

最近的研究包括Li等人（2020）的研究，以及关于矩阵分解模型的低秩和低核范数正则化的其他研究。