Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression

本文研究了两个分量混合线性回归（2MLR）的期望最大化（EM）算法的迭代轨迹和收敛速度。MLR的基本目标是从未标记的观测中学习回归模型。EM算法在解决线性回归混合问题方面有广泛的应用。最近的研究结果在一些假设下证明了EM在无噪声和高信噪比的情况下对于2MLR的超线性收敛性，并且随机初始化下的EM的全局收敛率已得到确认。但是，收敛的指数尚未得到理论估计，并且EM迭代轨迹的几何特性尚不清楚。本文首先使用贝塞尔函数提供了所有信噪比下EM更新的显式闭式表达式。然后，在无噪声的情况下，本文通过在总体层面上推导递推关系完全表征了EM迭代的行为，并显著地表明所有迭代都位于某个摆线上。基于这种新的轨迹分析，本文展示了超线性收敛的指数的理论估计，并进一步改进了有限样本水平上的统计误差界限。我们的分析提供了一个研究EM在混合线性回归中行为的新框架。

研究Expectation-Maximization（EM）算法在两组分混合线性回归（2MLR）中的迭代轨迹和收敛速度。主要目标是从未标记的观测数据中学习回归模型。

使用Bessel函数提供EM更新的显式闭式表达式，完全描述了EM迭代的行为。在无噪声的情况下，通过推导出一种递归关系，证明了所有迭代都位于某个旋轮线上。基于这种新的轨迹分析，提出了超线性收敛指数的理论估计，并进一步提高了有限样本水平的统计误差界限。

论文提供了一种新的框架来研究混合线性回归中EM算法的行为。使用Bessel函数提供了EM更新的显式闭式表达式。在无噪声的情况下，通过推导出一种递归关系，证明了所有迭代都位于某个旋轮线上。提出了超线性收敛指数的理论估计，并进一步提高了有限样本水平的统计误差界限。

最近的相关研究包括：EM算法在其他混合模型中的应用，EM算法的收敛速度和收敛性质的分析，以及混合线性回归模型的其他改进算法。