Tangling-Untangling Cycle for Efficient Learning

传统的流形学习智慧基于非线性降维技术，例如IsoMAP和局部线性嵌入（LLE）。我们利用维度的优势来挑战这种范式。我们的直觉很简单：由于Whitney嵌入定理的保证，更高维的空间更加广阔，因此在更高维的空间中更容易解开低维流形。这项工作带来的新见解是在提升的高维空间中引入类标签作为上下文变量（因此监督学习变成了无监督学习）。我们严格证明了流形解开导致在提升的空间中线性可分的分类器。为了纠正不可避免的过拟合，我们考虑流形解开的对偶过程——纠缠或别名——这对于泛化非常重要。利用上下文作为粘合元素，我们构造了一对流形解开和纠缠算子，称为纠缠-解开循环（TUC）。解开算子通过引入上下文作为隐藏变量，将低维空间中的无上下文表示（CIR）映射到高维空间中的有上下文表示（CDR）。纠缠算子通过简单的积分变换将CDR映射回CIR，以实现不变性和泛化。我们还介绍了基于笛卡尔积和分形几何的TUC的分层扩展。尽管概念上很简单，但TUC具有生物学上合理和能量有效的实现，基于多时间锁定神经群（PNG）和睡眠-清醒周期（SWC）。基于TUC的理论适用于海马-新皮质系统对各种认知功能的计算建模。

该论文旨在通过利用维特尼嵌入定理的保证，将类标签引入到高维空间中，并将流形展开为线性可分分类器，从而挑战基于非线性降维技术的传统流形学习范式。

该论文提出了一种基于流形展开的线性可分分类器，引入类标签作为上下文变量，并构建了一对流形展开和缠结算子，称为缠结展开循环（TUC），以纠正过度拟合并实现泛化。

该论文的亮点在于提出了一种新的流形学习范式，将非线性降维技术与线性分类器相结合，以及引入上下文变量作为关键因素。实验使用了多个数据集，并且提供了开源代码。此外，该论文还介绍了基于笛卡尔积和分形几何的TUC的分层扩展，以及基于多元同步神经群和睡眠-清醒周期的生物学上可行的实现。

最近的相关研究包括基于非线性降维技术的流形学习方法，如IsoMAP和LLE，以及基于上下文变量的学习方法，如条件生成对抗网络（CGAN）。