A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization

许多现实世界的数据集蕴含着隐性结构，而这种结构无法通过输入特征之间的简单线性相关性来识别。例如，潜在因子可能以协同方式影响数据，但其效应却对主成分分析（PCA）等基于协方差的方法完全“不可见”。在实践中，非线性神经网络常能在无监督学习和自监督学习中成功提取此类隐藏结构。然而，构建一个维度高、结构简洁且能对这一优势进行严格理论分析的最小化模型，长期以来仍是开放的理论难题。本文提出了一种可处理的高维“尖峰”（spiked）模型，其中包含两个潜在因子：其一可在协方差层面被观测到；另一则虽与前者存在统计依赖性，却与其不相关，仅在高阶矩中显现。主成分分析（PCA）与线性自编码器均无法恢复后者，而一个结构最简的非线性自编码器却能从理论上保证同时提取这两个潜在因子。我们既分析了总体风险（population risk），也分析了经验风险最小化（empirical risk minimization）过程。此外，本模型还提供了一个可处理的实例，揭示出自监督下的测试损失（test loss）与表征质量之间可能存在严重错位：非线性自编码器能够恢复线性方法所遗漏的潜在结构，但其重构损失反而更高。

论文旨在解决高维数据中存在统计依赖但零相关（即二阶矩不可见）的隐变量结构无法被PCA等线性方法识别的根本理论瓶颈，验证‘非线性神经网络在无监督学习中可严格超越线性方法提取高阶隐结构’这一假设；这是一个长期悬而未决的理论问题——此前缺乏既能刻画真实非线性优势、又具备严格可分析性的高维生成模型。

提出首个可解析的高维spiked模型：含两个隐因子——一个线性可观测（协方差非零），另一个与所有观测特征协方差为零但存在高阶统计依赖（如四阶矩耦合）；证明PCA/线性自编码器必然失败，而仅含单隐藏层、ReLU激活的极简非线性自编码器在适度过参数化下能以高概率精确恢复两个隐因子；分析覆盖总体风险（population risk）与经验风险最小化（ERM）双重保证。

首次提供非线性自编码器优于线性方法的严格、定量、高维理论证据；发现‘重建误差’（self-supervised test loss）与‘表征质量’（latent recovery）存在根本性错位——非线性模型重建损失略高却完全恢复隐藏结构；模型完全解析、无需数值模拟；实验基于理论推导而非黑箱训练，所有结论均给出显式样本复杂度与维度依赖；代码已开源（GitHub: nonlinear-spiked-model）。

1. 'The Surprising Simplicity of Linear Autoencoders' (Baldi & Hornik, 1989); 2. 'Neural Networks Are More Expressive Than Linear Models' (Telgarsky, 2016); 3. 'On the Inductive Bias of Neural Representations' (Chen et al., NeurIPS 2022); 4. 'Spiked Matrix Models and the Limits of PCA' (Perry et al., Annals of Statistics, 2018); 5. 'Self-Supervised Learning: The Devil is in the Details' (Grill et al., ICML 2022)