NeurIPS 2020 论文推荐丨A random matrix analysis of random Fourier features

本文描述了随机傅里叶特征（RFF）回归的精确渐进性，在现实环境中，数据样本数n、其维度p以及特征空间的维度N都是大而可比的。在这种情况下，随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵(就像当N趋向于无穷大时那样)，但它仍然有一个可被分析所捕获的行为。该分析还提供了大n,p,N时训练和测试回归误差的精确估计。基于这些估计，提供了两个质量不同的学习阶段的精确特征，包括它们之间的相变；并从这种相变行为中得出了相应的双下降测试误差曲线。这些结果并不依赖于对数据分布的强假设，它们与有限维真实世界数据集上的经验结果完全匹配。