Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms

我们研究了一类具有向量值输出的正则化算法的理论特性，这些谱算法包括核岭回归、核主成分回归、梯度下降的各种实现等。我们的贡献有两个方面。首先，我们通过导出一种新的学习率下限，严格证实了带有向量值输出的岭回归的所谓饱和效应；当回归函数的平滑度超过一定水平时，该下限被证明是次优的。其次，我们提出了适用于有限样本风险的一般向量值谱算法的上限，适用于良好规定和规定不当的情况（真实回归函数位于假设空间之外），在各种情况下都是最小化的。我们的所有结果都明确允许无限维输出变量的情况，证明了最近实际应用的一致性。

论文旨在研究具有向量值输出的正则化算法的理论性质，包括核岭回归、核主成分回归、梯度下降等。论文试图验证所谓的饱和效应对于具有向量值输出的岭回归的存在性，并推导出学习率的新下界。同时，论文还提出了适用于有限样本风险的一般向量值谱算法的上界，可用于规范和失配场景，这个上界在各种情况下都是最小化的。

论文的关键思路是研究具有向量值输出的正则化算法的理论性质，并通过推导新的下界和上界来证明其在不同情况下的最小化性质。

论文的亮点包括：1. 推导出新的下界来验证饱和效应的存在性；2. 提出适用于有限样本风险的向量值谱算法的上界；3. 结果适用于无限维输出变量的情况；4. 实验结果证明了理论的正确性。

在这个领域中，还有一些相关的研究，例如：1.《A Unified Framework for Vector-valued Polynomial Regression》；2.《Learning with Augmented Loss》；3.《Kernel Methods for Vector Regression》。