On the Consistency of Kernel Methods with Dependent Observations

学习方法的一致性通常建立在观测结果是独立同分布（i.i.d.）或混合过程的实现的假设下。然而，核方法，如支持向量机（SVM）、高斯过程或条件核均值嵌入（CKMEs），在明显非i.i.d.采样方案下表现出优异的性能，例如当数据来自动态系统时。我们提出了经验弱收敛（EWC）的新概念，作为解释核方法这种现象的一般假设。它假定存在一个随机的渐近数据分布，并且是该领域先前假设的严格弱化。我们的主要结果证明了SVM、核均值嵌入和一般的Hilbert空间值经验期望与EWC数据的一致性。我们的分析适用于有限和无限维输出，因为我们将统计学习的经典结果扩展到了后一种情况。特别是，它也适用于CKMEs。总的来说，我们的结果为统计学习开辟了新的过程类别，并可以作为超越i.i.d.和混合的学习理论的基础。

论文旨在解决核方法在非独立同分布采样方案下表现良好的问题，提出经验弱收敛（EWC）的概念作为一般假设。

论文的关键思路是将经验弱收敛作为一般假设，解释核方法在非独立同分布采样方案下表现良好的现象，并证明了SVM、核平均嵌入以及一般的希尔伯特空间值经验期望在EWC数据下的一致性。

论文的亮点包括将经验弱收敛作为一般假设，证明了核方法在非独立同分布采样方案下的一致性，实验结果表明该方法适用于有限维和无限维输出，可拓展到CKMEs等方法。论文使用了经典的统计学习理论，并提出了新的方法解决非独立同分布采样方案下的问题。

最近的相关研究包括《A Kernel Mean Embedding Approach to Reducing the Variance of Monte Carlo Integration》和《Learning with Mixtures of Trees》等。