Dynamic Online Ensembles of Basis Expansions

最近的研究表明，实际的贝叶斯学习通常需要（1）在线推断，（2）动态模型和（3）多个不同模型的集成。最近的进展显示了如何使用随机特征逼近来实现高可扩展性的高斯过程在线集成，具有理想的理论性质和丰富的应用。这些方法成功的关键之一是在模型参数上包括一个随机游走，使得模型具有动态性。我们表明，这些方法可以轻松地推广到任何基扩展模型，并且使用其他基扩展，例如希尔伯特空间高斯过程，通常会获得更好的性能。为了简化选择特定基扩展的过程，我们方法的通用性还允许集成几个完全不同的模型，例如高斯过程和多项式回归。最后，我们提出了一种新的方法，将静态和动态模型集成在一起。

论文旨在解决实际贝叶斯学习中在线推断、动态模型和多模型集成的问题。

使用随机特征逼近实现可扩展的在线高斯过程集成，通过参数的随机游走使模型具有动态性，并将方法推广到任何基函数扩展模型。

论文提出的方法可以简化选择特定基函数扩展的过程，并允许集成完全不同的模型，同时还提出了一种将静态模型和动态模型集成的新方法。实验结果表明，使用Hilbert空间高斯过程等替代基函数扩展通常可以获得更好的性能。

最近的相关研究包括："Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition"，"Deep Gaussian Processes for Regression using Approximate Expectation Propagation"等。