Neural-Kernel Conditional Mean Embeddings

本文介绍了核条件均值嵌入（Kernel conditional mean embeddings，CMEs）作为表示条件分布的强大框架，但通常面临可扩展性和表达能力的挑战。为了解决这些问题，我们提出了一种新的方法，将深度学习的优势与CMEs有效地结合起来。具体而言，我们的方法利用了基于核的目标函数的端到端神经网络（NN）优化框架。这种设计避免了当前CME方法需要计算昂贵的Gram矩阵逆的问题。为了进一步提高性能，我们提供了有效的策略来优化剩余的核超参数。在条件密度估计任务中，我们的NN-CME混合方法实现了竞争性的性能，并经常超越现有的基于深度学习的方法。最后，我们展示了它的卓越通用性，将其无缝集成到强化学习（RL）上下文中。在Q-learning的基础上，我们的方法自然地引导出了一种新的分布式RL方法的变体，它在不同的环境中表现出了一致的有效性。

本论文旨在解决条件分布表示中的可扩展性和表达能力问题，提出了一种将深度学习与CME相结合的新方法。

该方法利用端到端神经网络优化框架，使用基于核的目标函数，避免了当前CME方法所需的计算昂贵的Gram矩阵求逆。为了进一步提高性能，该方法提供了有效的策略来优化其余的核超参数。

论文的实验结果表明，该方法在条件密度估计任务中具有竞争力的表现，并且常常超越现有的基于深度学习的方法。此外，该方法在强化学习环境中的应用也取得了显著的成果，自然地引导出一种新的分布式强化学习方法。

最近的相关研究包括：'Neural Conditional Density Estimation', 'Kernel Mean Embeddings', 'Deep Kernel Learning', 'Distributional Reinforcement Learning'等。