Matrix Low-Rank Approximation For Policy Gradient Methods

在强化学习中，估计将状态映射到动作的策略是一个核心问题。传统上，策略是从所谓的价值函数（VFs）中推断出来的，但精确的VF计算受到维度灾难的影响。策略梯度（PG）方法通过直接学习参数化的随机策略来避免这个问题。通常，策略的参数是使用神经网络（NNs）通过随机梯度下降进行估计的。然而，找到合适的NN架构可能是具有挑战性的，收敛问题也很常见。在本文中，我们提出了基于低秩矩阵的模型，以有效地估计PG算法的参数。我们将随机策略的参数收集到矩阵中，然后利用矩阵补全技术来促进（强制）低秩。我们通过数值研究证明，相对于NN模型，基于低秩矩阵的策略模型降低了计算和样本复杂度，同时实现了类似的汇总奖励。

本论文旨在解决强化学习中的策略估计问题。传统方法使用值函数（VF）来推断策略，但VF的精确计算受到维度灾难的影响。本文提出了基于低秩矩阵模型的策略估计方法，以有效地估计策略参数。

本文的关键思路是收集随机策略的参数到矩阵中，并利用矩阵完成技术来促进（强制）低秩。相比于使用神经网络（NN）的策略估计方法，基于低秩矩阵模型的策略估计方法可以减少计算和样本复杂性，同时实现类似的汇总奖励。

本文的实验表明，低秩矩阵模型相对于神经网络模型可以降低计算和样本复杂性，同时实现类似的汇总奖励。本文的方法可以应用于各种强化学习问题，例如连续动作控制和机器人控制。本文的代码已经在GitHub上开源。值得进一步研究的工作包括如何将该方法扩展到更大的问题和如何将该方法与其他优化算法相结合。

在这个领域中，最近的相关研究包括：1. 'Trust Region Policy Optimization' (Schulman et al., 2015) 2. 'Proximal Policy Optimization Algorithms' (Schulman et al., 2017) 3. 'Emergence of Locomotion Behaviours in Rich Environments' (Heess et al., 2017)