Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning

两时间尺度优化是在曾等人（2024年）中引入的一个框架，它抽象了强化学习（RL）中一系列策略评估和策略优化问题。类似于特定类型的随机预测下的双层优化，两时间尺度优化框架有一个上层目标，其梯度评估取决于解决一个下层问题，即找到一个强单调算子的根。在本文中，我们提出了一种解决两时间尺度优化的新方法，其收敛速度比先前的方法快得多。我们的方法的关键思想是利用平均化步骤来改善下层和上层运算符的估计，然后再使用它们来更新决策变量。这些额外的平均化步骤消除了主要变量之间的直接耦合，从而实现了我们算法的加速性能。我们表征了所提出的算法在各种目标函数条件下的有限时间收敛速度，包括强凸性、凸性、Polyak-Lojasiewicz条件和一般非凸性。这些速度显着改善了标准两时间尺度随机逼近算法的最佳已知复杂度。当应用于RL时，我们展示了所提出的算法如何专门化为新的基于在线样本的方法，这些方法超越或匹配了现有技术水平的表现。最后，我们用RL中的数值模拟支持我们的理论结果。

解决问题：论文提出了一种新的方法来解决强化学习中的两个时间尺度优化问题，该方法可以达到更快的收敛速度。

关键思路：论文提出了一种通过平均步骤来改善上下层运算符估计的方法，从而消除了主变量之间的直接耦合，实现了算法的加速性能。

其他亮点：论文对算法的收敛速度进行了详细的理论分析，并在强化学习领域进行了实验验证。实验结果表明，该算法可以超越或匹配现有的最先进方法。

相关研究：该论文列举了一些与两个时间尺度优化问题相关的论文，包括Zeng等人（2024）的工作和标准的两个时间尺度随机逼近算法。