Finite-Time Analysis of Simultaneous Double Q-learning

$Q$-learning是最基本的强化学习算法之一。尽管它在各种应用中取得了广泛的成功，但它容易出现$Q$-learning更新中的过度估计偏差。为了解决这个问题，双$Q$-learning采用了两个独立的$Q$-估计器，在学习过程中随机选择并更新。本文提出了一种修改版的双$Q$-learning，称为同步双$Q$-learning（SDQ），并提供了它的有限时间分析。SDQ消除了在两个$Q$-估计器之间随机选择的需要，这种修改允许我们通过一种新的切换系统框架来分析双$Q$-learning，从而促进了有效的有限时间分析。实证研究表明，SDQ比双$Q$-learning更快地收敛，同时保留了减轻最大化偏差的能力。最后，我们为SDQ推导了有限时间的期望误差界。

本文旨在解决$Q$-learning算法中存在的过度估计偏差问题，提出了一种改进的双$Q$-learning算法——同步双$Q$-learning（SDQ），并对其进行了有限时间分析。

SDQ算法通过消除两个$Q$-估计器之间的随机选择来改进双$Q$-learning算法，从而使得该算法可以通过新的切换系统框架进行有效的有限时间分析。

实验结果表明，相比于双$Q$-learning算法，SDQ算法可以更快地收敛，并且仍然具有缓解最大化偏差的能力。此外，本文还为SDQ算法推导了有限时间预期误差界。

与该论文相关的研究包括：双$Q$-learning算法、$Q$-learning算法、强化学习算法等。