Federated Offline Policy Optimization with Dual Regularization

本文提出了一种名为 $\texttt{DRPO}$ 的新型离线联邦策略优化算法，旨在解决现有联邦强化学习方法在本地更新时需要与环境进行重复交互的问题，而这在许多实际场景中可能代价高昂甚至不可行。$\texttt{DRPO}$ 仅通过私有和静态数据，使分布式代理能够协同学习决策策略，而无需进一步的环境交互。该算法利用双重正则化，结合本地行为策略和全局聚合策略，以明智地应对离线联邦强化学习中的内在双层分布偏移。理论分析表征了双重正则化对性能的影响，证明通过实现正确的平衡，$\texttt{DRPO}$ 可以有效地抵消分布偏移，并确保每个联邦学习轮次的严格策略改进。广泛的实验验证了 $\texttt{DRPO}$ 相对于基线方法的显著性能提升。

本论文旨在解决现有的联邦强化学习方法在本地更新过程中需要反复与环境交互的问题，提出了一种名为DRPO的离线联邦策略优化算法，使分布式代理能够仅从私有静态数据中协同学习决策策略。

DRPO算法采用双重正则化，同时考虑本地行为策略和全局聚合策略，以应对离线联邦强化学习中固有的两层分布式转移。通过平衡双重正则化，DRPO能够有效地抵消分布式转移并确保每个联邦学习轮次的严格策略改进。

论文的实验验证了DRPO相对于基线方法的显著性能提升，使用了开源数据集，并开源了代码。值得深入研究的是如何在更广泛的实际应用场景中推广DRPO算法。

最近的相关研究包括：Federated Multi-Task Learning for Sensor Data in the Internet of Things，Federated Learning for Healthcare Informatics，Federated Reinforcement Learning with Proxy Agents等。