Continual Domain Randomization

本文介绍了在机器人强化学习中常用的域随机化（DR）方法，该方法需要一个带有一组可调参数的模拟器来训练一个在真实世界中可靠的模型。然而，多个参数的组合随机化会增加任务难度并可能导致次优策略。为了解决这个问题并提供更灵活的训练过程，作者提出了连续域随机化（CDR）方法，将域随机化与连续学习相结合，以便在每次训练时仅对一部分参数进行随机化。从在非随机化模拟中训练的模型开始，模型在一系列随机化中进行训练，并采用连续学习记住以前随机化的效果。实验结果表明，这种训练方式让模型在模拟中有效地学习，并在真实机器人上表现出鲁棒性，同时匹配或优于采用组合随机化或连续随机化而不使用连续学习的基线模型。作者提供了代码和视频，可在https://continual-dr.github.io/上获得。

本篇论文旨在解决机器人领域中的sim2real转移问题，即如何在模拟环境中训练出对真实世界具有鲁棒性的强化学习策略。

论文提出了Continual Domain Randomization (CDR)的方法来解决sim2real转移问题。该方法结合了领域随机化和持续学习，使得模型可以在模拟环境中进行顺序训练，并记住之前随机化的效果。

论文的实验结果表明，使用CDR方法训练的模型可以在模拟环境中有效地学习，并在真实机器人上表现出鲁棒性，同时与采用组合随机化或顺序随机化的基准模型相匹配或超越。论文提供了代码和视频。

近期相关研究包括：1）Domain Randomization for Sim-to-Real Transfer，2）Sim-to-Real Transfer with Robust Discriminative Domain Adaptation，3）Robust Imitation of Diverse Behaviors，4）Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning。