C-GAIL: Stabilizing Generative Adversarial Imitation Learning with Control Theory

Generative Adversarial Imitation Learning（GAIL）训练一个生成策略来模仿演示者。它使用基于策略的强化学习（RL）来优化从类似GAN的鉴别器导出的奖励信号。 GAIL的一个主要缺点是其训练不稳定性 - 它继承了GAN的复杂训练动态以及RL引入的分布转移。这可能会导致训练过程中的振荡，从而损害其样本效率和最终策略性能。最近的研究表明，控制理论可以帮助GAN的收敛训练。本文扩展了这一领域的工作，对GAIL进行了控制理论分析，并推导出一种新型控制器，不仅将GAIL推向所需的平衡点，而且在“一步”设置中实现渐近稳定性。基于此，我们提出了一个实用算法“Controlled-GAIL”（C-GAIL）。在MuJoCo任务中，我们的受控变体能够加快收敛速度，减小振荡范围，并更好地匹配香草GAIL和GAIL-DAC的专家分布。

本论文旨在解决Generative Adversarial Imitation Learning（GAIL）的训练不稳定问题，提出了一种基于控制论的方法来加速收敛并减少波动。

论文提出了一种基于控制论的方法来优化GAIL的训练过程。该方法不仅推动GAIL达到期望的平衡点，还能在“一步”设置下实现渐近稳定。

论文的实验结果表明，该方法能够加速收敛速度，减少波动范围，并更好地匹配专家的分布，适用于MuJoCo任务。此外，论文还提到了最近控制论在GAN的训练中的应用，并探讨了GAIL和GAIL-DAC的控制方法。

最近的相关研究包括基于控制论的GAN训练方法，以及其他改进GAIL稳定性的方法，如RIG、SQIL等。