Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

多年来，已经开发了复杂的控制方法来控制自行车的运动。机器学习的一个分支——强化学习（RL）承诺轻松部署所谓的“代理人”。部署的代理人越来越被视为机械系统控制器的替代品。本研究介绍了一种基于RL的方法，用虚拟自行车模型进行路径跟踪，同时在横向上稳定它。自行车采用Whipple基准模型进行建模，并采用多体系统动力学，没有稳定辅助。代理人通过输出转向角度，通过PD控制器转换为转向扭矩，成功地实现了自行车模型的路径跟踪和稳定。课程学习被应用作为最先进的训练策略。研究并比较了实现的RL框架的不同设置。使用不同类型的路径和测量评估了部署代理人的性能。展示了部署代理人在2m/s到7m/s之间行驶的复杂路径（包括完整圆、障碍穿越和车道变换）上进行路径跟踪和自行车模型稳定的能力。使用机器学习的解释方法分析了部署代理人的功能，并将引入的RL方法与自行车动力学领域的研究联系起来。

论文旨在使用强化学习控制自行车的运动，同时稳定其横向运动，解决没有稳定辅助的自行车模型的路径跟踪问题。

使用强化学习输出转向角度，通过PD控制器将其转化为转向扭矩，实现自行车模型的路径跟踪和稳定性控制。采用课程学习作为训练策略。

论文使用多体系统动力学建模自行车，采用解释性方法分析了部署代理的功能，并将所介绍的强化学习方法与自行车动力学领域的研究联系起来。实验结果表明，所部署的代理能够在不同类型的路径上实现自行车模型的路径跟踪和稳定性控制，包括全圆、门框式机动和车道变换。

在这个领域的最新研究包括：《基于深度强化学习的自行车控制》、《基于模型预测控制的自行车路径跟踪》等。