End-To-End Training and Testing Gamification Framework to Learn Human Highway Driving

目前的自动驾驶技术堆栈已经很好地模块化，并由手工框架组成感知、决策和控制等部分。随着人工智能（AI）和计算资源的进步，研究人员一直在推动自动驾驶的端到端AI的开发，至少在像高速公路场景这样的小搜索空间问题中，并且越来越逼真的仿真将对有效学习至关重要。在这项研究中，我们提出了一种新颖的基于游戏的端到端学习和测试框架，用于通过学习人类驾驶技能来进行自动驾驶公路驾驶。首先，我们利用流行的游戏《侠盗猎车手V》（GTA V）收集公路驾驶数据，并使用我们提出的可编程标签。然后，一个端到端架构通过游戏屏幕的图像来预测控制车辆的转向和油门值。预测的控制值通过虚拟控制器发送到游戏中，以使车辆保持车道并避免与道路上的其他车辆碰撞。该解决方案在GTA V游戏中得到验证，结果表明了这种端到端游戏化框架学习人类驾驶技能的有效性。

研究提出了一种基于游戏的端到端学习框架，旨在通过学习人类驾驶技能来实现自动驾驶，在高速公路场景下进行测试。

使用Grand Theft Auto V (GTA V)游戏收集数据，并通过图像控制汽车的转向和油门，以保持在车道内并避免与其他车辆碰撞。

使用游戏进行数据收集，提出了可编程标签的概念，将图像作为输入，输出汽车的控制值，验证了该方法的有效性。

最近的相关研究包括使用不同的游戏进行数据收集和使用深度学习模型进行端到端控制。