索尼人工智能的首个人工智能突破——Gran Turismo Sophy，该突破出现在《自然》杂志2月10日的封面上。

Gran Turismo Sophy是一位革命性的赛车人工智能体，它学会了掌握PlayStation游戏和驾驶模拟器Gran Turismo（GT）运动。通过训练，Gran Turismo Sophy获得了赛车技能，以挑战和击败一些世界冠军级GT车手。

这一突破一直是索尼人工智能自2020年4月成立以来一直致力于的关键挑战之一。在过去的两年里，他们一直与Gran Turismo系列的创建者和开发者Polyphony Digital（PDI）和索尼互动娱乐（SIE）的云游戏团队密切合作，开发了Gran Turismo Sophy。Gran Turismo Sophy通过新的深度强化学习技术学习，以达到最高水平的比赛。它使用SIE管理的云游戏基础设施进行大规模训练。

Gran Turismo不仅是一款游戏，还是一款逼真的驾驶模拟器。多年来，PDI创造了最具现实感的赛车体验之一，并将赛车的核心体验带到了PlayStation。这意味着每辆车和每条赛道都经过建模，以模拟视觉、音频，最重要的是动力学方面的驾驶体验。Gran Turismo的这种现实感正是它对人工智能研究的巨大挑战。

论文名称： Outracing champion Gran Turismo drivers with deep reinforcement learning

论文地址：

https://www.nature.com/articles/s41586-021-04357-7

通讯作者Peter Wurman是索尼AI美国的负责人。他本科MIT（1987届机械系），博士密歇根大学（1999届计算机专业），曾是北卡州立的副教授。他是知名机器人公司Kiva（后被Amazon收购）的联合创始人。2019年在自己创办的AI公司Cogitai被索尼收购后成为美国AI研究中心的负责人。

简介：

人工智能的许多潜在应用涉及在与人类互动时在物理系统中做出实时决策。赛车是这些情况的一个极端例子；司机在牵引力限制下驾驶车辆时，必须执行复杂的战术机动，以通过或阻止对手。赛车模拟，如PlayStation游戏Gran Turismo，忠实地再现了真实赛车的非线性控制挑战，同时也封装了复杂的多代理交互。在这里，我们描述了我们如何为Gran Turismo培训智能体，这些智能体可以与世界上最好的电子竞技车手竞争。我们将最先进的、无模型、深度强化学习算法与混合场景训练相结合，以学习将卓越速度与令人印象深刻的策略相结合的综合控制策略。此外，我们构建了一个奖励功能，使经纪人能够具有竞争力，同时遵守赛车重要但未明确的体育精神规则。我们通过与世界上四名最好的Gran Turismo车手进行面对面的比赛，展示了我们的经纪人Gran Turismo Sophy的能力。通过描述我们如何训练冠军级别的赛车手，我们展示了在智能体必须尊重定义不准确的人类规范的领域使用这些技术来控制复杂动态系统的可能性和挑战。

 

 

Gran Turismo Sophy与国际象棋、将棋、围棋和其他人工智能突破（如AlphaStar和OpenAI Five）的人工智能代理区分开来，用于实时、多人战略电子游戏。国际象棋、将棋、围棋是完美的信息游戏，由人工智能系统解决，无需掌握现实世界的物理学，但非常专注于离散棋盘游戏中的策略。即使是AlphaStar和OpenAI Five，在技术上处理游戏内物理学时，也专注于战略方面，而不是试图掌握现实世界的物理学。现在，Gran Turismo就是试图捕捉现实世界的物理学。战术、策略和比赛礼仪很重要，但当汽车在物理极限超速行驶时，它们需要发生。

从2020年开始，索尼人工智能的研究和工程团队开始做一些以前从未做过的事情：在PlayStation 4游戏Gran Turismo Sport上创建一个可以击败世界上最好的司机的人工智能代理，Gran TurismoTM Sport是由Polyphony Digital开发的真实驾驶模拟器。

索尼博客地址： https://ai.sony/blog/blog-022/

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除