网易伏羲2022年度技术成果回顾——推陈致新·数字孪生

2022年，网易伏羲实验室迎来了第五个生日。作为一个专业从事游戏与泛娱乐AI研究和应用的顶尖研究机构，我们始终在追求创新和探索科学的道路上披荆斩棘、保持初心。

 

截止今年，网易伏羲已在NeurIPS、AAAI、ICML、CVPR、IJCAI、SIGIR等国际人工智能顶会中发表 160 余篇论文，累计获取专利400多篇。并且，网易伏羲今年在全球人工智能计算机视觉领域顶级国际会议CVPR 2022中荣膺两项竞赛冠军、在欧洲计算机视觉会议ECCV2022中斩获单样本赛道亚军。

 

网易伏羲在聚焦人工智能技术发展的同时，也将目光转向了实体行业，希望能将游戏中积累的 AI 力量落地在实体领域，由虚向实，通过科技创新为各行业提供提供更多便捷有趣的工作机会，推动产业升级。

 

接下来，我们将从技术创新、游戏实践、数实融合三个方向分别回顾伏羲实验室在2022年的重要科研成就及实践成果。

 

⽹易伏羲是国内领先的人工智能实验室，在强化学习、图像动作、虚拟⼈、⾃然语⾔、⽤户画像等多个研究方向上成绩斐然。2022年，网易伏羲在AI技术上不断创新，坚持将人工智能赋能游戏产业，力求为人工智能领域创造更多的前沿技术理论与价值成果。

 

今年，网易伏羲联合上海视觉艺术学院、西工大、同济大学、WeNet社区发布了首个中文精标歌声合成数据集。近年来，随着深度学习在时长建模、声学建模、声码器等语音合成任务上带来的突破性进展，歌声合成也逐渐迈向实用化的阶段，其在虚拟偶像、音乐创作、游戏配乐等场景中崭露出巨大的应用潜力。

 

在工业界大力发展歌声合成的同时，高质量开源歌声合成数据的短缺把学术界以及资金相对薄弱团体的研究人员拒之门外。为了汇集更多的智慧、推进AI音乐技术的普及与发展，首个高质量中文歌声合成数据集Opencpop应运而生。open译为开源、开放，C-pop是指汉语流行音乐。Opencpop的诞生致力于降低中文歌声合成研究道路上的数据门槛，为中小型企业、高校、个人等研究者们敞开中文歌声合成研究的大门。

 

研究者可以通过Opencpop做出高质量的AI歌曲，一定程度上解决了AI歌曲创作成本高、数据贵的问题；帮助中小企业、高校、个人门槛更低的投入AI音乐研究。

 

网易伏羲提出的《人脸表情135种类别划分新标准》，获电气和电子工程师协会（IEEE）旗下情感计算领域顶级期刊《IEEE Transactions on Affective Computing》收录，并受主编邀请在IEEE官网正式公布该标准。

 

这是网易伏羲基于在连续空间表情表征技术的长期创新及沉淀，进一步提出表情划分新标准，穷尽了人类语言对心理状态最大程度的描述集合，将人脸表情细分至135种心理状态，这一新标准将大幅提升AI对人脸表情识别的精度，极大程度提升人们对表情的认知，也使得机器能够“计算”（感知）由表情所传递的细腻的心理状态，有望在人机交互、艺术表演、医疗诊断、刑侦测谎等领域创新落地。该项工作的顺利推进，得益于伏羲众包平台提供的高效且低成本的数据标注闭环。

 

目前，网易伏羲提出的人脸表情135种类别划分新标准及相关成果，已落地于网易大型互动娱乐游戏场景。未来该研究成果有望应用于人工智能、人机交互、表演学、医学、刑侦学、心理学、行为学、社交学等领域。例如，在基于人工智能的虚拟人领域，表情新标准赋予虚拟角色展现丰富表情的能力，有助于向用户传递更加细腻的内心状态；在人机交互方面，用户表情将成为机器感知用户的一种新的输入方式；在医学方面，表情新标准将成为一种少儿自闭症诊断的量化指标；在表演方面，表情新标准有助于客观评估演员表演效果。

 

在今年由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等机构共同发起的2022可信AI峰会上，组委会公布了“2022大模型优秀应用案例”名单，网易伏羲实验室「 LOFTER-AI 写文」和「傀儡戏-互动式文字游戏」同时入选“2022大规模预训练模型优秀应用案例”，在大模型技术及AI实践领域再获行业认可，充分展现了网易游戏在人工智能领域的综合技术实力。

 

 

网易伏羲实验室通过大模型预训练生成模型参数，以及模型推断等技术手段丰富游戏剧情走向，从而开发出了多人角色扮演文字游戏-傀儡戏。在傀儡戏玩法中，玩家在剧本中扮演不同的角色，然后多个玩家相互协作，通过输入文字，引导剧情的发展，达成剧本预定的游戏目标。语言模型在傀儡戏玩法中起到生成后续剧情和判断游戏目标是否达成的作用。由于语言模型生成文本是随机的，玩家在同一个剧本中每次都会有不同的游戏体验，并且玩家还可以自己编写剧本，整套玩法形成闭环。傀儡戏在《遇见逆水寒》 上线首日，有超过20%的玩家进行体验并给予良好反馈，游戏的用户黏性和日活跃用户数也因此均提升10%。

 

 

AI写文使用了和傀儡戏相同的预训练模型和类似的后处理和排序策略，并且使用了EET加速引擎进行服务部署。相比于傀儡戏，AI写文的最大的技术挑战在于文本生成长度。对用户的每个输入，模型要生成400字的故事。为了保证生成效果，我们采用分段式生成方法，先生成两百字进行处理和排序，然后选择最优结果生成剩余200字。我们通过产品进一步规避AI算法的弱点，后两百字一次返回3个结果，让玩家去挑选。在使用了基于大模型的AI故事创作之后，累计50多万用户参与了AI写文活动，累计生成故事次数400多万，累计生成33亿字。在活动中，超过20万以上之前近一个月没有创作过故事内容的用户参与了AI创作活动，丰富了网易LOFTER社区的内容，极大推动了优质内容的创作。

 

 

回顾2022年，我们在AI道路上深耕科研、持续创新，致力将技术成果应用在更多游戏场景中。技术成果及解决⽅案涵盖游戏设计、研发、测试和运营等多个环节，通过科研进步持续助推游戏行业的发展。

 

2022年十一假期期间，网易旗下国产端游《永劫无间》上线了一位“新员工”——噩梦AI，在短短五天内便击败玩家上亿次，超前完成了业绩指标。此次噩梦人机模式背后是网易伏羲实验室结合深度神经网络及强化学习方法的一次成功实践。

 

 

传统的游戏机器人曾在福利局、人机模式等玩法中扮演了重要的角色，对于游戏运营者来说简单、易用，但机器人所能达到的水平上限不高，随着玩家游戏水平的逐渐提升，初始版本的游戏机器人已经跟不上玩家的需求。《永劫无间》中伏羲AI与普通机器人相比，在寻路效率、战斗博弈水平、迂回作战能力方面均有提升，它的背后是深度神经网络与强化学习方法。网易伏羲通过设定游戏目标，让AI之间进行自我对弈训练，噩梦AI成为了一个游戏超级高手：不但各种高级操作与连招信手拈来，还能表现出像人一样的欲擒故纵，声东击西等计谋。

 

永劫无间利用伏羲AI机器人设计的噩梦玩法吸引了众多玩家进行挑战，在短时间内促进了玩家的人机模式挑战局数与游戏活跃度。永劫无间使用的伏羲AI竞技机器人代表了未来游戏的一个发展方向——拥抱新一代人工智能技术。目前，伏羲强化学习领域的研究者们已经在相当多的场景，特别是游戏场景中实现了匹敌甚至超越人类专家水平的AI，而强化学习也被认为是实现更通用、更广泛、更高级的机器智能的重要技术手段之一。另外，从技术的角度来讲一定是先进生产力取代落后生产力，不单是《永劫无间》，网易大多数游戏项目组也都在积极拥抱新一代人工智能技术，实现伏羲对战AI的一个应用，这是一个让人兴奋的趋势。

 

在角色扮演类游戏中，除了壮丽的风景、奇妙的探险、动人的故事、精彩的战斗，也一定需要形形色色的NPC，让整个世界充满生机。网易重磅新游《逆水寒手游》正是构建了这样一个拥有海量NPC的开放世界。

 

 

在这个开放世界中的NPC情感细腻、反应灵敏，远远超出了传统游戏中NPC的智能程度。他们是由网易伏羲与《逆水寒手游》深入合作打造新一代智能NPC，旨在为用户创造前所未有的交互体验。基于网易伏羲人工智能的加持，游戏中成千上万的NPC将有自己的身份、背景、性格、记忆、目标等等，他们会对玩家的几乎所有行为进行响应和反馈，产生数百万、千万级别的、靠堆人力完全无法匹配的游戏内容量。NPC不只是预设好的程序与代码，更是通过人工智能来产生“情感”，让玩家与NPC共同维系江湖的人情世故网。

 

当用户需要“去搞定一个NPC”以达成某个任务目标时，他面对的不再是一个个固定编排好的对话选项，而是真正地去和这个NPC对话聊天、高度自由的文互动。为了能达成目标，可能需要揣摩NPC的爱好、行为动机、社会背景等等，化身“谈判专家”、“聊天达人”，通过各种尝试，若能相聊甚欢，不仅能完成任务目标，NPC甚至再送一本家传的武功秘籍也不无可能。将智能NPC与游戏的各种机制玩法相结合，又将产生无限量丰富的游戏内容，实现真正的高度自由开放。

 

越来越多的游戏公司开始重视起AI语音在游戏中的应用价值。和其他应用场景不同的是，游戏对于音频表现力有着更高的要求，也对AI语音技术提出了更高的挑战。

 

在《逆水寒手游》的智能NPC中，网易伏羲联合游戏制作团队创新性地应用了情感可控的语音合成技术。让智能NPC不仅仅是没有感情的机器人，而是可以实时地根据表达的需要，表达出人类所具有的多种语音情绪。这也给玩家带来了更加真实、鲜活的对话体验。和情感可控同样重要的还有语音的个性化、拟人化和风格化等，在《逆水寒手游》的应用中，均可以看到伏羲AI语音的最新进展，我们力争让AI语音像真人一样会笑、会哭泣。

 

除了持续精进个性化语音合成的表现力外，网易伏羲还将持续推动语音转换技术、AI音乐生成技术在游戏语音内容生成、玩法创新、实时游戏语音交互等方向完成创新应用。

 

近日，网游圈一条《武林旧事·叶雪青》的演示视频引起了不少玩家的转发与讨论。视频画面细节精美、微表情堪比真人的背后，是《逆水寒手游》团队联合网易伏羲实验室、仓颉动画中心、雷火3D扫描实验室，齐力攻坚业界难题，将最顶级、最前沿的人脸4D扫描技术实装在了这位雪青师姐的身上。

 

 

人脸4D扫描技术是基于传统3D扫描技术的一种时序拓展，它能更精准地捕捉人脸每一帧的变化，收获比过去更加逼近真实人脸的表情效果。对于复杂的角色建模来说，从人脸到数据、从数据到建模、从建模到游戏，每一个过程都有着不同的难点与挑战。

 

基于此，逆水寒工作室与网易伏羲实验室联合兄弟部门共同研发了「扫描重建过程」、「同拓扑过程」、「拟合绑定过程」，以保证演员的表演最终能在游戏中高保真呈现。

• 拿「扫描重建过程」来说，在人脸到数据阶段，4D扫描将原来的单次曝光变成了连续拍摄，46台相机每秒协同曝光50次，以3D扫描50倍的数据量，串联成每秒50帧的3D模型序列——这种数据量下呈现模型精度，能有多真实可想而知。
• 而「同拓扑过程」，则是为了在数据转换为建模阶段，保证所有表情动作在迁移过程高度精准，完美还原真人微表情——这必须通过大量复杂的图像算法工作，确保“面部任一细节的模型顶点索引在建模中完全一致”，在海量的数据计算中，不能有一点差池！
• 而「拟合绑定过程」相对更好理解一点，通俗一点讲就是“极限压缩”，将上述过程后庞大的数据压缩从而适配到游戏中——基于游戏内的面部绑定系统，利用高精度AI表情迁移算法，对3D模型序列进行rig参数拟合，形成高还原度且数据量小的rig动画参数。

在三大核心流程的基础上，结合丰富的动态数据，算法和人工协作处理……最终呈现的，便是上面图片中，堪比真人实机拍摄的师姐了。

 

RPG游戏中通常有大量剧情对话场景，其中每个角色都需要配上和说话内容相符的口型和表情。以《逆水寒》为例，仅930盲盒测试中，就已经放出了几十万条剧情文本，该数量还在大量持续增加，而这些表情动画靠美术手K是不现实的。

 

 

网易伏羲提供的AI表情合成技术，能够根据剧情对话的文本和语音内容，快速生成相应的表情和口型。结合深度学习技术和音素，设计出的口型预测算法，在口型的准确性和流畅性上都有显著的提升，贴近真人在不同类型发音下的真实表现。表情合成模块能够识别文本和语音情感，并为虚拟角色生成符合目标情绪的表情，生成的表情情感细腻，表现自然。

 

此外，在游戏出海的大背景下，很多游戏都面临着出海时，多语音版本的问题。以《永劫无间》为例，有中、英、日、韩4语版本，因为各语种口型动画不可复用，所以有着大量的重复性美术工作。基于伏羲AI表情合成技术，快速为其所有英雄生产了英、日、韩三语的口型动画资源，使其他语言版本，均能有和语种匹配的口型动画，将艺术家们从重复性工作中解放出来。此外，伏羲AI表情合成能够做到实时生成，未来还将在游戏内容实时生成中，不断发挥价值。

 

 

十四五”规划明确指出：大力发展数字经济、提升工业互联网应用的普及率、加快企业数字化转型升级将是未来经济发展的重要方向。当前大数据、5G、人工智能、云计算等新兴技术方兴未艾；国内人口逐渐出现老龄化趋势，传统企业面临用工难题。如何将科技创新与产业实践相结合，网易伏羲也交出了它的答卷。

 

捏脸系统当下已成为元宇宙应用的标配，用户通过捏脸系统制作一个和自己样貌相似的第二化身，让自己在虚拟世界中更具有沉浸感和代入感。

 

网易瑶台是网易伏羲旗下沉浸式活动平台，2022年，网易瑶台推出全新捏脸系统，依托于AI技术，实现智能捏脸功能。用户仅需上传单张个人形象照片，系统就能识别照片中人物的脸型、眉形、眼睛、鼻子、嘴巴，低成本、快速地渲染出相似度极高的虚拟形象。除了可以识别面部五官外，智能捏脸还支持识别用户的肤色和发型，并还原到虚拟世界中。瑶台面向的用户范围非常广，涵盖多个年龄段和不同人种，这些能力能帮助用户生成更具个人特征的角色

 

 

在实际使用智能捏脸的过程中，许多用户无法提供标准的正脸无表情照片，或者并没有意识要提供这样的照片，使得捏脸效果不尽如人意。针对此现象，网易瑶台智能捏脸进行了一大创新，即实现了人脸ID与头部姿态的解耦，解决了大姿态捏脸中的一系列问题，包括人脸对齐效果差、头部姿态估计不准、人脸检测精度低等问题，使得侧脸带表情的照片也能保证基础的捏脸相似度和美观度，大大提升智能捏脸的应用场景，降低用户使用门槛。

 

今年9月，网易伏羲挖掘机器人首次对外亮相。网易伏羲挖掘机器人是首次将人工智能、游戏化交互、游戏仿真、低延时音视频传输、众包运营等技术迁移到工程机械领域的应用，标志着网易游戏技术赋能实体产业的又一成果落地，也意味着游戏技术在推动传统产业数字转型的同时，正在成为加速数实融合的重要支撑。

 

 

并且，网易伏羲挖掘机器人于今年12月与中建八局签订战略合作，双方将利用各自强有力的研发能力、产业规划及市场规模，共同推进数字化和智能化工程机械领域的深入合作，推动其落地应用。目前，网易伏羲与中建八局联合研发的挖掘机器人，正在四川理塘参与西南重点基建项目建设，这也是全球首台登陆高原作业的无人挖掘机。通过手柄、电脑远程遥控，无人驾驶的挖掘机可以在零下二十度、4000米海拔的低温缺氧环境中作业。网易公司CEO丁磊表示，网易将利用自身的科技积累，为越来越多的机械设备安装“数字心脏”，和中建八局一起扩展更多更广的数实融合场景，实现一人操控上百台机器。

 

2022年底网易伏羲正式发布有灵机器人，这是是网易伏羲推出的人机协作线上任务平台，支持用户快速建模、发布和运营可由机器与人协作完成的任务。

 

 

AOP（Agent-Oriented-Programming，面向智能体编程）是网易伏羲基于MDP(Markov Decision Processes,马尔可夫决策过程)/POMDP(Partially Observable Markov Decision Process,部分可观察马尔可夫决策过程)等思想设计的一套全新的编程范式，其核心价值在于为对接机器（或AI）和人工提供了统一的规范接口和服务。

 

平台以AOP为核心，包括低代码、众包、AI能力系统和智能云引擎（AI Cloud Engine，ACE）四部分，B端用户可以通过低代码可视化编辑高效定义和发布任务，C端用户可以通过众包领取并线上执行任务。此外平台自动实现数据闭环，人工操作数据将反哺AI算法，推动AI和机器更加智能，而整个任务和智能体都运行在ACE上，在未来可以为用户打造一个现实世界的孪生数字世界。

 

网易伏羲基于在游戏领域中积累的强化学习，用户画像，自然语言处理和图形图像等智能化场景的技术应用实践，将任务场景数字化、智能化，通过数字孪生构建云端虚拟任务。针对复杂决策场景，任务可以由机器执行的同时，也可以无缝与人来协作完成；人类可以通过远程交互完成操作，机器同步模仿学习、提升决策智能度。

 

新的一年即将来临，网易伏羲依旧会秉持初心，持续深耕技术、砥砺前行；在技术创新与实践的同时，致力于用 AI 技术更好地满足人们生产劳动的需求，将科技与实体行业深度融合，推动人工智能技术服务于更广阔的应用场景，激发AI更多潜力。

 

万千热爱，我们初心不改。