当穿越时空照进现实——谷歌全息视频聊天技术Project Starline

人们喜欢聚在一起分享、合作和联系。或许在这之前，人们对于和亲人、好友聚会并没有多大的感触，因为随时都可以安排时间去见面。但近三年的疫情无疑是打乱了所有人的生活，随着旅行的限制和远程工作的增加，相聚变得如此艰难。

如果现在有一款体验软件能够使你与身处不同时区的人犹如面对面般交谈，你会想要体验吗？

2021年5月，一年一度的谷歌I/O大会在线上召开，谷歌推出全息视频聊天技术Project Starline，或者说“视频亭”这一词似乎更适合这项技术，它使用3D图像、高分辨率相机、定制的深度传感器和突破性的光场显示，无需佩戴头显，为屏幕两边的通话者创造了极其逼真的视频聊天体验。

Project Starline的诞生

对于负责谷歌AR和VR工作的Clay Bavor而言，公司此前推出与Zoom竞争的视频会议应用Google Meet以及现已停用，配有头显和控制手柄的VR平台Daydream已不能满足他的需求。对真实感需求越来越强的Bavor来说，他希望能够推出如照片般真实的体三维视频会议，以使其在视觉、听觉和感觉上都像有真人坐在对面一样。

Bavor问自己：“我们能否利用技术创造与某人在一起的感觉，就像他们真的就在那里一样？”

为了使这种体验成为可能，Bavor与他的团队花费了五年的时间，应用计算机视觉、机器学习、空间音频和实时压缩方面的研究，并开发了一个突破性的光场显示系统，创造了一种立体、具有深度感的视觉图像，使用户无需佩戴额外的眼镜或耳机就可以体验，其效果就像是与他人面对面交谈的感觉。

这一款用于面对面会议的新原型机名为Project Starline。它看起来像是一个餐厅中常见的包间，只是技术上更复杂。让Bavor最引以为豪的一点是，只要用户坐下来说话，技术就会淡出背景，而用户就可以专注于最重要的事情：眼前出现的人。

Starline的逼真体验

这是一位用户在体验Starline项目后的感想：“在谷歌的一个会议室里，产品经理Andrew Nartker坐在我对面的桌子上，进行正常的面对面会谈”。他把Starline的体验描述为 “一个神奇的窗口”，让人感觉到与其他人是连接在一起的。

这台机器被塞进了一个小会议室，占据了绝大部分空间。一边是一个长木凳，中间有一个坐垫。另一边，显示屏上显示了另一个Starline展示亭上的空坐垫。

“当我坐下来时，十几台摄像机和传感器都对准了我。这让我很紧张，因为我知道我的每一个动作都在被跟踪。但是，当Nartker从他的Starline展示亭上滑入画面时，技术上的问题基本上消失了，我们能够立即重新开始我们的谈话，就像我们从一张桌子移到另一张桌子一样。”

整个过程感觉更自然，无论是动作或声音都没有明显的音频或视觉延迟，让人更容易相信自己真实地和某个人在一个空间进行交谈。Starline能够使通话的双方进行真正的目光接触，而不是眯着眼睛看一个小小的缩放窗口。

谷歌研究员Jason Lawrence表示，Starline之所以令人信服，部分原因是因为用户看到的不仅是一个屏幕，而是屏幕前的一系列镜片，或者说是光栅阵列。“其原理类似于全系卡，当你来回摇晃时，可以显示不同的图像或3D效果。Starline加强了这一方面的技术，使它可以跟踪你的眼睛，从而知道应该在哪里向你显示图像。”Lawrence说道。

硬件设备与软件系统

Starline展示亭系统围绕着一个大型的65英寸8K面板建立，该面板以60Hz运行。而围绕着它的是谷歌工程师们安排的、能够获彩色图像和深度数据的三个 “捕获舱”。该系统还包括四个额外的跟踪摄像机，四个麦克风，两个扬声器和红外投影仪。总的来说，Starline拥有四个视点采集彩色图像，以及三个深度图，总共有七个视频流。其音频采集频率为44.1kHz，编码速度为256Kbps。

但显而易见，所有这些硬件都会产生大量需要传输的数据，为此，谷歌表示，传输带宽从30Mbps到100Mbps不等，取决于 “用户衣服的纹理细节和他们手势的大小”，使它明显高于标准的Zoom电话，但没有什么是大都市地区的典型办公室无法处理的。Project Starline配备了四块高端Nvidia显卡（两块Quadro RTX 6000卡和两块Titan RTX）来编码和解码所有这些数据。据报道，端到端的延迟平均为105.8毫秒。

Bavor最近在西雅图和纽约与同事开会时大部分时间都在使用它，他估计在Starline展示亭上花了大约50个小时。但他发誓，他在Starline中的互动过程为他的大脑留下了更深刻的印记，他对细节有了更好的回忆，从会议中走出来时，会感觉到他确实与对方见过面。

“我在第二天早上醒来时，会有这样的记忆：'哦，我昨天看到了史蒂夫’。而不是说，‘我昨天和史蒂夫进行了视频通话’。”

当然，Bavor的体验存在主观性，但这只是其中一个样本。根据谷歌的研究报告，在安装Starline的三个地点（山景城、西雅图和纽约）使用过的员工认为，当涉及到创造一种存在感、个人联系，以及帮助提高注意力和反应测量时，它胜过了传统的视频会议。

但仔细观察，Starline在显示图像上仍存在一些不足的地方，即用户可以看出眼前的人正在被重塑。例如，一个头可能不是完美的圆形，而头发顶部可能会变得相当抖动。如果与你交谈的人移动到Starline正在积极重建的范围内（Nartker估计大约是一立方米的空间），他们会变得模糊不清，断成突兀的多边形，最终完全消失。

Starline商业化的可能性

无可厚非，Starline是令人印象深刻的，它使得视频聊天变得更立体、更自然，在面对面的谈话中非常有用，尤其是在医生办公室或客户服务等环境。但它明显有一些限制，包括原型机体积大、且可能搭载了昂贵的技术，使得其在商业化的道路上还有很长的一段路要走。

尽管如此，谷歌在官宣项目后仍在积极地推进Starline的发展，略微扩大了能够试用它的对象。谷歌也曾宣布将为特定的企业合作伙伴安装Starline展示亭，包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health在内的公司，将作为早期访问计划的伙伴共同体验、测试该技术。

“谷歌员工已经投入了数千小时，并邀请了媒体、医疗保健和零售等行业的 "100多个企业合作伙伴 "在谷歌办公室试用Starline”，Nartker说道。未来，谷歌将继续完善Starline项目，并尝试将其小型化。如果Starline项目成功商业化，它可能会被卖给企业。

Bavor表示，Starline项目是人与人通信技术可以且应该发展的方向，目前为Starline开发的一些光学技术可能会更快地部署到日常技术中，如照明和阴影或空间音频可用于我们已经在使用的视频会议应用程序上。在此之前，Starline展示亭将主要提供给谷歌员工使用，他们在使用的过程中，常常惊叹于该技术呈现出的真实性，并暂时忽略真实性与现实之间的差距。

那么问题来了，在未来的技术世界里，真实性是否等于现实呢？无论是AR/VR还是电话亭带来的真实感，是否能够取代现实世界的感知呢？

传媒大师麦克卢汉曾提出：媒介是人体感觉能力的延伸。那么新一代交互设备的出现，无疑大大延展了人类的超能感知力。这些“真实感”技术带来的，不仅是一种体验，更是一种人类与世界连接的新型可能性。拭目以待，技术还能为未来新人类带来哪些感知跃迁。

内容中包含的图片若涉及版权问题，请及时与我们联系删除