告别VR噩梦！Meta Reality Labs破解虚拟痛点，重塑全新VR世界
【新智元导读】在SIGGRAPH 2023大会上，来自Meta Reality Labs的两个原型机让我们看到了「未来的一瞥」。
「世界上有两种人： 认为VR将改变世界的人，以及还没尝试过VR的人。 」
这是VR界宣传自己的一句陈词滥调了。
但对于第一次体验VR的人来说，那一刻带来的冲击力是毋庸置疑的。
未来VR很有可能成为我们生活那种的一部分，8月6日至10日在洛杉矶举行的SIGGRAPH 2023大会上，来自Meta Reality Labs Research的两个原型机将会给我们机会看到这「未来的一瞥」。
Yang Zhao和Grace Kuo
第一个是Butterscotch Varifocal，它将Half Dome系列原型的变焦技术与我们在2022年首次亮相的视网膜分辨率VR显示器结合了起来。
Yang Zhao佩戴Butterscotch变焦研究原型机
第二个是Flamera，它是一款计算相机，采用光场技术实现无需再投影的VR穿透（passthrough）。
就像我们在2021年首次分享的反向穿透（reverse passthrough）演示一样，它的外观和功能与现代头戴式设备迥然不同，甚至看上去有些奇怪，但仔细研究后会发现它并不像乍看之下奇异。
Grace Kuo佩戴Flamera研究原型机
现在，Butterscotch Varifocal和Flamera都还处于研究阶段。
Butterscotch 变焦镜头：聚焦细节
现今的头戴式设备在虚拟世界的沉浸感方面做得非常出色，但仍受限于固定的焦距。
大部分人能够识别距离眼睛约1米左右的物体，但物体与我们的脸部靠得太近，就很难清晰进行视觉聚焦。
大多数VR开发者设计时都会考虑到这一点，调整虚拟场景中的物体和动作的距离，让用户在一个较为自然和舒适的距离内看到虚拟世界中的事物，并保持清晰的视觉焦点。
但在使用VR进行工作时，有时会需要在虚拟屏幕上阅读文本，或者是观察一个有趣的物体，欣赏其中的细节。
这时传统VR头显通常具有的固定焦距就成为了阻碍。
Butterscotch Varifocal中的「varifocal」 即「变焦」。它利用眼动追踪技术，能够在用户接近物体或虚拟屏幕时，根据用户的视觉焦点动态调整焦距。
同时，Butterscotch Varifocal还结合了视网膜分辨率显示屏（retinal-resolution），确保保用户能够清晰地看到近距离的细节，也能在远距离看到整个虚拟场景。
Butterscotch Varifocal致力于提高分辨率和增强视觉舒适性，实现了变焦技术并配备了视网膜级别的分辨率显示屏，大约每度显示60个像素（PPD），这足以达到人眼视力分辨的极限。
Flamera：穿透功能（Passthrough）的全新尝试
一般来说，VR头显的带来的沉浸感越强越好。但完全与现实切断联系也会带来许多麻烦。
混合现实（MR）和穿透功能（Passthrough）能够让虚拟世界与物理现实融合。
这样一来，虚拟内容可以带到物理环境中。同时，用户在沉浸式的虚拟空间中也可以捕捉到现实世界的画面。
这个功能主要是通过VR头显上的摄像头实现的，它通常在眼睛前方几英寸的地方。
即当用户启用穿透功能时，头显上的摄像头就会捕捉周围的实际环境，并将图像传递到虚拟现实环境中，使用户可以在虚拟世界中看到现实世界的画面。
但这里存在着一个问题：
摄像头捕捉到的视图与人眼看到的不同，尽管图像在返回时会重新计算并投影给用户，但这很可能会在这个过程中发生视觉异常。
为了解决这一挑战，Grace Kuo表示：他们设计了一种光学架构，可以直接捕捉与肉眼看到的光线相同的光线。
为了让这个具有特殊架构适配VR头显，Reality Labs Research团队从头开始设计头显，最终得到了能够实现更好的穿透图像质量和更低的延迟的摄像头。
Grace Kuo
Demo or Die：通往SIGGRAPH之路
长久以来，团队一直秉持着「要么展示，要么死亡」（Demo or Die）的精神。
Lanman介绍说，「Demo or D ie」一词起源于MIT媒体实验室，成千上万的研究人员在那里学会了这个口头禅。
他表示，关键是要使用demo来解释「为什么」，而不是「什么」，比如为什么他们想要变焦、光场直通和HDR。
SIGGRAPH技术的核心，就是演示新兴的、硬件驱动的技术，鼓励SIGGRAPH社区用他们的才能解决计算机图形和交互方面的问题。
Starburst取得了令人振奋的成功，并斩获了SIGGRAPH 2022的新兴技术最佳展示奖。
以下是一些团队希望告诉读者的话——
直通是一项重要的技术，可以让人们在戴着头显时与周围环境保持联系。
通过构建不受商业化产品限制的demo，我们可以测试新技术，展示VR中的不同体验。
我希望，尝试过我们demo的人能够一窥未来的VR会是什么样子——即使头显的外观与我们今天习惯的外观大不相同。
——Grace Kuo
通过我们的工作，我希望人们可以从第一人称的角度看到，VR可以为他们解锁哪些体验和能力。
——Yang Zhao
虽然这种VR不会立即在商店里买到，但如果需求存在，技术继续进步，就很可能会有那样一天。
——Olivier Mercier
「VR的可能性与目前市场上可用的功能之间存在很大区别。我们的两个SIGGRAPH新兴技术demo提供了一个独特的机会，让我们看到如果每个轴都被推到更高的质量，在不考虑实际生产限制的情况下，可以创造出多么逼真的虚拟体验。
我希望那些计划参加SIGGRAPH的人仔细看这两个demo。SIGGRAPH是一个非常有才华的学术社区，如果只有一小部分成员将注意力转移到这些挑战上，都会推动时间线，在VR/MR中开发更好的视觉体验。
对于那些SIGGRAPH以外的人，我希望他们从中寻求解决方案，来应对这些跨越硬件和软件的艰巨挑战。
——Douglas Lanman
One More Thing...
那么，我们应该选择去工业界还是去研究实验室呢？
Lanman认为，在研究团队中，可以构建任何给定概念的原型。
但必须承认，这些原型中的大多数并不会成为消费产品，它们对于大规模生产是不切实际的，比如需要妥协产品尺寸、重量、成本或功率，或者需要等待几种技术成熟。
以变焦为例，团队从1990年代的论文中了解了这个概念，2015年才首次开始研究，2018年开始公开谈论。
在那段时间里，Oculus（现在的Meta Quest）作为一家初创公司快速发展，并推出了三代头显。
产品团队的责任是快速行动，而只有研究界才拥有特权考虑未来某一天的事情，而不是现在需要发生的事情。
因此，在作为一名研究界科学家工作了二十年后，我的看法是：研究的主要职责是指出产品还欠缺什么。
没有人要求变焦或解决会聚-调节冲突，光场直通或反向直通。
我们需要和更广泛的SIGGRAPH社区仪器，实现计算成像概念，拉动时间表。
近十年来，我们一直在讨论新兴的显示技术，比如变焦。
虽然无法说出，何时这些技术能应用于产品，但demo会说服大多数人：这些挑战值得解决。
参考资料：