Meta的新技术，可能会改变MR行业的未来

　　苹果 Vision Pro 会是未来吗？放在今天依然是一个极具争议的问题，甚至在 Vision Pro 正式推出发售之后，可能也很难达成共识。

　　另一个毫无疑问的现实是，不管是 VR、AR 还是 MR，XR 头显还有很多需要攻克的技术和工程难题。就说如今，头显稍一用久容易头晕的问题还是存在，这就涉及到了方方面面的问题，包括屏幕分辨率、延迟、亮度以及焦距等，本质上还是大脑不觉得画面足够「真实」。

　　虽然苹果 CEO 库克在发布 Vision Pro 时将其誉为开启空间计算时代的「革命性产品」，但实际上 Vision Pro 也不是很「空间」，至少还无法调节焦距，用户看到的画面始终聚焦在一个固定的焦距处，容易导致眼睛疲劳。

　　不过就在 8 月 6 日开始的计算机图形学顶级年度会议 SIGGRAPH 2023 上，Meta 就展示了两台原型头显—— Butterscotch Varifocal 与 Flamera。当然，我们与其将这两台头显视为产品原型，不如看成 Meta 正在探索的两种技术的展示。

　　Butterscotch Varifocal 与 Flamera，图/Meta

　　值得在意的是，Butterscotch Varifocal 将展示接近视网膜的分辨率和变焦光学器件，而 Flamera 则证明了一种实现「透视」真实世界的全新方法。

　　尽管 Meta 表示这些原型头显上的是技术「可能永远不会进入消费级产品」，但或许也会通向 VR、MR 乃至 AR 的未来。

　　01

　　从 25cm 到无限远

　　真正的「空间」

　　SIGGRAPH 对大众来说可能名声不显，但却是计算机图形学的顶会，除了论文、学术界与产业界的合作交流，每年都会有研究团队在会上展示计算机图形硬件和软件方面的突破。

　　去年的 SIGGRAPH 大会上，Meta 就展示了一款 HDR 头显原型 Starburst，峰值亮度达到了惊人的 20000 nit。作为比较，苹果 Vision Pro 的峰值亮度传闻达到了 5000 nit，其 HDR 显示效果已经让一众体验者相当惊艳。

　　然而相比 Starburst 上的超高亮度，今年两个头显原型上的技术还是更让人在意一些。

　　对头显有一定了解的读者应该都知道一个参数——PPD（角分辨率，即视场角中每度的像素数），类似于手机上我们常说的 PPI（每英寸像素），关乎实际入眼画面的精细程度。总而言之，如果说手机屏幕的 PPI 达到 326 以后就能称为「视网膜级」，那在头显产品的屏幕上，一般认为 PPD 要达到 60 才能达到「视网膜级」的视觉效果。

　　Vision Pro 和库克，图/苹果

　　但在现实中，即便是搭载索尼单眼 4K（双眼 8K）Micro OLED 屏幕的 Vision Pro，参照 Meta Quest Pro（22 PPD）进行估算，距离 60 PPD 也还有一定的差距。

　　苹果官方宣称 Vision Pro 屏幕共有 2300 万像素（双眼），是 Meta Quest Pro 屏幕像素的三倍多，但具体到每度视场角看到像素数，即 PPD，倍数肯定要小于分辨率的倍数，技术社区 Hacknews 上有人计算得出 Vision Pro 应该在 34 PPD 左右。

　　而 Butterscotch Varifocal 在上一代原型机的基础上，不仅扩大了视场角，说是也实现了视网膜级别显示的 60 PPD，但要如何实现如此高像素密度的显示屏幕以及算力驱动，目前还不得而知。

　　同时还有一个对业界来说可能更加重要的技术——变焦。

　　包括 Vision Pro 在内，目前所有已知的头显的画面都是固定焦距（通常是 1m），屏幕光线没有深度信息，辐辏和调焦的位置发生了分离，从而产生视觉辐辏调节冲突（VAC 问题），引发视觉疲劳、晕眩等问题。

　　与之相对，实现变焦可以让 VR 体验变得更加真实，视觉上的使用感受也会更舒服。而从 Meta 放出的视频来看，Butterscotch Varifocal 显然是加入了变焦电机，再配合眼动追踪技术，实现了 25cm 到无限远的自动变焦调节。

　　变焦电机，图/Meta

　　事实上，不少厂商都尝试在头显设备中实现动态变焦的效果，至少从 2019 年开始，苹果就一直在探索动态变焦显示技术，其中一种方向就是多透镜的 Pancake 方案，通过调整透镜折射率来调节焦距。早前传闻中 Vision Pro 就会采用这项技术，但目前来看并没有用上。

　　至于即将展出的另一台头显原型 Flamera，则是在目前主流的彩色透视方案外，开辟了一条新的技术路线。

　　02

　　彩色透视的未来

　　一定要大算力？

　　众所周知，Vision Pro 和 Quest Pro 都是通过对外的摄像头拍摄真实世界，再将画面「拼接」显示在内侧屏幕上，实现用户戴着头显也能看到周围环境，甚至实现 AR 体验。

　　说起来容易，实现难度极高，Quest Pro 全彩透视的糟糕体验就曾被近眼显示专家 Karl Guttag 炮轰。Vision Pro 目前来看完成度要比前者更高，此前雷科技的文章中，我们就综合了国内外体验者的说法：

　　「虽然与人眼观看真实世界还有明显差距，但 Vision Pro 不仔细看已经非常接近了，转头也感受不到明显的延迟。」

　　图/苹果

　　唯一的问题是，不管是苹果宣传视频中的人物，还是首批体验的媒体和博主，基本都是在固定位置上体验 Vision Pro，只能证明 Vision Pro 在静态下已经有了足够优秀的表现。但当人走动起来，一切计算都会变得更难、更复杂。

　　这也引出了目前主流方案的问题，由于这些摄像头与用户真正的眼睛位置不同，必须使用图像处理算法以及大量算力来重新「拼接」摄像头拍到的画面，然后显示到屏幕上。这个过程会增加延迟，还会导致视觉伪影。

　　Flamera 则是想通过一种全新的光学设计，直接捕捉与肉眼看到相同的光线。

　　「通过从头开始设计头显，而不是修改现有设计，我们最终得到了看起来非常独特的设计，但可以实现更好的图像质量和更低的延迟。」Meta 科学家 Grace Kuo 说。

　　Flamera，图/Meta

　　按照 Meta 公布的工作原理，Flamera 与传统光场摄像头不同，在阵列中每个透镜后面都放置了一个孔径（相当于光圈）。这些孔径物理上阻挡了不必要的光线，只有需要的光线能够到达眼睛，同时将有限的传感器像素集中在光场的相关部分，从而产生更高分辨率的图像。

　　工作原理，图/Meta

　　最后，原始传感器数据最终看起来像小圆点，每个圆点只包含头显外部物理世界「视图」的一部分。Flamera 将进行重新排列，估计一个粗略的深度图，实现基于深度的图像重建。

　　得益于此，Flamera 理论上可以实现更低的延迟和更少伪影的透视效果。换句话说，通过头显看到的画面更接近真实的物理世界，实现更好的 MR 体验。

　　03

　　写在最后

　　Butterscotch Varifocal、Flamera 上的技术会改变头显的技术路线吗？眼下可能都还很难判断。

　　就像前文所提，Meta 也明白，这两台头显原型更多是承担了技术展示的需求，距离解决工程实现问题和量产还有很长的路。

　　同时 Meta 也没有「把鸡蛋放在一个篮子里」。并没有迹象表明要专注在变焦电机与无重投影的技术路线上，变焦电机的机械式方向始终存在可靠性方面的问题，不仅是面向消费者需要得到足够的信任，在量产环节上可能也要面对更大的挑战。

　　在此之前，已经有太多消费电子产品证明了「机械」 这条路上的坑，比如全面屏进程中的升降式镜头。

　　倒是无重投影确实给 MR 提供了一种很新的思路，可以避开对算力的高要求，同时减少延迟和视觉伪影。悬念在于实现的难度和效果，这可能就需要等到日后才能见分晓了。