Meta用眼球追踪动态校正VR畸变,误差和延迟细节公布

无极三( ID:qingtinwang )--链接科技前沿,服务商业创新

今年6月,Meta Reality Labs公布了一种光学畸变模拟装置,其特点是可测试不同的屏幕和透镜配置,加速VR光学方案迭代。

Verzerrungssimulator_Meta_DSR.jpg_副本

这种装置具体有什么用呢?我们知道,目前市面上的一些消费级VR头显采用静态畸变校正方案,来优化透镜造成的画面失真,原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变,动态畸变(移动的眼球通过透镜看到的画面畸变)还需要配合眼球追踪技术,来实时校正。然而,现有的眼球追踪技术在准确性、延迟等方面还有待优化,因此即使采用眼球追踪和动态畸变校正算法(DDC),效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制,部分图像不能得到校正。

Meta Reality Labs公布了一种光学畸变

Meta Reality Labs公布了一种光学畸变

因此,为了快速测试不同眼球追踪效率对于VR视觉效果的影响,Meta研发了这一套数字模拟装置,好处是省去了制造光学原型硬件的成本和时间,可以直接在测试中收集使用反馈。

解决哪些痛点

于VR显示技术来讲,光学透镜和屏幕是紧密关联的,因此更换或修改屏幕参数/类型,意味着透镜也需要改变。为了搭配不同类型的显示屏,Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。

微信图片_20220623151031

通常,由于光的折射特性,显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案,即预先将图像扭曲,来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置,比如当人眼和VR头显的相对位置有所变化时,预校正可能会失效(比如出现pupil swim问题)。因此,VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置,便可以更好的训练光学畸变校正算法。

方案细节

细节方面,其硬件构成包括:120Hz OLED大屏电视(模拟畸变图像)、与电视同步的主动式快门3D眼镜(营造3D效果),还有一个固定头部的旋转支架。

微信图片_20220811162614 (1)

当使用者将下巴放在支架上时,支架会根据他的头部旋转,来实时更新头部和眼球模型的位置。同时,算法会根据头部和眼球模型来计算前庭眼球反射运动(VOR),并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响,该方案还可以模拟不同显示屏角度对显示效果的影响,利用倾斜的屏幕来贴合人脸弧度。

微信图片_20220811162611 (1)

Meta指出,这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果,并通过3D眼镜搭配快速响应屏幕,来实现3D畸变预览。利用数字算法来模拟图像畸变,省去了制造光学原型的过程,可以更好的加速VR显示技术迭代。

用户测试

此外,Reality Labs还使用该模拟器来进行用户调研,让参与者测试并对比不同的光学设计和场景内容,来了解人眼对于光学失真的容忍度,寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim,也不会严重影响VR视觉观感。

微信图片_20220811162608 (1)

眼球追踪容忍度对比图

科研人员还利用LFP(光场入口)光场技术构建了一个基础的双目畸变度量标准,可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示,主要是用于模拟光学器件内,光在任意角度的传输过程(将入瞳到显示器之间的光线进行映射)。同时,也用来观察人眼的前庭眼反射(VOR)运动,因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部,并与旋转编码器进行同步,以此来头部和眼球运动在试验中保持一致。

微信图片_20220811162617 (1)

调研结果显示,当眼动追踪错误导致失真低于可检测阈值时,受试者会偶然(50%)识别出失真间隔,并且当眼动追踪错误导致容易检测到的失真时,受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义,当失真可以在75%的时间内准确识别时。

Pancake透镜采用二次反射面以最小化瞳孔游动,而折射镜片仅包含两个光学表面,通常表现出较大的瞳孔游动。因此,眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响,但影响程度未知。与折射镜片(绿色和紫色轮廓)相比,Pancake设计(黄色和蓝色轮廓)的眼动追踪要求显著放宽。

眼球追踪延迟的影响

另外,眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时,在现有的眼球追踪误差基础上,会导致更多误差。

实验显示,Pancake透镜对眼球追踪误差的要求比折射型透镜更低,因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现,校正文本显示时对眼球追踪效果要求高,高于3D内容显示。经过数千次试验,除了眼球追踪误差外,还需要弥补8毫秒延迟。当眼动追踪误差最小时,可以容忍较大的延迟。

不过,目前这项用户测试还存在局限,比如参与者少,测试的光学架构和场景内容有限。Meta认为,未来通过后续测试可以进一步了解图像畸变的机制,从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备,用于测试和优化眼球追踪技术。参考:

更多精彩内容,关注无极三微信号(ID:qingtinwang),或者来微博@无极三与我们互动!转载请注明版权和原文链接!
无极三

微信扫码关注无极三

无极三

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册