Oculus公司申请用于眼球追踪的光场摄像机的新专利

发布时间:2018/11/10 00:00:00 来源:赛盟科技

 Facebook的Oculus公司获得了一项眼球追踪技术的专利,该技术在头显内部使用了光场摄像机。以前的大多数眼球跟踪系统都是使用常规或红外摄像机结合红外光源来保持眼睛的亮度。

  光场相机与普通相机的不同之处在于,它还能捕捉到光运动的方向。这种方向性信息可以用来理解图像的深度,从而理解眼睛的3D形状,而不仅仅是颜色和亮度。通过了解眼睛的3D形状,该系统可以找到瞳孔相对于眼睛本身的位置,从而比仅仅通过瞳孔的2D形状更准确地估计用户的注视方向。

  眼动追踪可以极大地增强多人VR中“社交存在”的感觉,但其最有前景的用例是渐进式渲染。 Foveated渲染是指当您正在查看的内容以全分辨率绘制时,外围视图中的其余场景将以低细节呈现。这是有效的,因为人类视觉只是在中心的高细节。要亲自看看,请查看您现在所在房间的一些文字,然后看看它旁边的几英尺,并尝试再次阅读。

  Foveated呈现应该有一天能够实现更高分辨率的VR头显,而不需要昂贵的线形显卡。找到一种让它可靠工作的方法对VR的未来至关重要。

  2016年末,在Oculus Connect 3上(见上图),Oculus首席科学家Michael Abrash讨论了开发一种足够好的眼动跟踪系统以实现foveated呈现所面临的挑战。他说,为了使凹形渲染对用户来说是不可见的,“几乎完美的”眼球跟踪是需要的。如果眼球追踪失败了,哪怕只是一瞬间,用户就会看到视觉质量的大幅下降。即使在今天,还没有哪家公司将这种质量的眼球追踪技术应用于消费品中。

  今年9月底在Oculus Connect 5上,Abrash表示,希望在四年内(到2022年)完成这个眼动追踪项目。也许这个估计是依赖于使用光场摄像机获得眼睛的实时3D视图,如本专利所述。如果这是真的,那么整合眼球追踪的成本将比许多人猜测的要高,但这可能会大大提高使用的可靠性。