每帧3GB:HypeVR推出空间全息影像技术

Category: 
每帧3GB:HypeVR推出空间全息影像技术
2017年1月6

在VR头显里想象这样一个场景:

 

 

你站在中越边境的河谷,观看壮美的景色——但头显里播放的并非普通的全景视频,而是可以随着身体移动和头部倾斜,看到被画面中的物体挡住的更多东西,甚至……整个场景。

 

 

比如你的面前有一个油桶,但你可以稍微挪动一点,或者把头向右倾斜,就能看到油桶背后的溪流:

这显然不是一个几百块钱的双摄全景摄像头就能实现的。其实,这部视频的拍摄手法叫做Volumetric Capture,翻译成中文叫“容积捕获”,采用特殊的设备,像三维空间扫描一样记录下了摄像头周围所在区域的全部物理环境。拍摄它的公司叫做HypeVR,该公司联合创始人泰德·施洛维茨告诉我,这段全息影像的每帧数据量就高达3GB。

 

 

昨天,PingWest品玩在英特尔的VR发布会上粗略体验了一下HypeVR所拍摄的这段内容。今天我们又找到了该公司的创始人兼CEO Tonaci Tran,更深入地体验和了解了这项技术。

这段全息影像的记录时间是2016年11月14日,地点是中越边境的板约瀑布。简单来说,HypeVR开发的这种新视频格式,具有三个特性:360°全景+高清+六自由度。

 

 

全景不消细说。在清晰度方面,一般的全景摄像采用多相机阵列(比如GoPro)的方案,和HypeVR根本没法比——该公司的一个多相机阵列就要用到Velodyne开发的激光雷达(LiDAR),再配上12台世界上最顶级的Red超高清摄像机。仅供参考:Red的分辨率为5K,12台……清晰度难以想象。

至于六自由度,英文叫做6 degrees of freedom (6dof)是一个物理上的术语,指的是物体能够在三维空间里,在xyz三轴方向上自由运动以及围绕三轴自由转动的能力。在VR业界,6dof是一种技术指标,指的是当头显的佩戴者在三维空间里前后左右上下移动和摇头、摆头时,头显里所显示的空间画面能够随之变化,就像在真实空间里一样。

 

 

但并非所有的VR内容的录放都支持6dof。如果一个全景摄像头放在定点上录制内容,它拍下的其实也只是一个二维的画面。而在拍摄中加入激光雷达,使得最后产生的二维画面多了一维——空间,其实是HypeVR全息影像录制技术最大的不同。这样录制和最后剪辑制作完成的内容,不是二维的画面,而是具有空间感的全息影像。

还有一个问题:最后成片中的画面里,那些桶、水牛和其他挡住视野的物体,它们背后的画面又该怎样拍呢?HypeVR以商业机密为由没有想我透露太具体的细节,但我猜测采用的方法应该类似于:先在一个点拍摄(point zero),然后更换一个能拍到障碍物背后的点(point a),然后按照从0到a的距离和方向,在全息场景重建的时候,拼接a的内容到0的内容里。

蹲下,或者往左/右边走,就能看到被水牛挡住的地方。这是其它VR视频绝对无法做到的。

 

 

但显然,这样制作出来的最终内容格式肯定不是普通和VR视频一般采用的mp4格式,而是一种全新的格式。Tran对我表示:

 

 

从容积捕获(volumetric capture)、场景重现(reconstruction)、压缩编码(compression codec)、播放和直播串流所采用的图像引擎(graphics engine for playback and volumetric streaming),一切都是全新的。我们认为这就是视频2.0时代。

 

 

Tran是美国出生的越南人,曾在加州大学圣地亚哥分校学习数字媒体创作。因为10年前创立了第一家Red高清电影摄像机出租服务,他在越南也引起过不小的轰动,还曾因此在越南电影界获得了不小的名气。

 

 

2014年,为了实现“打造下一代视频技术”的梦想,他和电影巨头二十世纪福斯的数字技术专家泰德·施洛维茨一同创立了HypeVR。

 

 

该公司总部位于加州圣地亚哥。Tran告诉我,他认为HypeVR在相机阵列、全息场景重建、6dof全息视频压缩和全息视频串流方面,有着绝对的技术优势。至于公司的技术优势,他用一句话总结为“独家的容积捕获、制作和播放引擎,专为视频2.0时代打造。”也正因此,英特尔将HypeVR视作重要的合作伙伴,邀请其参加CES的发布会和现场演示。

接连两天由浅及深地体验了HypeVR带来的全息可互动影像之后,我心理对于VR视频的芥蒂消除了一些。之前我对所谓的VR内容不太感冒的原因就在于,它们只是把我绑在一个固定的地方,然后允许我转动脑袋,并没有什么所谓的“沉浸”感,反而感觉自由被限制了。

 

 

我问Tran“在你们这段视频里,我到底有多大的自由度?”他告诉我:“只要这条头显的线够长、头显还在传感器追踪的范围里,你想走多远走多远。”

相关文章

VRrOOm Wechat