亚博_主页

详解" 传送" 黑科技首秀——天猫双十一晚会" 明星到你家" 是如何实现的亚博官网.

2018-10-08 20:37:40  by亚博国际

详解

今年天猫双11 晚会上,一场别开生面的"明星到你家" AR 互动活动令人印象深刻.晚会现场,范冰冰、卢靖姗瞬间穿越到了所有观众家中.

这场活动不仅有大牌明星助阵,还有大量黑科技:真人动态三维建模与传输和SLAM 、平面监测等AR 技术.核心的真人动态三维重建与传输由创业团队Owlii 实现,亚博体育特发现,"明星到你家" 这个活动可以被称做是AR 互动,但是却与现在我们通常见到的AR 互动有本质的区别,从"传送" 来理解这个活动的意义更为合适.

(微软Holoportation 演示)

微软最先提出"Holoportation 传送" 这一概念.2016 年微软在Build 大会上演示了基于HoloLens 的Holoportation 传送技术.在Holoportation 的演示视频中,我们看到远距离对话的两个人的影像都被传送到了对方所处的环境中,影像还可以被放大、缩小.

大部分的AR 应用的内容是由计算机生成的三维虚拟物体.而"传送" 以及"明星到家" 的关键在于对真人进行三维动态重建,把人的动态影像传送到另一个环境进行交互.即使相隔万里,也能瞬间以影像的方式进行交流,可以说是人类传播技术的终极目标."明星到家" 这个活动的技术实现方式其实和微软传送是一样的,都是依赖动态三维影像重建与传输和AR 技术.但是微软的是实时的和多人的,而"明星到家" 是离线的和单向的.

目前,国内外有一些专注于动态三维建模和传输的公司,除了微软,还有美国公司8i.8i 成立于2014 年,专注VR/AR 领域的3D 人物成像,2017 年获得由时代华纳领投的2700 万美元B 轮融资.

Owlii CEO 温子煜告诉雷锋网,"在实时这个上面,目前只有微软和Owlii 做到了." 今年8 月底在硅谷举行的2017SIGGRAPH 计算机图形学大会上,Owlii 展示了其基于手机AR 的"传送——三维人物的重建与传输技术".通过手机AR 看到身处北京的工程师被"传送" 到美国洛杉矶SIGGRAPH 现场.

要做到实时传输,最关键的是三维影像的压缩技术."去年,微软做实时的传输需要1Gbps 的带宽,今年他们做到了50Mbps ,而我们将实时传送的媒体流压缩到了10Mbps ,离线的仅为2.5Mbps ,仅用手机4G LTE 的无线网络就可以实时加载和交互.虽然压缩的同时要保持图像质量很难,但是单说压缩到这么小,就是很难的事情."

目前动态三维重建需要多个摄像头的拍摄环境,动态影像合成的工具,压缩的特殊算法