HumanNeRF:从2D视频提取动态人像,并转换为3D模型

无极三( ID:qingtinwang )--链接科技前沿,服务商业创新

近期,华盛顿大学计算机科学院的GRAIL图形和成像实验室发布了一项基于NeRF合成的新技术:HumanNeRF,该方案的最大特点就是利用AI算法将2D视频合成高保真3D全身模型。科研人员表示:HumanNeRF可从网络视频等2D数据提取动态人像,并进行自由视点渲染。

ezgif-2-b976d48486

据了解,GRAIL实验室由Adobe、谷歌、Intel、微软、皮克斯等公司赞助,多年来不断在研发将2D图像、视频中内容风格,并“注入生命”的技术,效果就像是哈利波特中描绘的动态照片那样神奇。此前无极三曾报道过一个“照片唤醒”AR方案就是GRAIL的研究项目之一,该方案的特点是可将2D图片中的人物变成3D动画,并允许3D动画以AR的形式从图片中脱离。

这一次,GRAIL团队通过HumanNeRF方案,把网络视频中的人渲染成支持自由视点查看的3D模型。HumanNeRF合成的3D模型可结合动捕系统,来合成动态的虚拟人像。

ezgif-2-9e81777a9e

我们知道,NeRF全称是神经辐射场,它是一种小型神经网络,可通过2D图片来学习3D建模和渲染。作为近两年兴起的技术,AI神经渲染方案正在颠覆传统的3D渲染流程。NeRF技术的一些变体在几秒钟内便可学习和渲染复杂的3D模型。

ezgif-2-9c588e7350

NVIDIA图形研究副总裁David Luebke曾表示:NeRF就像是位图影像,原理是捕捉光线从一个目标出发或在一个场景中照射的规律。值得注意的是,GRAIL的投资者之一,谷歌也是NeRF技术的领军者,此前其曾与UC伯克利、UC圣地亚哥合作开发了NeRF模型方案,并用来渲染3D街区、3D物体。

而与其他NeRF方案相比,HumanNeRF的优势是合成的3D模型更清晰,重影概率小。训练HumanNeRF模型学习非刚性运动后,便可合成动态的服装褶皱变化。值得注意的是,科研人员还利用HumanNeRF来合成视频输入的反向视角,也就是说如果2D视频中的人是正面,那么则合成3D模型的背面,听起来很难,不过HumanNeRF的合成效果看起来足够自然。

微信图片_20220715152750

HumanNeRF可将任何单视角视频中的人体运动转化为3D模型,也就是说可以将视频中的人像抠出来,做成AR,或是与3D场景结合。细节方面,HumanNeRF实际上是对视频中某一帧的人体动作进行抠图,生成的3D模型可从任意角度查看,也就是说2D图像中没有显示的部分也可以合成出来。这意味着,未来网络上的2D视频资源也可以轻松转化成3D内容。大量的网络视频也可以成为NeRF模型的训练数据。

微信图片_20220715152754

硬件方面,HumanNeRF需要在四个GeForce RTX 2080 Ti GPU上进行训练,需要72个小时。而利用NVIDIA Instant NGP三维重建训练方案,将大大降低NeRF所需的算力。

微信图片_20220715152745

通过验证,HumanNeRF利用单一角度视频渲染3D姿态的效果足够有效。HumanNeRF解决了3D人像渲染的两大难题:神经网络渲染动态对象、对于多摄像头方案的依赖。此外还可学习人体T型姿态,并通过运动场来学习刚性骨骼运动和非刚性运动。运动场和姿态预测学习信息可​根据2D视频中的姿态去修改3D模型,并在NeRF中渲染。

微信图片_20220715152757

不过目前,这项技术还有一些需要优化的局限,比如视频中未出现完整的身体,或是部分身体被遮挡,生成的3D模型可能会出现伪影。加入姿态矫正后,可改善图像对其效果。但如果初始姿态预估数据不良,或是包含运动模糊等明显的伪影,逐帧生成的3D姿态在时间维度上依然不平滑。

另一方面,也可以假设人体非刚性运动与姿态相关,从而预测3D数据的运动,但准确性依然不够好(在吹风、运动等情况下,人的衣服也会移动)。此外,HumanNeRF假设视频背景的照明是漫射的,也就是说场景中的人运动时,周围的亮度不会发生变化。如果自动合成的3D模型出现分割错误,那么将需要依靠人工来手动干预。参考:

 

更多精彩内容,关注无极三微信号(ID:qingtinwang),或者来微博@无极三与我们互动!转载请注明版权和原文链接!
无极三

微信扫码关注无极三

无极三

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册