2D图像转3D仅需5秒,特斯拉的自动驾驶技术有救了?

sw

在本周的春季图形技术大会(GTC)上,Nvidia展示了一种新的逆渲染方法(InstantNeRF)——从少量2D图像中重建3D场景。逆向渲染使用AI来模拟现实世界里的光线,基于NvidiaResearch团队开发的技术,让渲染过程极大地缩短,几乎可以说是立即发生。

事实上,在2D转3D的相关领域,Nvidia一直在尝试技术突破,致力于推出更强大的工具来完成这一过程。但即使是Nvidia这样的行业领先公司,即时渲染3D也是一项极为艰难的技术挑战。

这更凸显出InstantNeRF的来之不易。关于这一成就,谷歌科学家JonBarron在推特上表示:18个月前,训练NeRF还需要5小时;2个月前,训练NeRF最快也需要5分钟;就在近日,基于英伟达的最新技术,训练NeRF最快也需要5秒!

InstantNeRF的技术原理

据了解,Nvidia能够取得这一成绩的主要原因是采用了一种被称作多分辨率哈希编码(MultiresolutionHashEncoding)的技术。在一篇论文《基于多分辨率哈希编码的即时神经图形基元》中,Nvidia对这一新技术做了详细说明。

Nvidia表示:“计算机图形基元基本上由有关外观的各项参数的数学函数表示。参数的数学计算结果对于视觉保真度至关重要。”言下之意是,Nvidia希望在保持速度和数学函数紧凑度的同时,还能捕获高频、局部的图形细节。

为了达到上述要求,Nvidia采用了多分辨率哈希编码技术。据Nvidia称,该技术有着自适应性和高效性两大特性。函数内部只有两个值需要进行配置,分别为参数的数量T和所需的最佳分辨率Nmax。

利用该技术,只需经过几秒钟的训练,便能在各种任务中达到较高的质量。

展示之后,Nvidia的IshaSalian在现场表示:InstantNeRF(中文叫神经辐射场)是由加州大学伯克利分校、Google研究院和加州大学圣地亚哥分校的研究人员在2020年开始研发的一项技术。

该模型是使用NvidiaCUDA工具包库开发的。由于它是一个轻量级的神经网络,它可以在单个NvidiaGPU上进行训练和运行,在核心卡上运行最快。

年来,研究人员一直在改进这种从2D到3D的技术,旨在为渲染出的成品增加更多画面细节,并提高渲染速度。Nvidia表示,新一代InstantNeRF模型是迄今为止最快的技术之一,将渲染时间从几分钟缩短到“几乎瞬间”就能完成。

NeRF的应用范围

在上述领域,使用传统方法创建3D场景可能需要数小时或更长时间,具体取决于可视化的复杂性和分辨率。而NeRF使用神经网络系统,效率和准确度大幅度提升。

业内人士表示,NeRF在自动驾驶、航空测量等领域也具有广泛应用前景。例如创建大范围的高保真地图,为机器人定位、导航等应用提供帮助。此外,自动驾驶系统通常需要重新模拟以前遇到的场景来进行安全评估,然而,如果历史记录中存在任何的偏差都可能改变车辆的真实轨迹,因此需要沿着路径进行高保真的视图渲染,这同样需要NeRF技术。在自动驾驶中,除了基本的视图合成,以场景为条件的NeRF还能够改变环境照明条件,例如相机曝光、天气或一天中不同的时间,从而进一步提升模拟驾驶场景的仿真度。

除了NeRF之外,Nvidia的研究人员还在探索如何利用这种输入编码技术来加速多种人工智能挑战,包括强化学习、语言翻译和通用的深度学习算法。

文章版权声明:除非注明,否则均为纵投光影网原创文章,转载或复制请以超链接形式并注明出处。

上一个 中考满分作文:破茧

下一个 NUBIA 努比亚 z9 mini操作系统使用感受评测