英伟达首次实现SDF实时3D渲染,还是细节超清晰的那种
渲染效率提升2-3个数量级
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
不用苦等电脑渲染好几个小时,这样高清的 3D 渲染效果,现在英伟达做到了实时实现。
各种复杂样式、比例的外观都能 hold 住,阴影也不在话下。
细节处理上,还远胜前辈高手(橙色为DeepSDF)。
具体如何做到?
其实,同样是基于大名鼎鼎的神经 SDF(有向距离场)——计算机图形学中,常见的一种隐式曲面表示方法。
不过在这项研究中,大型神经网络的渲染不再必需,这就使得渲染效率提升了2-3个数量级。
这也是首个基于SDF的3D高保真实时渲染方法。
相关论文一经发布,引起了不少来自谷歌、Epic Games等等机构的专家学者的关注。
一起来看详情。
用稀疏体素八叉树进行编码
SDF 可以表示为 f(x,y,z)=d,是一个表示位置的函数,返回值是到物体表面的最近距离。
在进行渲染时,SDF 使用的是球体跟踪算法,该算法会沿射线执行距离查询。
而经典的神经 SDF 往往需要大型神经网络来进行编码,以便用隐式曲面来逼近复杂的形状,这就导致球体跟踪算法的代价很高。
△图源:论文一作,twitter@yongyuanxi
为了解决这个问题,来自英伟达、多伦多大学和麦吉尔大学的研究团队提出,改用稀疏体素八叉树(SVO)来对几何形状进行编码。
基于八叉树的特征量,可以自适应地拟合具有多个离散细节层次(LOD)的形状,并通过 SDF 插值实现连续 LOD。如此一来,就可以用一个小得多的多层感知机(MLP)实现加速渲染。
这里面的一个难点在于,如何快速地在八叉树中完成查询。
为此,研究人员还提出了一种基于 GPU 的算法,通过深度排序的 SVO 遍历来高效地完成空间跳跃,实现实时渲染。
不仅更快,重建质量也更好
速度上去了,渲染的效果是否有所损失?
实验结果显示,与DeepSDF、FFN、SIREN和Neural Implicits等方法相比,该方法的不仅体积更小、推理参数更少,性能表现也更强悍。
从下图中可以看出,该方法在细节恢复上远胜FFN,还比FFN快了50倍,速度可以媲美NI。
在两个更复杂的示例中,这种细节方面的优势体现更加明显。
不过,作者也坦言,该方法对于大场景,或者非常薄的几何体并不适用,也无法运用传统方法对渲染出来的几何体进行变形、制作动画。
关于作者
论文第一作者Towaki Takikawa,目前在多伦多大学攻读CS博士。同时,他还在英伟达超大规模图形研究小组(Hyperscale Graphics Research group)工作。
他目前的研究兴趣,主要聚焦在机器学习驱动的3D几何处理算法上。
传送门
论文地址:
https://arxiv.org/abs/2101.10994
项目地址:
https://nv-tlabs.github.io/nglod/
— 完 —
- 0元起步打造你的AI搜索!实测秘塔知识库新功能,竟能指导我升职加薪了2024-11-11
- o1满血版泄露!奥数题图片推理手拿把掐,奥特曼上线剧透o22024-11-03
- 科研版AI搜索来了!知乎直答接入正版论文库,一手实测在此2024-11-01
- 微软清华改进Transformer:用降噪耳机原理升级注意力,一作在线答疑2024-11-03