证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023
用Blender生成随机数据
发自 凹非寺
量子位 | 公众号 QbitAI
一张2D证件照,几秒钟就能设计出3D游戏化身!
这是扩散模型在3D领域的最新成果。例如,只需一张法国雕塑家的旧照,就能分分钟把他“变”进游戏中:
甚至只需要一句话就能修改装扮和形象。告诉AI生成“穿着红色毛衣戴着眼镜的造型”:
不喜欢大背头?那就换成“扎着辫子的造型”:
再试试换个发色?这是“棕色头发的时尚潮人造型”,连胡子颜色都搞定了:
(AI眼中的“时尚潮人”,确实有点潮过头了)
上面这个最新的3D生成扩散模型RODIN(Roll-out Diffusion Network),来自微软亚洲研究院。
RODIN也是首个利用生成扩散模型在3D训练数据上自动生成3D数字化身(Avatar)的模型,论文目前已被CVPR 2023接收。
一起来看看。
直接用3D数据训练扩散模型
此前2D生成3D图像模型,通常用2D数据训练生成对抗网络(GAN)或变分自编码器(VAE)得到,但结果往往不尽人意。
研究人员分析,造成这种现象的原因在于这些方法存在一个基础的欠定(ill posed)问题。即由于单视角图片存在几何二义性,仅仅通过大量的2D数据,很难学到高质量3D化身的合理分布,导致生成效果不好。
因此,他们这次尝试直接用3D数据来训练扩散模型,主要解决了三个难题:
- 首先,如何用扩散模型生成3D模型多视角图。此前扩散模型在3D数据上没有可参考实践方法和可遵循前例。
- 其次,高质量和大规模3D图像数据集很难获取,且存在隐私版权风险,但网络公开3D图像无法保证多视图一致性。
- 最后, 2D扩散模型直接拓展成3D生成,所需的内存、存储与计算开销极大。
为了解决这三个难题,研究人员提出了“AI雕塑家”RODIN扩散模型,超越了现有模型的SOTA水平。
RODIN模型采用神经辐射场(NeRF)方法,借鉴英伟达的EG3D工作,将3D空间紧凑地表达为空间三个互相垂直的特征平面(Triplane),并将这些图展开至单个2D特征平面中,再执行3D感知扩散。
具体而言,就是将3D空间在横、纵、垂三个正交平面视图上以二维特征展开,这样不仅可以让RODIN模型使用高效的2D架构进行3D感知扩散,而且将3D图像降维成2D图像也大幅降低了计算复杂度和计算成本。
上图左边,用三平面(triplane)表达3D空间,此时底部特征平面的特征点对应于另外两个特征平面的两条线;上图右边,则引入3D感知卷积处理展开的2D特征平面,同时考虑到三个平面的三维固有对应关系。
具体而言,实现3D图像的生成需要三个关键要素:
其一,3D感知卷积,确保降维后的三个平面的内在关联。
传统2D扩散中使用的2D卷积神经网络(CNN),并不能很好地处理Triplane特征图。
3D感知卷积并不是简单生成三个2D特征平面,而是在处理这样的3D表达时,考虑了其固有的三维特性,即三个视图平面中其中一个视图的2D特征本质上是3D空间中一条直线的投影,因此与其他两个平面中对应的直线投影特征存在关联性。
为了实现跨平面通信,研究员们在卷积中考虑了这样的3D相关性,因此高效地用2D的方式合成3D细节。
其二,隐空间协奏三平面3D表达生成。
研究员们通过隐向量来协调特征生成,使其在整个三维空间中具有全局一致性,从而获得更高质量的化身并实现语义编辑。
同时,还通过使用训练数据集中的图像训练额外的图像编码器,该编码器可提取语义隐向量作为扩散模型的条件输入。
这样,整体的生成网络可视为自动编码器,用扩散模型作为解码隐空间向量。对于语义可编辑性,研究员们采用了一个冻结的CLIP图像编码器,与文本提示共享隐空间。
其三,层级式合成,生成高保真立体细节。
研究员们利用扩散模型,先生成了一个低分辨率的三视图平面(64×64),然后再通过扩散上采样生成高分辨率的三平面(256×256)。
这样,基础扩散模型集中于整体3D结构生成,而后续上采样模型专注于细节生成。
基于Blender生成大量随机数据
在训练数据集上,研究员们借助开源的三维渲染软件Blender,通过随机组合画师手动创建的虚拟3D人物图像,再加上从大量头发、衣服、表情和配饰中随机采样,进而创建了10万个合成个体,同时为每个个体渲染出了300个分辨率为256*256的多视图图像。
在文本到3D头像的生成上,研究员们采用了LAION-400M数据集的人像子集,训练从输入模态到3D扩散模型隐空间的映射,最终让RODIN模型只使用一张2D图像或一句文字描述,就能创建出逼真的3D头像。
不仅能一句话改变形象,如“留卷发和大胡子穿着黑色皮夹克的男性”:
甚至连性别都能随意更换,“红色衣着非洲发型的女性”:(手动狗头)
研究人员也给出了一个应用Demo示范,创建自己的形象只需要几个按钮:
更多效果可以戳项目地址查看~
做出了RODIN后,团队接下来的计划是?
据微软亚洲研究院作者们表示,目前RODIN的作品还主要停留在3D半身人像上,这也与它主要采用人脸数据训练有关,但3D图像生成需求不仅局限于人脸上。
下一步,团队将会考虑尝试用RODIN模型创建更多3D场景,包括花草树木、建筑、汽车家居等,实现“一个模型生成3D万物”的终极目标。
论文地址:
https://arxiv.org/abs/2212.06135
项目页面:
https://3d-avatar-diffusion.microsoft.com
- 第一个国产中文o1来了,直接数学竞赛题伺候!2024-11-27
- 联想创新开放日:2024最全面AI产品组合来了2024-11-28
- 2499元!Rokid Glasses 发布,AR眼镜跑步进入消费时代2024-11-18
- 新一代超美小直屏 OPPO Reno13 系列正式发布,2699元起2024-11-26