高保真换脸让沈腾重回颜值巅峰！重建人脸3D信息，浙大、厦大、腾讯优图联合出品
让换脸告别假阴影
明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI
能让沈腾减肥成功、重回颜值巅峰：
让安妮·海瑟薇变身帅气小哥：
还能让Yoshua Bengio奔驰在绿茵草地上：
你没猜错，这又是换脸的“魔法”。
而且这效果也太自然了吧！
即便是不同性别、不同脸型，换脸后也毫不违和。
除了脸型以外，面部的线条感也能被自然复现。
把赫敏换脸成卷福，看起来都没什么违和感。
甚至脸上有遮挡也没关系，马斯克摇身一变成为异域女郎：
不止是图片，在视频里的效果也非常自然：
用3D信息重塑面部结构
以上这些效果，都是用HifiFace这种新型换脸方法实现的。
而它的秘诀就在于利用三维几何结构信息。
以往的换脸方法主要是重建面部的纹理，而不是结构；
这会导致在一些情况下，下颌线或颧骨的部分会出现不自然的效果，仿佛戴了个面具一样。
想要解决这些问题，面部的3D信息就变得非常重要。
因此，HifiFace的框架中主要增加了一个3D轮廓识别提取器（3D Shape-Aware Identity Extractor）和一个语义面部融合模块（Semantic Facial Fusion Module，SFF）。
它主要用3D重建模型对源脸和目标脸的系数进行回归，将其重组成几何信息后，与人脸识别网络中的特征向量信息连接。
然后把得到的几何数据输入到编码器-解码器模型中，与目标面部的表情、特征融合。
与此同时，SFF模块还能把生成人脸的质量进一步提升。
它主要用编码器来保留源脸的空间、纹理等低级特征，以保留更多信息。
这样一来，HifiFace就不用以源脸的轮廓作为强制边界，而是在面部边缘自适应融合。
从而能很好解决面部被遮挡或光线上的问题，最后达到高保真的效果。
△模块细节
光说不练假把式。
在与一些现有换脸方法的对比中，我们能看到HifiFace的效果有了明显的提升。
从对比中可以看出：
FSGAN在脸型上实现的效果不错，但是在面部光线的处理上不尽人意。
SimSwap则并没有很好将源图中的面部特征转换出来。
FaceShifter相较于上两个模型效果略好，但是在表情和肤色的还原上，还是不如HifiFace。
在数据上，HifiFace换脸后保留的身份信息在几个方法中最多，脸型上的差距也是最小的。
而在HifiFace和FaceShifter生成样本的脸型差异对比中，当源脸和目标脸在轮廓上差异很大时，HifiFace明显优于Facehifter。
目前HifiFace专注的方向为面部线条上优化，还未开发全头替换（包含头发）的功能。
它由腾讯优图实验室、浙江大学、厦门大学联合开发，现已被IJCAI 2021成功收录。
论文地址：
https://arxiv.org/abs/2106.09965
参考链接：
https://www.unite.ai/new-deepfake-method-hififace/
- 直播网友AI写歌征婚，实测最新登榜音乐SOTA模型：免费无限次，一键生成2024-04-19
- 人在B站，要被AI公司们挤爆了2024-04-15
- 清华团队推出新平台：用去中心化AI打破算力荒2024-04-17
- Sora问世，如何用大模型反诈？2024-04-18
相关阅读
