实时把你的脸变成名画，手机摄像头新玩法
还可以让雕像动起来
梦晨 发自 凹非寺
量子位 报道 | 公众号 QbitAI
这款叫做“FaceBlit”的最新的风格迁移技术，能够实时把镜头前你的脸变成指定画像的风格，还能匹配你的表情动作。
性别不同也没问题。
甚至可以用雕像和草稿。
这一切都能在手机上实时进行，不需要拍好视频再等待处理。这意味着，本项技术可以应用于直播和视频通话，而不仅是上传拍好的视频作品。
它还可以反过来用，通过镜头捕捉你的表情动作，让画像同步动起来。
来看看这么惊艳的效果是如何做到的吧。
位置匹配+外观匹配
首先是位置匹配，通过下巴的轮廓确定整个面部的形状。检测出五官等重要面部特征并编码。
再把画像与人脸的面部特征进行匹配，确保迁移的结果在语义上能够一一对应。既鼻子对鼻子，眼对眼。
然后是外观匹配，先把画像与人脸都去掉颜色进行灰度化，再进行高斯模糊处理。
用原始图像减去模糊后的图像得到其差值图像。以差值图像为依据进行直方图匹配（Histogram Match）。
从对比图中可以看到，位置匹配和外观匹配共同作用才能得到理想的结果。
为什么这么快？
风格迁移其实已经有很多方案，但使FaceBlit脱颖而出的最大的特点就在于速度快，无需大规模数据集和长时间训练。
在19年的前期成果中已经能做到在十几秒内训练出稳定的效果。
FaceBlit将Fišer等人在2017年提出方法中的4个匹配简化成两个，即上面提到的位置匹配和外观匹配，并改进底层生成算法，将准备时间缩短到几十毫秒。
检测面部特征时使用下采样(subsample)，在对检测精度影响很小的情况下降低图片的分辨率。
通过预计算3D像素查找表，以占用更多内存为代价节省时间，并将搜索范围限制在目标位置的20个像素以内。
最终在性能测试中，FaceBlit通过稍微提高预计算时间，大大减少了合成时间。这意味着，完成对参考画像的预计算后，就可以实时合成出所需的图像。
还是在只使用了CPU的情况下。
在使用三星Note 8手机的测试中，FaceBlit在50万像素分辨率下以每秒15帧运行。
进一步研究方向
研究团队表示，虽然FaceBlit效果已经很惊艳，但还不够完美，并提出了3个未来的研究方向。
解决由于在计算过程中省略了对时间一致性的匹配，导致生成结果中会出现闪烁的问题。
解决外观匹配方法容易在风格迁移中忽略一些大尺度的特征的问题。
通过交叉分析相似风格的同一套画像，来使结果能适应不同观察角度、照明条件等复杂情况。
作者团队
这项研究一作为来自捷克理工大学的Aneta Texler, Ondřej Texler和Michal Kučera。
另外还有来自相机社交应用公司Snap的华人研究员柴蒙磊参与其中。
柴蒙磊博士毕业于浙江大学。主要从事计算机视觉和计算机图形学的研究，主攻人类数字化、图像处理、三维重建和基于物理的动画。
最后，FaceBlit的相关代码预计于4月份在GitHub上公布。
参考链接：
[1]https://ondrejtexler.github.io/faceblit/
[2]https://www.youtube.com/watch?v=XF6lWAVFXy0
[3]https://www.youtube.com/watch?v=Fi4TXewjka0
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
- 揭秘腾讯混元大模型：400+场景落地，协作SaaS产品全面接入2024-04-25
- NeurIPS开辟高中赛道引爆争议！网友：代理人战争要开始了2024-04-13
- 微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了2024-04-23
- 新测试基准发布，最强开源Llama 3分数骤降，差距拉开了2024-04-22
相关阅读
单帧风景照变延时摄影，分分钟搞定，还能有昼夜变化，这是来自日本的开源动画景观算法
日本AI画师火速走红：印象派画作秒秒钟完工，看一整天都不腻，你也能来DIY
