原本是用在人脸上的AI,拿去给Emoji提升分辨率,结果哈哈哈哈哈

鬼栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

有些AI,原本是用来把模糊的人脸,变成清晰的人脸:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

以上杰作,来自韩国科学技术院 (KAIST) 的一个人脸对齐网络 (FAN) ,是超分辨率AI中优秀的一员,中选了BMVC 2019。

可偏偏有人不甘平凡,让这只AI去给Emoji提升分辨率。

结果意外的成功……

把16×16的表情包 (下图中间) 交给AI调教,破坏力顿时×2333:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

(左边是推特Emoji的放大版,以供与右边对照食用。)

不过,把抽象的脸变成具体的脸,也只是常规操作。

提高难度,让草地上的喷水池成个精:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

烟熏的眼妆,伏地魔的鼻子,发型还很时尚。我我我我已经没血了。

这些有毒的成果,来自一个名叫“I Forced A Bot (强人锁机) ”的博客。

善良的博主,还提供了线上试玩的Colab

一天的工夫,Reddit已经超过了200点热度。

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

有人唱便有人和。一位叫做Michail Rybakov的少年,想起自己一年前曾经把Facebook表情包,用扎克伯格的脸定制了一下:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈
表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

一旦接受了这个设定,便会深信那就是小扎,和本人一毛一样 (误) 。

12小时,Reddit热度冲到了376分。

还有小伙伴建议他,搞个浏览器插件,把所有FB表情包全改成这样,把原版Emoji都替掉:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

想想都觉得,这个世界很美 (gui) 好 (chu) 。

被玩坏的超分辨率

首先介绍一下,韩国小伙伴们开发的,是一个渐进式 (Progressive) 的人脸超分辨率方法:

把训练分成多个小步来走,每一步都比上一步的分辨率高一点点。这样训练过程会更加稳定 (Stable) 。

第二,团队提出了一种新的人脸注意力损失 (Facial Attention Loss) 。把这个损失应用到每一步上,让神经网络把注意力集中在重要的面部属性上。

具体就是把像素差别 (Pixel Difference) 和热图值 (Heatmap Values) 乘在一起。

第三,研究人员还把当前最先进的人脸对齐网络 (FAN) ,用hint-based的方法,压缩成了一个小网络。这样,就可以提取出有意义的脸部标志热图了。

那么问题来了,为什么会想到用它来升级Emoji啊?

“强人锁机”博主是这样解释的:

推特表情包是16×16。

这个算法,刚好是输入16×16的小图,生成128×128的大图。

天衣无缝。

博主还骄傲地向观众展示:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

披萨上的肉肠,都变成了人类的嘴。

One More Thing

鬼斧神工。就连苦力怕这样的面瘫,也可以拥有热烈的表情:

表情包泥石流:给人脸用的AI,帮Emoji提升分辨率,结果哈哈哈哈

所以,各位要不要试试把《我的世界》里的像素人,全体调教一遍?

Colab试玩传送门:

https://gist.github.com/JonathanFly/80b669a72bf624d17b56a1cfec742588#file-progressivefacesuperresolutiondemo-ipynb

超分辨率论文传送门:

https://arxiv.org/abs/1908.08239

玩坏表情包的博客原文:

ENHANCE! ‘Photo-Realistic’ Emojis and Emotes With Progressive Face Super-Resolution

—  —

版权所有,未经授权不得以任何形式转载及使用,违者必究。