路人妹子秒变老婆,凶恶大狗秒变萌犬:日本开源GAN插件,局部P图无压力

发型,脸型,瞳色,都能定制啊

花栗子 发自 凹非寺

量子位 出品 | 公众号 QbitAI

这是一只面露凶光的哈士奇。

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

但它凶不过三秒,只要在眼睛上刷一刷:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

就回归了呆萌的本性。

机智的你可能已经发现,是左下角那只 (有点像博美的) 小狗,帮它找到了自我。

既然眼睛圆润了,耳朵就没必要再挣扎,也刷一下吧:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

一键换上梗犬的耳朵,更加温柔了。

还有,只要让忧郁的小猎犬保持皱眉,再把嘴张开,便可以获得职业假笑

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

想修哪里点哪里,这是东京大学和日本独角兽Preferred Networks开源的“插件”,可调教各种GAN:包括BigGANStyleGAN,也不用重新训练。

另外,既然是来自东瀛的AI,当然可以定制老婆啦:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里
恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里
恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

已为您生成,棕瞳的猫女。

有Demo可以玩,还有开源代码。

不过为什么,修改局部也可以这样天衣无缝?

面露凶光

团队用了两种方法。

一种是标签拼贴 (Label Collage) 。拼贴大法名叫sCBN

通俗地说,图上的各种色彩代表不同的标签,共同组成一张标签图 (Label Map) 。比如,红色是狐狸的头:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

修改一个标签,把图上的某个部分,标成自己想要的样子:比如把狐狸的头,标成狗头。它就真的变成了狗:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

△“绿色”的后背部分也修改了

这就是从标签图上生成的结果。

做法很简单,只要在归一化参数上,应用一下位置相关的仿射变换 (Affine-Transformations) ,就能在空间上改变语义信息,不用重新训练一只GAN,直接用预训练网络就可以。

这样,把金毛变成狮子,人类依然笑得灿烂:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

就算不是动物,两岸青山相对出,中间的绿草如茵,也能变成碧波粼粼:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

但有时候,要修改的部分,对应的并不是单一的标签。

这时,便有了名叫特征混合 (Feature Blending) 的第二种方法。

它不需要用标签图,直接把几张图拼起来就可以了。

一张是源图:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

两张作为样本,老爷爷的胡子,和小朋友的刘海:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

然后,最初的男生就有了花白的胡子和棕色的头帘:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

原理是,虽然想要修改的部位,对应的不是某一个标签;但图上的一个区域,依然可以对应到一组神经元

前段时间轰动的GAN Dissection算法,就是给网络做解剖,找到一组神经元,对应某个中间特征 (Intermediate Feature) 。

特征混合,就是要加工各种中间特征,把它们无缝融合到一起。

你看,丹凤眼的面瘫少年:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

有了棕色的大眼睛,再加上愉快的嘴:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

画风就全然不一样了。

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

你一定还记得,开头的老婆也是这样生成的:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

如果“红瞳才是正义!”,今后就可以把这样的方法插进各种GAN,一键追求正义,不用再截下转瞬即逝的缘分了:

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

△ 这是英伟达StyleGAN的作品

开源了

上周,新版本的论文已经发布了。

算法也开源了,近期可能有更新。

恶狗变萌犬,路人妹子变老婆:日本开源GAN插件,想P哪里点哪里

想定制老婆的同学,可以使用Demo:

https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb

代码传送门:

https://github.com/quolc/neural-collage

论文传送门:

https://arxiv.org/pdf/1811.10153v2.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。