惊！史上最佳GAN现身，超真实AI假照片，行家们都沸腾了
效果实在是，令！人！震！惊！
夏乙 舒石 发自 凹非寺量子位 出品 | 公众号 QbitAI
AMAZING、Incredible、Very impressive、A huge fan……
大周末的，各路人工智能、机器学习的大神，一反常态，纷纷在推特上花样夸奖、交口称赞一篇还在双盲评审中的ICLR 2019论文（BigGAN）。
因为，效果实在是，令！人！震！惊！
DeepMind负责星际项目的Oriol Vinyals，说这篇论文带来了史上最佳的GAN生成图片。陈天奇也说对这个研究及后续充满好奇。
效果有多好？
先看数字。经过ImageNet上进行128×128分辨率的训练后，BigGAN的Inception Score（IS）得分是166.3，一下子比前人52.52的最佳得分提升了100多分，离真实图像的233分更近了。而Frechet Inception Distance（FID）得分，也从之前的18.65优化到了9.6。
再看实例。你能分辨出以下哪张图片是AI生成的假图片，哪张是真实的图片么？
再来一个。以下八张，哪个是假的？
现在公布答案，以上12张，全都是生成的假图片。现在你能理解为什么大家都震惊并且齐声称赞了吧。
512×512轻松搞定
其实，这些例子中还隐藏着一个更厉害的事实：上边的八拼图像，分辨率是512×512。放两张大图，来共同鉴赏一下：
是不是依然真假难辨，非常Amazing？
这就对了，除了搞定128×128小图之外，BigGAN还能直接在256×256、512×512的ImageNet数据上训练，生成更让人信服的样本。
上边展示的512×512样本，IS和FID分数分别为241.4和10.9；而256×256样本得到了233.0分的IS、9.3分的FID。
这是BigGAN在各种分辨率下的全部得分情况：
原理
“大”GAN为什么这么厉害？
BigGAN的“大”，不止是模型参数多，训练规模也是有GAN以来最大的。它的参数是前人的2-4倍，批次大小是前人的8倍。
对于图像生成这个任务来说，训练规模大真的很管用。
作者（们）为了做大规模训练，研究了如何克服这种大规模带来的特有的不稳定性。
为了适应大规模训练，他们对GAN架构做了两处简单的改动。BigGAN的生成器和鉴别器架构如下图所示：
BigGAN用了ResNet架构，和Takeru Miyato等人在去年ICLR 2017上发表的cGANs with Projection Discriminator里差不多，但是对判别器的通道类型做了一些改动，让每个模块第一个卷积层里的滤波器数量和输出滤波器相等。
他们的生成器G，用了单个共享类嵌入，它具有线性投影性质，能为BatchNorm层生成每个样本的增益和偏差。
这是BigGAN的生成器架构：
生成器中的一个残差模块如下图所示：
另外，他们还发现，将正交正则化应用到生成器上，能让它适用于简单的“截断技巧”，这样就可以通过截断潜在空间，来精细控制样本保真度和多样性之间的权衡。
樱桃时刻
再来赏析一下BigGAN的功力。
其中有一部分，以“像，真像”而令人震惊。
有个意大利小哥说，BigGAN生成的食物满分。看起来很好吃的样子。
还有一部分，以“想象力惊人”而令人印象深刻。
比如论文里列的“网球狗”失败案例：
不过一大堆人都说这个网球狗狗，挺！萌！的！
还有这种神奇的大象。
当然，BigGAN也有确实生成特别不好的图片类型，比方说有人的场景。
这里挑选几个例子看看。
这个是骑自行车的人？
这个是穿貂的人？
这个是女人？
看来，最难把握的还是人……
最后强调一下，陈天奇说，这项研究是都在分类条件下生成的图像，很好奇它捕捉到了多少分布，非条件版本会是什么样。
论文地址
对BigGAN论文感兴趣的朋友，可以直接前往如下地址访问：
https://openreview.net/pdf?id=B1xsqj09Fm
这是一篇良心论文，附录中还包含了“NG镜头集锦”环节（NEGATIVE RESULTS），讲述了研究中遇到的各种坑，非常值得一读。Google AI研究员James Bradbury专门在Twitter上说，真是太喜欢这部分了。
如果你想反cherry pick，作者还放出了生成图片的图集。图集在Google Drive上。
至于代码？好多人在找，不过目前似乎没放出来。GitHub上貌似也搜不到相关的内容。
这篇论文如此火爆，同时也引发了一些人的担心：毕竟这篇论文还在双盲评审中，现在闹得动静这么大，有可能会影响评审结果。
以及，这篇论文的作者到底是谁？目前还不得而知。
- 谷歌首席科学家：搞研究的痛苦，搞工程的人不懂2018-12-01
- 滴滴副总裁叶杰平离职，他是出行巨头的AI掌门人，战胜Uber中国的关键科学家2020-09-07
- 董明珠的格力空调卖不动了：上半年营收同比腰斩，24年来首次被美的反超2020-09-01
- 手机配件市场上的“隐形巨头”：80后长沙夫妻创办，IPO首日市值逼近600亿2020-08-31
相关阅读
