刷新ImageNet纪录,GAN不只会造假!DeepMind用它做图像分类,秒杀职业分类AI

无监督分类的战斗机。

栗子 边策 发自 凹非寺

量子位 报道 | 公众号 QbitAI

往日,GAN的光芒几乎全部集中在生成的图像上。

生成不存在的妹子。

△ 来自英伟达StyleGAN

生成不存在的老婆。

△ 来自英伟达StyleGAN

甚至进化到帮妹子脱衣服的程度。

△ 来自DeepNude

但现在不同了。

DeepMind的两位大佬,改造了“史上最强”的BigGAN,让新的算法去做图像分类,刷新了ImageNet无监督表征学习的纪录

换句话说,半路出家的BigBiGAN,秒杀了一众专注分类20年的AI选手。

△我有主角光环

同时,它生成的图像质量依然优秀。

不过,如果你只当它是BigGAN的升级版,就太单纯了。

我不叫BigBigGAN

GAN之父Ian Goodfellow帮团队划了波重点:

它叫BigBiGAN,不是BigBigGAN。

Bi是双向 (Bidirectional) 的意思,是说它又有编码器,又有生成器。

我开始也看成BigBig了。

那么,就从这里开始讲原理吧。

给GAN加上编码器的想法,是从自家前辈BiGAN那里继承的:

在原始的GAN架构里,生成器是个前馈映射,从随机取样的潜变量 (也叫噪音) ,映射到生成的数据 (假图) 上面。

而编码器把真实数据 (真图) 映射到潜变量上。这样就有了两种不同方向的映射,成了双向GAN。

其实,从前BiGAN也在ImageNet上做过图像分类。但团队说,BiGAN的生成器是DCGAN里面的那种,生成不了高质量的图像,这样编码器学到的语义就会受影响。

所以,研究人员便决定让BiGAN的编码器,和BigGAN的生成器相爱了。

但如果只是这样,并不会幸福的。

别忘了,判别器也是GAN的重要部分,它不断看穿生成器的作品,才让对方生产的假图越来越逼真。

而判别器自身就是一个强大的神经网络,团队希望它可以在“语义 (Semantic) ”层面强调图像的重构误差,而不要太在意底层细节。

照这个目标出发,团队开发了一个“联合判别器” (Joint Discriminator) 。

和普通的判别器不同,它的输入不只是图像数据 (真图与假图) ,而是图像数据+潜变量的成对数据。

那么,它要区分的不是真图和假图,而是真图与潜变量组成的对子 (来自编码器) ,和假图与潜变量组成的对子 (来自生成器) 。

虽然,新算法的名字BigBiGAN,并没有体现出生成器的独特,但有了它才是完整的BigBiGAN:

那么,现在来看一下成绩吧。

打破ImageNet纪录

在ImageNet图像分类任务上,BigBiGAN成为了无监督算法中的地表最强

与现有的监督逻辑回归分类器相比,BigBiGAN将ImageNet的top-1准确率提高到了61.3%。

作为一只合格的GAN,BigBiGAN当然有制造“假照片”的功能。

从无监督的BigBiGAN模型中选择的图像重建的结果。第一行是真实图像;第二行是根据上面图像x的重建图像。

不同于大多数GAN,比如BigGAN那样像素级的图像重建,BigBiGAN更重视高层的表征学习,也就更适合图像分类任务。

论文还写到,消融实验证明了:强大的生成模型有助于学习表征,而强大的推理能力,反过来也能提升大规模生成模型的表现。

瞻仰BigBiGAN,论文在此:

https://arxiv.org/abs/1907.02544

前辈BigGAN:

https://arxiv.org/abs/1809.11096

前辈BiGAN:

https://arxiv.org/abs/1605.09782

p.s.全都来自一个团队哟。

版权所有,未经授权不得以任何形式转载及使用,违者必究。