BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

晓查 发自 凹非寺

量子位 出品 | 公众号 QbitAI

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

BigGAN从出现第一天起,就以它逼真的生成图像征服了各路网友。

这两天,BigGAN又被开发出了新的玩法。

以前BigGAN只是用来生成静态图片,现在它已经学会了孙悟空的“七十二变”。给它一段视频,它就可以随着视频实时变化。

总之,视频里有啥,它就能变啥。

看我七十二变

作者给图像生成器输入了一段BBC《行星地球》纪录片的视频,接着模型能输出猴子、猎豹、企鹅等图像。

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥
BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥
BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

能快速根据视频内容输出图片已经很厉害了,更厉害的还在后面。

它生成可不仅仅是PPT,而是可以随着视频中物体的变化,平滑地过渡。在各种鸟类之间从容变换:

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

还能模仿多种蘑菇:

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

即使跨物种也不成问题,从企鹅到大象,变化自然:

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

这段视频效果惊人,今天凌晨作者在Twitter上放出以后,目前已有300多位网友点赞。有人表示非常喜欢作者的这项研究成果。

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

但也有细心网友发现了其中的错误。

作者表示,现在的Demo仅仅在模仿动物时比较成功,对其他种类物品的理解会出现偏差。比如在上面的视频中,BigGAN就错误地把太阳模仿成了火苗。

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

有人向作者提问,是否是利用视频内容对模型进行训练。作者称,模型并不是由视频训练而来,而是在ImageNet图片数据集上进行训练的。

一个会编程的艺术家

开发该项目的作者名叫Gene Kogan,他既是一个艺术家,同时也是程序员,可谓是站在科技与人文的十字路口。他在纽约大学任教,曾开设过一个面向艺术家的机器学习课程。

BigGAN学会“七十二变”:跟着视频模仿动物,看到啥就能变啥

Gene还创建了ml4a项目,一本面向艺术家、公民科学家的免费机器学习书籍。目前该书还在撰写中,部分章节已经完成,并且有中文翻译

Gene他希望以此促进公众对计算机视觉领域的了解。

资源地址

ml4a项目地址(有中文):

http://ml4a.github.io/ml4a/

Gene Kogan的GitHub主页:

https://github.com/genekogan

作者的BigGAN笔记和Demo:

https://colab.research.google.com/drive/1rqDwIddy0eunhhV8yrznG4SNiB5XWFJJ#scrollTo=USNAsSLtqf8N

版权所有,未经授权不得以任何形式转载及使用,违者必究。