“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

一图一世界,上古像素版那种

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

谷歌110亿参数Genie,用来打造交互虚拟世界,它来了!

划重点:不受视频监督训练;只用给它单张图像,就能提示生成可玩的2D虚拟世界;这个交互式的虚拟世界还自主可控

但令人撇嘴的点,就是Genie最后出的效果,画质太糊了。

像这样:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

或者这样:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

团队也站出来承认,Genie目前确实还有限制,现在只能以1FPS制作游戏。

看得网友忍不住吐槽,不说和Sora的效果比了,就算和别的文生视频或者文生图相比,都是“2K”和“480p”的差距。

看起来挺令人兴奋的,但emmm怎么说呢,画质和风格都像个上世纪80年代的游戏。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

但也有人站出来为Genie说话。

比如英伟达科学家Jim Fan,就明确表达:

与Sora不同,Genie实际上是个能推断动作、用正确动作驱动世界模型。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

Genie团队负责人Tim Rocktäschel激情开麦,称认为这(Genie)是迈向AGI通用世界模型的充满希望的一步。

他援引了世界模型第一推崇者Yann LeCun的推特,称:

“诚然, OpenAI的Sora惊艳世界,但正如杨立昆所说,世界模型一定需要动作。”

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

画质就一个字,糊

书归正传。

咱们从视觉上来感受一下Genie的神奇魔法,直接上效果图。

这是官方给出的例子——

现实世界的照片,喂给Genie,就能动起来,变成无限的虚拟世界。

Like this,小黄狗逛公园:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

还有古堡武士向前冲:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

Genie团队用Imagen2生成图像,然后把图像喂给Genie。Genie把图像作为起始帧,生成以下效果。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

团队表示,Genie不仅仅能用AI绘画来作为驱动的起始帧,随便拿张人类大作,也可以达到同样的效果。

比如这是个小朋友的画作:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

丢给Genie后,能得到老鹰起飞的效果:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

这也是一张小朋友涂鸦,经由Genie处理后得到的:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

可以明显看到,上面给出的这些官方效果,明显画质参差不齐。

难怪有的网友称,这些demo看上去有一种700度近视眼摘掉眼镜看世界的美

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

不少人提问为什么不用超高清分辨率输出,目前还没得到回应。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

除了画质太糊,Genie的另一个点,就是网友们觉得demo都太短太短了。

平均每个时长不到2s。

好多人都急了:

能不能放出来1分钟时长的demo啊???或者至少让咱看看,超过3秒钟,会是啥样子吧。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

然而,虽然肉眼可见的画质糊、时长短,Genie仍然是令人惊呼的新研究。

毕竟,任何人,包括幼儿园阶段的小朋友,都可以绘出一个世界,然后加入其中,开始探索。

有小伙伴已经在畅想,日后能用Genie制造“一个让每个人都感到满足和满足、永无止境的生成世界”。

眨眼间,AI就从生成下一个word发展到了生成下一个world。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

Genie,一种通用方法

令人欣慰,谷歌DeepMind放出了关于Genie的论文,《Genie: Generative Interactive Environments》。

论文显示,Genie是一个11B参数的交互式环境生成模型,能够从互联网视频中无监督地学习并生成可交互的虚拟世界。

并且,Genie可以通过文本、图像、照片甚至手绘草图生成最终的交互式虚拟世界。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

整个Genie包含三个关键组件:

  • 潜在动作模型(Latent Action Model ,LAM);
  • 视频分词器(Tokenizer);
  • 潜在动态模型(Dynamics Model)。
“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

其中,潜在动作模型用于推理每对帧之间的潜在动作。

为了让视频生成可控,谷歌DeepMind用前一帧所采取的动作来预测未来帧。

由于此类动作标签在互联网视频中可用的很少,同时获取动作注释的成本超级高,因此,团队以完全无监督的方式学习潜在动作。

也就是说,Genie的训练使用了大量公开的互联网视频数据集,而没有使用任何动作标签数据。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

视频分词器的作用则是把原始视频帧转换为离散token。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

三组件之中的第三样,潜在动态模型,作用是给定潜在动作和过去帧的token,用来预测视频的下一帧。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

论文介绍,在训练过程中,使用超200000小时的互联网游戏视频,作为其训练数据。

这些数据集经过筛选,且包含了2D平台游戏的视频片段。

最终,其推理过程如下:

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

值得引起注意的是,Genie允许用户通过潜在动作在生成的环境中进行交互。

这些动作是通过一个因果动作模型学习得到的,这个模型允许用户通过指定潜在动作来控制视频的生成过程。

用户通过潜在动作与生成的环境进行交互,从而创造出新的、动态的视频内容。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

这也是谷歌认为Genie是实现通用Agent的基石之作的原因之一。

此前研究表明,游戏环境可以成为开发AI Agent的有效测试平台,但实际情况中常常受到可用游戏数量的限制。

借助 Genie,未来的AI Agent可以在新生成的世界中,进行永无休止的训练。

多说一句,论文中进行了一个概念证明,即“Genie学到的潜在动作可以转移到真实的人类环境中”,不过,这都是未来可能发生的事情了。

谷歌还明确表达了自己的态度:Genie是一种通用方法

也就是说,虽然Genie的训练数据多是2D的游戏视频or机器人视频,但不需要任何额外的领域知识,Genie就可以在多个领域中应用。

为了验证这个观点,谷歌在RT1的无动作视频上训练了一个较小的模型,只有2.5B。

结果发现,具有相同潜在动作序列的轨迹通常会表现出相似的行为,也就是说,Genie能够学习一致的动作空间。

这对训练机器人甚至具身智能来说,都是大大的利好消息。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

最后来看一眼Genie的研究团队~

团队人员不老少,共同一作就有六位,分别是Jake Bruce,Michael Dennis,Ashley Edwards,Jack Parker-Holder,Yuge( Jimmy) Shi,以及Tim Rocktäschel。

Yuge(Jimmy)Shi是华人,本科毕业于澳大利亚国立大学,2023年在牛津大学拿下机器学习博士学位。

她在2023年3月加入谷歌DeepMind,此前还在Meta AI实习过。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

此外,研究团队不少人都是谷歌DeepMind的开放性团队(Open-Endedness Team)成员。

研究团队中,有位不列颠哥伦比亚大学的计算机科学副教授,他同时是谷歌DeeoMind的高级研究顾问。

他在推特上敲了敲小黑板,称:

咳咳,注意了,现在看到的Genie是最糟糕的情况!
相信用不了多久它就会变完美。

“谷歌版Sora”被嘲画质好糊,但在世界模拟器上又前进了一步

参考链接:
[1]https://sites.google.com/view/genie-2024/home
[2]https://arxiv.org/pdf/2402.15391.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。