谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家
刚硕士毕业
白交 发自 凹非寺
量子位 | 公众号 QbitAI
视频生成进展如火如荼,Pika迎来一位大将——
谷歌研究员Omer Bar-Tal,担任Pika创始科学家。
一个月前,还在谷歌以共同一作的身份发布视频生成模型Lumiere,效果十分惊艳。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/fff79dd34a692e37c013590285ee36c0.png)
当时网友表示:谷歌加入视频生成战局,又有好戏可看了。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/557000179f7591960b87c843432c484e.gif)
Stability AI CEO、谷歌前同事等在内一些业内人士送上了祝福。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/5ce241adebc7e97d345898b0f8bb0ff0.png)
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/7be622201654c439036aef9eaee4eaa0.png)
Lumiere一作,刚硕士毕业
Omer Bar-Tal,2021年本科毕业于特拉维夫大学的数学与计算机系,随后前往魏茨曼科学研究所攻读计算机硕士,主要聚焦于图像和视频合成领域的研究。
其论文成果多次被顶会接收,比如Text2LIVE(ECCV 2022 Oral)、MultiDiffusion(ICML 2023)、TokenFlow(ICLR 2024)。
以TokenFlow为例,他们提出了一种框架,基于扩散模型实现文本驱动的视频编辑,支持视频编辑任务无需任何训练或微调。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/216728db63479e3ee25e15d71d2fc210.png)
此次加盟Pika前,他曾是谷歌研究院以Student Researcher身份待了9个月,最终经过7个月的研究以共同一作身份推出了Lumiere。这时候硕士应该还没有毕业。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/d9a2a37f447f5dd00ec3660d800c9835.png)
Lumiere的创新点在于,提出了时空U-Net(STU-Net)架构:将视频在空间和时间两个维度同时进行下采样和上采样,在网络的中间层得到视频的压缩时空表示。
在学习了3000万视频之后,Lumiere可支持文生视频、视频编辑修复、图片转视频以及视频风格化等多种功能。
当时Jeff Dean盛赞:多模态视频生成革命正在发生。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/e626de7e73e2818e24b0f24eb880cebb.png)
威尔史密斯吃面(Pika版)
官宣加盟Pika消息之后,官方以及投资人等也送上了祝福。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/f4b825c45fe98d4415e5f06f8fc7755e.png)
前几天,还有位Pika华人研究员Yilun Du发布了篇文章, 不过应该刚从MIT博士毕业(也可能还没毕业),论文单位仍是MIT。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/249925a1689a6edd81ac08adfe52c2ed.png)
另外在官网还在继续招人中。
![谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家](/wp-content/uploads/replace/1045c16004d7b979d14ca02e88fc48ed.png)
— 完 —
- 商汤科技日日新大模型亮相巴黎,中国AI共赴奥运之约2024-07-26
- 智谱AI版Sora来了!人人免费不限次,有手机就能玩,API也开放了2024-07-26
- Mac装上字节豆包,艾玛!一下变AI PC了!2024-07-22
- 英特尔举办2024网络与边缘计算行业大会,推动边缘AI创新发展2024-07-24