抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了
网友:OpenAI可以休息一下了
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
看!现在正有四位小姐姐在你面前大秀热舞:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/d7213e1a841d2889723268c9cdc5ef1f.gif)
以为是某些主播在短视频平台发布的作品?
No,No,No。
真实答案是:假的,生成的,而且还是只靠了一张图的那种!
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/8d5e2693d04689ebd4de56b3ed5eb268.gif)
真实的打开方式是这样的:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/ceed8f81d47f8fa10b393887f62a1432.gif)
这就是来自新加坡国立大学和字节跳动最新的一项研究,名叫MagicAnimate。
它的作用简单来说可以总结为一个公式:一张图片 + 一组动作 = 毫无违和感的视频。
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/78444e1f65d63b98511962d06dccc786.png)
然后啊,这项技术一经公布,可谓是在科技圈里掀起了不小的波澜,众多科技大佬和极客们纷纷下场耍了起来。
就连HuggingFace CTO都拿自己的头像体验了一把:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/2cb5a1a37cc3a79419696af795686eb3.gif)
顺便还风趣地开了句玩笑:
这算是健身了吧?我这周可以不去健身房了。
还有相当与时俱进的网友,拿着刚出炉的GTA6(侠盗猎车手6)预告片中的人物玩了一把:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/9d12d60ebb8ba6e7ea2cee262f2115b9.gif)
甚至就连表情包们也成了网友们pick的对象……
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/4625d92040cd35f8fe2b762ab812bc3e.gif)
MagicAnimate可以说是把科技圈的目光聚焦到了自己身上,因此也有网友调侃说:
OpenAI可以休息一下了。
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/7debf6a9a58a6f3dd88c624019b0e8b7.png)
火,着实是火。
一张图即可生成一段舞
那么如此火爆的MagicAnimate,该如何“食用”?
话不多说,我们现在就来手把手地体验一次。
目前项目团队已经在HuggingFace中开放了在线体验的页面:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/3772fa2c8ef8e01c6a46b8c7eeca8c16.png)
操作也是非常得简单,只需三步即可:
- 上传一张静态人物照片
- 上传想要生成的动作demo视频
- 调整参数,点击“Animate”即可
例如下面就是鄙人照片和一段近期席卷全球的《科目三》舞蹈片段:
△视频源:抖音(ID:QC0217)
也可以选择页面下方提供的模版进行体验:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/61d2f38e50a75aa7630c552187b6f33e.png)
不过需要注意的是,由于MagicAnimate目前过于火爆,在生成的过程中可能会出现“宕机”的情况:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/b4e9e453792ff42376b4e0995dd26e32.png)
即便成功“食用”,可能也得排大队……
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/40d639137896d33dc8e1bd07185fa684.png)
(没错!截至发稿,还是没有等到结果!)
除此之外,MagicAnimate在GitHub中也给出了本地体验的方式,感兴趣的小伙伴可以试试哦~
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/ba03de3eb63d6f838788d5cb71be5277.jpeg)
那么接下来的一个问题便是:
怎么做到的?
整体而言,MagicAnimate采用的是基于扩散模型(diffusion)的一个框架,目的就是增强时间一致性、保持参考图像的真实性,并提高动画保真度。
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/c1f40a1df8ee266152d51e8d8be2f671.png)
为此,团队首先开发了一个视频扩散模型(Temporal Consistency Modeling)来编码时间信息。
这个模型通过在扩散网络中加入时间注意力模块,来编码时间信息,从而确保动画中各帧之间的时间一致性。
其次,为了保持帧间的外观一致性,团队引入了一种新的外观编码器(Appearance Encoder)来保留参考图像的复杂细节。
这个编码器与以往使用CLIP编码的方法不同,能够提取密集的视觉特征来引导动画,从而更好地保留身份、背景和服装等信息。
在这两项创新技术的基础之上,团队进一步采用了一种简单的视频融合技术(Video Fusion Technique)来促进长视频动画的平滑过渡。
最终,在两个基准上的实验表明,MagicAnimate的结果要远优于以往的方法。
尤其是在具有挑战性的TikTok舞蹈数据集上,MagicAnimate在视频保真度方面比最强基线高出38%以上!
团队所给出的定性比较如下:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/3ece2b1a8665c8d59d0b662f24c9083a.gif)
以及与cross-ID的SOTA基线相比,结果如下:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/71a6337c0ec8a59d7f8077df62150e80.gif)
One More Thing
不得不说,诸如MagicAnimate的项目最近着实是有点火爆。
这不,在它“出道”前不久,阿里团队也发布了一个名叫Animate Anyone的项目,同样是只要“一张图”和“想要的动作”:
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/daaa9d866c1fb265f9943e1fe28540df.gif)
由此,也有网友发出了疑问:
这似乎是MagicAnimate和AnimateAnyone之间的战争。谁更胜一筹?
![抖音跳舞不用真人出镜,一张照片就能生成高质量视频!字节新技术连抱抱脸CTO都下场体验了](/wp-content/uploads/replace/e3bd24b6b29de44c560fe2da938f7d38.png)
你觉得呢?
论文地址:
https://arxiv.org/abs/2311.16498
参考链接:
[1]https://github.com/magic-research/magic-animate
[2]https://twitter.com/cocktailpeanut/status/1732052908227588263
[3]https://twitter.com/ProductHunt/status/1732116454647136449
[4]https://twitter.com/Gradio/status/1731992981715231162
[5]https://twitter.com/dylan_ebert_/status/1732152096621813954
- 商汤科技日日新大模型亮相巴黎,中国AI共赴奥运之约2024-07-26
- 智谱AI版Sora来了!人人免费不限次,有手机就能玩,API也开放了2024-07-26
- Mac装上字节豆包,艾玛!一下变AI PC了!2024-07-22
- 英特尔举办2024网络与边缘计算行业大会,推动边缘AI创新发展2024-07-24