2步生成25帧高质量动画,计算为SVD的8% | 在线可玩
各种风格都能驾驭
西风 发自 凹非寺
量子位 | 公众号 QbitAI
耗费的计算资源仅为传统Stable Video Diffusion(SVD)模型的2/25!
AnimateLCM-SVD-xt发布,一改视频扩散模型进行重复去噪,既耗时又需大量计算的问题。
先来看一波生成的动画效果。
赛博朋克风轻松驾驭,男孩头戴耳机,站在霓虹闪烁的都市街道:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/29a8451c11216b74b555b5b48c08cc57.gif)
写实风也可以,一对新婚夫妇依偎在一起,手捧精致花束,在古老石墙下见证爱情:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/840a0cc616298ebc31914429451090bc.gif)
科幻风,也有了外星人入侵地球的即视感:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/16fdcf02ae69e817d395c579c663391d.gif)
AnimateLCM-SVD-xt由来自香港中文大学MMLab、Avolution AI、上海人工智能实验室、商汤研究院的研究人员共同提出。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/82a3f9bff3c084099360ffa3df5c6870.png)
2~8步就能生成25帧分辨率576×1024的高质量动画,并且无需分类器引导,4步生成的视频就能实现高保真,比传统SVD更快、效率更高:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/7d49cb53d89412660c466fadd6ec7e27.gif)
目前,AnimateLCM代码即将开源,有在线demo可试玩。
上手试玩demo
在demo界面可以看到,AnimateLCM目前有三个版本,AnimateLCM-SVD-xt是通用图像到视频生成;AnimateLCM-t2v倾向个性化文本到视频生成;AnimateLCM-i2v为个性化图像到视频生成。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/77f8eac76577225faf013201e6002509.png)
下面是一个配置区域,可以选择基础的Dreambooth模型,也可以选择LoRA模型,并通过滑动条调整LoRA alpha值等。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/82ea1c8901c34bfce858c8d963d8c202.png)
接下来可以输入Prompt、负面prompt,指导生成的动画内容和质量:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/2b61ea0f5e5c54fbaf8943bf219d2660.png)
还有一些参数可以调整:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/fb535b81eeff2eabfc65c37195c4a5ab.png)
我们上手体验了一把,提示词为“clouds in the sky”,参数设置如上图,采样步骤仅为4步时,生成的效果是这样婶儿的:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/bf9ddf5f0c44be4a1b7083011f3d6095.gif)
采样步骤为25步时,提示词“a boy holding a rabbit”,效果如下:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/bd9366db0c431c2efce77c67753ef3e4.gif)
再看看一波官方放出的展示效果。2步、4步、8步效果对比如下:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/d03ccb7ffe306577e718586f934f6834.gif)
步数越多,动画质量越好,仅4步AnimateLCM就能做到高保真:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/694afd72f8ea47a806c94886281b5bb3.gif)
各种风格都能实现:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/bb87d9a8acd47b1a5f7fa7946141788a.gif)
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/ccdebcf5a857071fd00ec24580b96260.gif)
怎么做到的?
要知道,虽然视频扩散模型因能生成连贯且高保真度的视频而受到越来越多的关注,但难题之一是迭代去噪过程不仅耗时而且计算密集,这也就限制了它的应用范围。
而在AnimateLCM这项工作中,研究人员受到一致性模型(CM)启发,该模型简化了预训练的图像扩散模型以减少采样所需的步骤,并在条件图像生成上成功扩展了潜在一致性模型(LCM)。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/bdae6e8c3c64c7acbfdd43cc65aff599.png)
具体来说,研究人员提出了一种解耦的一致性学习(Decoupled Consistency Learning)策略。
首先在高质量的图像-文本数据集上蒸馏稳定扩散模型为图像一致性模型,然后在视频数据上进行一致性蒸馏以获得视频一致性模型。这种策略通过在空间和时间层面上分别训练,提高了训练效率。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/9bd9dddc5086e48609d22511b1b2b879.png)
此外,为了能够在Stable Diffusion社区中实现即插即用适配器的各种功能(例如,用ControlNet实现可控生成),研究人员又提出了Teacher-Free自适应(Teacher-Free Adaptation)策略,使现有的控制适配器更符合一致性模型,实现更好的可控视频生成。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/58a32124a8e5bee734030b6f7e0fba7d.gif)
定量和定性实验都证明了方法的有效性。
在UCF-101数据集上的零样本文本到视频生成任务中,AnimateLCM在FVD和CLIPSIM指标上均取得了最佳性能。
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/eb53358bc3f71019f3045e7ca5405380.png)
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/ab42d4e44d9a6bb30a4a1237aca24204.png)
消融研究验证了解耦一致性学习和特定初始化策略的有效:
![2步生成25帧高质量动画,计算为SVD的8% | 在线可玩](/wp-content/uploads/replace/4d7b6cc2927720ffb860c5751cb4c644.png)
项目链接:
[1]https://animatelcm.github.io/
[2]https://huggingface.co/wangfuyun/AnimateLCM-SVD-xt
[3]https://huggingface.co/spaces/wangfuyun/AnimateLCM
- CPU、GPU的互连从1米飙至100米,英特尔:你相信光吗?2024-07-27
- Nature封面:AI训AI,越训越傻2024-07-27
- 打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制,一口气解答8大问题2024-07-26
- 谷歌AI拿下IMO银牌,仅差一分得金!第四题仅用时19秒2024-07-26