脑补慢动作的AI源代码来了：有了它，普通视频也能平滑补帧

晓查 发自 凹非寺

量子位 出品 | 公众号 QbitAI

手机慢动作视频拍摄已经越来越普及，但网上大多数视频仍然是低帧率。如果我们自己能够自己动手，把球赛精彩瞬间转换成慢动作回放，那该有多好啊！

今年6月，英伟达公布了一种算法Super SloMo，可以将普通30fps视频转化成240fps慢动作：

它衔接动作自然，拒绝出现慢放“PPT”，简直就是视频领域的“脑补大师”。就在大家都期盼公布代码的时候，英伟达却没有下文了。

虽然官方不做，却抵挡不住民间高手的智慧。时隔半年后，一名来自德克萨斯A&M大学的研究生用PyTorch实现了它，很快成为了reddit机器学习板块的热门。

脑补慢动作的算法

这套算法可以在两帧图像之间插入任意数量的图片，不仅能实现从30fps到240fps，甚至最高可以达到1000fps。

实际效果如何？请看它如何将汽车行驶的视频慢放8倍：

看到上面的对比，是不是也想试试？首先，你需要做以下一些准备：

因为模型训练和测试是在PyTorch 0.4.1和CUDA 9.2上完成的，所以安装这两个软件必不可少，另外你还需要有一张NVIDIA的显卡。

模型无法直接使用视频训练，还需要安装ffmpeg从视频中提取帧。

一切准备工作完成后，就可以下载adobe240fps数据集进行训练了。

如果你是一个“伸手党”，还可以直接下载用adobe240fps训练好的模型。

网友望眼欲穿

在官方代码迟迟没有放出的情况下，有第三方程序员实现了它，这让网友们感到十分激动。大家似乎更关心模型的实际性能，不要渲染1秒钟，却用时1小时啊。

既然是英伟达的研究成果，已经有游戏玩家开始幻想未来的应用场景：我的王者荣耀岂不是直接从30fps跳到60fps？

愿望虽好，但关于Super SloMo的落地问题还有待进一步解答。

作者表示，未来将继续完善项目的细节信息，视频转换的程序脚本也在加紧制作中，让我们拭目以待吧。

传送门

项目地址：

https://github.com/avinashpaliwal/Super-SloMo/

训练数据集下载：

http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zip

训练完成模型下载：

https://drive.google.com/open?id=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpF

论文地址：

https://arxiv.org/pdf/1712.00080.pdf