晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

连手机都开始用上120帧的显示屏，但是网上大部分的视频居然还是30帧。

视频的帧率已经远远赶不上人民群众的需求了，所以有不少人都在研究如何把普通视频变成高帧率视频。

去年，英伟达开源了Super SloMo，从普通的视频“脑补”出高帧率的画面，从30fps插帧到240fps，即使放慢8倍也不会感到卡顿。

更重要的是，英伟达的Super SloMo只用在了真实拍摄的视频上，而这项研究却可以扩展到常见的任何类型视频：电影、定格动画、动漫卡通等等。

羽毛的摆动是不是变得更流畅自然了？

可以想象，如果未来把DAIN用于动漫的制作，只要用低帧的动画就可以生成丝滑的效果，或许能大大减少插画师的工作。

DAIN的代码已经开源，甚至研究人员还打包了一份Windows安装程序，即使没有任何AI基础的用户也可以直接拿来用。

安装

Windows系统的用户有现成的exe文件安装（地址见文末），不过现在仍处于Alpha阶段，软件可能存在一定的不稳定性。

其他平台的用户安装起来也不复杂。

首先确保你的PyTorch版本不低于1.0.0，将项目克隆到本地：

git clone https://github.com/baowenbo/DAIN.git

安装PyTorch的各个扩展包：

cd DAINcd my_package./build.sh

还要安装英伟达预测光流网络PWCNet的软件包：

cd ../PWCNet/correlation_package_pytorch1_0./build.sh

由于作者已经提供了预训练模型，我们不必再花费大量精力去训练。创建目录model_weights，并且将预训练模型的权重下载到相应的文件夹中：

cd model_weightswget http://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth

运行命令以下命令，就可以开始给视频插帧啦！

CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py —netName DAIN_slowmotion —time_step 0.25

—time_step之后的参数就是视频的放慢倍数，0.25代表视频帧率扩展为原来的4倍。如果要生成8x和10x慢动作，参数就改成0.125和0.1，依此类推。

深度加光流，图像更清晰

之前已经有很多给视频插帧的算法，DAIN和它们有什么不同呢？

DAIN的全称是Depth-Aware Video Frame Interpolation，即深度感知视频帧插值。

视频帧插值的目的是在原始帧之间合成不存在的帧。但是由于大的物体运动或遮挡，插帧的质量通常会比较低。

上图是DAIN的体系架构：给定两个时刻的输入帧，先估计光流和深度图，然后使用建议的深度感知流投影层生成中间流。

然后，模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。

这种模型紧凑、高效且完全可微分。定量和定性的结果表明，DAIN在各种数据集上均优于最新的帧插值方法。

作者

这篇文章的第一作者Bao Wenbo，是上海交通大学电子信息与电气工程学院的博士生。