編者按：生活中總有許多特殊時刻值得被記錄，而慢動作回放能讓你看得更清晰，比如寶寶第一次蹣跚學步、第一次完成了酷炫的滑板技巧等。但是這些時刻無法預料，大多都是用手機或普通相機拍攝的視頻，其中的幀率對慢回放并不友好。在這篇論文中，英偉達AI團隊提出了一種用深度學習框架對普通視頻進行流暢穩定的慢動作回放的技術。以下是論智的編譯。

大多數高端單反相機和智能手機都能拍攝慢動作，但是這項技術并未普及，因為這一過程需要大量數據。例如，索尼Xperia XZ2手機的Super Slow Motion模式可以每秒拍攝960幀的視頻，是默認的30fps捕捉數據的32倍。這不僅需要大量內存，還要有高性能處理器對每一幀畫面進行處理。

最近，英偉達推出了一種新算法，可以將原視頻進行慢放處理。該論文將在本周的CVPR 2018上進行展示。與傳統的使用時間拉伸幀來填補鏡頭間隙的慢動作技術不同，英偉達團隊用的是機器學習來進行慢動作處理，看起來像是出現了新的幀。

來自英偉達、馬薩諸塞大學阿默斯特分校和加利福尼亞大學默塞德分校的科學家們提出了一種無監督的端到端神經網絡，它可以生成任意數量的中間幀，從而輸出非常流暢的慢動作鏡頭。這項技術被稱為“可變長度多幀插值（variable-length multi-frame interpolation）”。論智將論文大致編譯如下。

視頻插值問題向來富有挑戰性，因為它需要生成多個視頻中間幀，保證在空間和時間上的連貫性。例如，從標準的序列（30fps）中生成240fps的視頻，就需要在每兩個幀之間插入七個中間幀。為了生成高質量的插入結果，不僅僅需要正確理解兩張輸入圖像之間的動作，還要掌握圖像之間的遮擋，否則就會造成失真效果。

目前技術的主要關注點都在單幀視頻插值上，但是這些方法不能直接用于生成任意高幀率的視頻。在這篇論文中，科學家們提出了一種高質量的“可變長度多幀插值”方法，它可以在任意時間在兩幀之間插入中間幀。這種方法的主要原理是將兩個輸入圖片扭曲到同一時間點，然后進行適應調整后將兩張圖像結合生成一個中間圖像，其中的運動軌跡和遮擋推理都在單一的端到端網絡中進行建模。

Super SloMo

首先用其中一個光流計算卷積神經網絡估算兩張輸入圖片之間的光流（場景中目標物體、表面和邊緣運動的軌跡），在兩個輸入幀之間的時間線上同時計算向前和向后的光流。

中間光流估算的過程。橙色的像素參考的是第一和第二張圖片的相同位置的像素光流

之后，CNN會預測像素的移動軌跡，為每一幀生成一個2D的預測軌跡作為光流場（flow field），之后它會融合在一起，為中間幀計算大概的光流場。這一估計過程在平滑的區域表現得很好，但是遇到邊界線時性能有所下降。

于是，研究人員們用另一個光流插值CNN調整之前計算出的光流場，并將預測路線進行可視化。通過將可視化線路應用到兩圖像上，研究人員可以刪除被視頻中物體遮擋住的像素，并且還可以減少軌跡上以及周圍的“人工痕跡”。

可視化線路的預測

最后，中間光流場對兩圖片進行扭曲，以讓幀的過度更加平滑流暢。由于這兩個CNN的參數在每個被插入的時間點是不同的，這一方法可以同時生成任意多的中間幀。整個網絡過程如下圖所示：

對于光流計算和光流插值CNN，研究人員使用的是U-Net結構。U-Net是完全卷積神經網絡，它包含一個編碼器和一個解碼器。

訓練

接著，研究人員從YouTube和攝像機中選取了一些240fps的視頻，其中包括The Slow Mo Guys（一個總共有11000個視頻的資料庫）的剪輯片段，最終得到了1132段視頻片段和37.6萬個獨立的視頻幀數。在設備方面，他們用的是英偉達Tesla V100 GPU和經過cuDNN加速的PyTorch深度學習框架進行訓練。

最后的結果對比非常明顯，在下面這個從UCF101中截取的視頻片段中可以看到本文提出的方法和當前其他方法的對比：

可以看到，英偉達的方法在眉毛和眉刷周圍都沒有什么失真的畫面，非常清晰。

結語

研究人員認為，他們的方法在所有數據集上都達到了頂尖效果，生成了單一或多個中間幀。并且這一模型不用更改設置就能直接應用到不同場景上，這一點是很了不起的。

但是據英偉達方面的消息，這一技術目前仍需要優化改進，投入到現實中仍需要解決很多問題。研究人員表示，他們希望未來如果在消費者設備和軟件商使用時，大部分處理過程能在云端完成。