なめらか〜！
すでに撮影された動画を滑らかなスローモーションへと変えるのは、なかなか難しい作業です。動画を引き伸ばすには数百もの存在しない中間フレームを生成するソフトが必要だったり、そうでなければカクカクした残念なできあがりになりがち。 そこでNvidia（エヌビディア）は、ディープラーニングの画像処理能力を活用して、通常のスピードで撮影された動画から滑らかなスローモーションを生成する方法を開発しました。研究のデモンストレーションでは、ギズモード・ジャパンでもおなじみの人気ユーチューバーThe Slow Mo Guysの動画をさらにスローにしていますよ。
30fpsの動画を240fpsの高フレームレートに変えるには、さらに210フレームを追加、つまり元々とらえられている1フレーム毎に7つの中間フレームの生成が必要になります。スローモーションでバターのごとく滑らかな動きを保つには、隙間を埋める前後のフレームを混ぜたりモーフィングしたりするだけでは十分ではありません。映画と比べてスポーツのスローモーション映像がカクカクしている理由も、こういったところにあります。
すでにある映像をスローモーション化する場合、RE:Vision EffectsのTwixtorのような高性能なVFXアプリケーション用のプラグイン製品で高画質な動画を生成することもできます。ですが、これには映像内のモーションの細かな分析が必要で、大抵はレンダリングに何時間もかかってしまいます。Nvidiaの場合、サンプル映像の結果に基づいて、これとは異なるやり方をとっています。
学習には、1万1000本以上の240fpsで撮影されたスポーツのスローモーションを用います。それにより、ニューラルネットワークは前後のフレームに基づいて、不足している210もの中間フレームがどうあるべきかを予測できるようになりました。
スマートフォンと高性能なデジカメでも、このフレームレートでスローモーション動画を撮影できますが、高フレームレートになるにつれて生成されるデータの容量が大きくなり解像度は落ちてしまいます。Phantomのようなハイスピードカメラに何万ドルも費やすことに比べれば、NvidiaのAIは動画を撮影した後に処理するため、かなり廉価な代替手段でしょう。
従来よりずっと滑らかなスローモーション映像をお手軽に生成できるようになるので、実用化が楽しみですね。
Image: YouTube
Source: Nvidia via Prosthetic Knowledge, RE:Vision Effects
Andrew Liszewski – Gizmodo US［原文］
（たもり）
