Netflixの視聴を左右する「アートワーク」はどのように生成されているのか？

Netflixによると、ユーザーが新しい作品を探している時、視聴するかどうかの決定には作品ページの背景に表示される「アートワーク」が非常に大きな役割を果たしているとのこと。アートワークは作品中の一場面を切り取って生成されたものなのですが、ユーザーを引き付けるべく、生成にはNetflix独自の技術が詰め込まれています。一体どのようにしてアートワークを生成しているのかについて、Netflixが解説しています。

AVA: The Art and Science of Image Discovery at Netflix
https://medium.com/netflix-techblog/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6

新たな作品が次々と登場していく中で、Netflixはその作品のユニークな要素を浮き彫りにするようなアートワークを動画のフレーム、つまり動画を構成している1秒あたり30枚ほどの静止画像の中から選別して表示しています。例えば「ストレンジャー・シングス」の1時間のエピソードの場合、およそ8万6000枚のフレームが含まれています。

これまでのアートワークの多くは、人間がフレームの中から選別して作られてきました。A/Bテストを使用することでターゲットとなる視聴者層の視聴をより促進できるアートワークを見つけることができると分かり、選別のエキスパートたちはより多くのアートワークを試すようになりましたが、世界中での作品数がますます増加する中で、人間による選別を続けるのはあまりにも挑戦的なことだとNetflixは述べています。

人間の代わりとしてNetflixが開発したのはAVAと呼ばれるシステムです。AVAは作品を表現するのに最も適した瞬間を捉えるためのツールで、AVAが捉えた「瞬間」を元にクリエイティブチームがアートワークを作成します。AVAによって選択されたシーンの例が以下の画像です。出典となった作品は左上が「ザ・クラウン」、右上が「ストレンジャー・シングス」、左下が「ブラック・ミラー」、右下が「ダーク」です。

AVAではそれぞれのフレームをさまざまな観点から評価し、スコア付けを行った上で、ランキングアルゴリズムを用いて「美しさ」「創造性」「多様性」といった観点に沿ったフレームを抽出します。例えば以下はAVAが「Bright(光)」という点で選んだフレームです。

フレームの評価の元となる要素は大きく3つのカテゴリに分けることができ、1つ目は「明るさ」「色合い」「コントラスト」「ブレ」などの「ビジュアルメタデータ」。

2つ目は「顔が含まれるかどうか」「どのように動いているか」「カメラの動きはどうか」「人間以外のオブジェクトは何が含まれているか」などの「コンテキストメタデータ」。

そして3つ目は「3分割法」「被写界深度」「対称性」など写真や映画、美術作品などのデザイン原則に基づいた要素の「コンポジションメタデータ」です。

AVAが最良の候補を選択する際には、映っている人物がメインキャラクターであるかどうかも考慮されます。AVAは他の候補フレームを調査し、類似性をとらえることで主要人物かどうかを自動で判断します。

また、似たような画像が多数選択されることがないように、多様性をもつようにもなっています。例えば下図では、ショットの種類が左から「ミディアムショット」「クローズアップ」「エクストリームクローズ」と異なる3つの画像を選んでいます。

こうしてAVAによって「ベストな場面」の抽出作業が自動化されているため、クリエイティブチームは毎日魅力的なアートワークをデザインできるようになっているとのことです。