「演奏してみた」ムービーをクリックするだけで特定の楽器の音を抜き出すAIシステムをMITが開発

マサチューセッツ工科大学(MIT)のコンピューター科学人工知能研究所(Computer Science and Artificial Intelligence Laboratory、CSAIL)は、音楽を演奏するムービーから特定の楽器の音を分離する人工知能(AI)システム「PixelPlayer」を開発しました。このシステムを使うと、ムービー上の演奏者をクリックするだけでその楽器の音だけを抜き出したり、音量を調整したりできるようになるとのことです。

The Sound of Pixels
http://sound-of-pixels.csail.mit.edu/

「PixelPlayer」はムービーに映っている楽器をピクセルレベルで識別したり、その楽器に関連付けられた音を抽出したりすることができます。人間が追加で操作することなく映像と音楽を同時に解析・同期し、映像の中で演奏している人と音声を連携させて、ムービーをクリックするだけで特定の楽器の音を流したり、楽器ごとに音量を調節したりすることができるようになりました。

実際にPixelPlayerを使う様子は以下のムービーで見ることができます。

Editing Music in Videos Using AI - YouTube


まず、PixelPlayerにムービーを読み込ませます。

ギターとバイオリンのデュオのうち、ギターの音だけを聞きたい場合、ギターを弾いている男性をクリックします。すると、ギターの音だけが抽出されます。

チューバとトランペットで「スーパーマリオブラザーズ」の曲を演奏するムービー

トランペットを吹いている男性をクリックすると、チューバの音は小さくなり、トランペットの音だけが流れるようになります。

さらにチューバを吹く男性をクリックすると、チューバの音も加わります。

PixelPlayerは、自己監視型のディープラーニング技術を使って60時間分以上の演奏ムービーを解析することで、20以上の楽器の音を識別できるようになっているとのこと。

また、それぞれの音量を自由に調整することも可能です。

ただし、実際に聞いてみると、楽器によっては抽出された音の質に大きな差があり、まだ開発の余地がありそうです。研究チームのHang Zhao氏によると、PixelPlayerはもっと訓練データが多いとより多くの楽器を識別できるようになるとのこと。将来的には、古い演奏ムービーの音質や音量を調整して聞きやすくしたり、ロボットに周りの環境音を聞き分けさせたりするための技術としての応用も期待できます。PixelPlayerのデータセットとコードは近日公開されるとのことです。