耳コピer歓喜。
ヤマハのアプリ｢THR Session｣や、Sony Creative Software社の｢SpectraLayeres Pro｣などは、曲を楽器ごとにパート分けする機能を持っています。ギターだけ抽出したり、ボーカルを抽出して違う演奏を重ねたりできるんですね。
こうした、アルゴリズム的経験と関連付けはAIの得意とするところ。MITの人工知能研究所が、演奏している映像の楽器をクリックするだけでパートを抽出するシステムを開発しました。
ガットギターとヴァイオリンによる｢It's My Life｣の合奏映像では、ギターをクリックするとギターのパートが、ヴァイオリンをクリックするとヴァイオリンのメロディーのみが抽出されています。画面右には抽出したであろう波形が楽器から飛び出てるようで、わかりやすいやらわざとらしいやら。
さらにデモの最後、フルートとマリンバの合奏では楽器ごとに音量の調節なんかもこなしています。この技術は、ミックス音源しかない過去の楽曲をリマスタリングする際に、たとえばピアノの音量だけを上げるなどのツールとしても応用できるとのことです。似たようなAI聞き取り術をGoogleも開発していましたね。
こうした音源の抽出処理をこなすには専門ソフトを介す必要がありましたが、楽器をクリックするだけでできるというのは驚き。楽器のビジュアルと音が関連付けられているんでしょうね。ニューラルネットワークの訓練には、60時間以上演奏動画を解析させたそうです。あれ、結構短くない？
現在は20以上の楽器を識別できるそうで、今後は識別する楽器の数や、より多くの楽器の組み合わせにも対応していきたいとしています。未来の耳コピ支援ツールは明るそうですな。
Image: YouTube
Source: MIT, Gizmodo US, YouTube
（ヤマダユウス型）
