ニュース
スポーツ選手を間近でVR観戦できるNTT新技術。くまモンが動く「なりきりAR!」も
2019年5月13日 18:59
日本電信電話(NTT)と西日本電信電話(NTT西日本)、熊本県は、女子ハンドボール選手の動きをセンシング(取得)して、あたかも選手になりきったようにプレーの様子を間近で体験できるという映像技術の実証実験を行なう。実施期間は5月中旬～12月の熊本県での女子ハンドボールイベント実施日。
熊本県、熊本市、NTT西日本が進める「スマート光タウン熊本」プロジェクトの一環として実施。11月に熊本で開幕する「2019女子ハンドボール世界選手権大会」で、新たな観戦体験の提供を目指す。
プレーの様子を間近で見るような、リアルとバーチャルを組み合わせた新しいスポーツ観戦として提案。VRやARによる新たなスポーツ観戦やトレーニングなどでの利用を想定。実空間中でダイナミックに変化する物体の情報を取得して再構成する技術の研究開発を進めているNTT、地域活性化に取り組んできたNTT西日本と熊本県との間で、それぞれの強みを活かして実証実験を行なうことが決定した。
今回の実験は、熊本県内のオムロン ハンドボール部「ピンディーズ」の協力を得て行なっており、NTT(メディアインテリジェンス研究所)が研究開発している「ダイナミックフィールド3次元動きセンシング技術」を採用。ハンドボールコートに設置した8台のカメラから試合中の全選手の動き情報を解析、3次元仮想空間を再構成することで、コート内選手になりきった位置で、躍動感ある選手の動きを3次元360度映像で体験できる。
例えば、シュートの迫力をキーパー目線で体感したり、シュート時の体の動きを選手の真横から見るといったことが可能だという。
広い実空間を複数台のカメラで撮影し、空間中にある複数人物のダイナミックな3次元的な動き情報を高精度に取得。NTT独自の深層学習を活用した骨格推定と3次元動き解析により、広い空間内で複数人物の交差がある等の複雑なシーンであっても、各人の3次元的な動作を精度高く解析できる。
映画製作などで利用されている従来のモーションキャプチャーでは、対象が特定の環境と人物に限定されるが、今回の技術は、広い空間の中で複数人が動き回る場面でも、各人物の3次元動きを取得できるのが特徴。
人物のシルエットも同時に推論する独自の深層学習により、遮蔽で人体の一部が撮影されていない場合も、映像から人物の骨格(関節位置)を高精度に推定。また、各カメラの映像から得られる2次元の関節の動き情報から、レンズ歪みを補正しつつ統合して、3次元的に正確な動き情報を解析する。
NTTは、実証実験に必要な機材の手配や実験用データ取得などを担当。取得データからの3次元動きの取得と、高精細な仮想空間の再構成や評価などを行なう。
NTT西日本は、実証実験に必要な環境整備と、本視聴スタイルのサービス性の評価を行なう。熊本県は、実証実験用データ取得を支援するほか、評価会場を手配する。
今回の検証で得られる知見を活かし、動きの取得の精度向上や自動化を進め、ICTを用いた次世代のスポーツ観戦やエンターテインメント鑑賞に関する取り組みを加速。2019年に熊本県で開催予定の国際スポーツ大会での新たな取り組みや観光振興などへの活用を目指す。
くまモンが人と同じ動きをする「なりきりAR!」も
なお、熊本県およびNTT西日本では、2019年の国際スポーツ大会に向けて、ICTを活用したスポーツ観戦イベントの盛り上げ施策として、「なりきりAR! (くまモン バージョン)」や「ARフォトスポット」も実施する。
「なりきりAR！（くまモン バージョン）」は、ARデバイスやAIを活用して、低コストかつ高速に人間の動きを3Dデータ化し、あらゆる視点からの3Dアバターをリアルタイムに生成する技術を採用。2台のカメラの前で体験者が動くと、ディスプレイ上のくまモンが同じ動きをするという。体験者の動きから3次元の姿勢推定を行ない、その結果を3Dのくまモンに反映することで体験者と同じ動きをリアルタイムに映像化する。
「ARフォトスポット(フォトサークル)」は、AR技術を用いて、国際スポーツを応援するくまモン(バーチャル)と一緒に並んで写真撮影し、スマートフォンなどにダウンロードできるというもの。
