【NEWS】NTT R&Dフォーラム2016 報告（2）遠隔地のスポーツを臨場感たっぷりに体験する技術「Kirari!」4Kカメラからホログラフィック映像生成　

■MMTで映像情報＋αの情報を伝送
　NTT R&D フォーラムでは、イマーシブテレプレゼンス技術「Kirari!」のデモを実施した。
　同技術は、「競技空間をまるごとリアルタイムに配信する」をコンセプトにしており、あたかも競技場にいるかのような体験をあらゆる場所で感じることができるサービスの実現を目指している。昨年NTTが発表したもの。
　HEVCによる4K映像や、高臨場感メディア同期技術「AdvancedMMT」を駆使しており、選手の映像、音声のほか、選手の置かれた空間や環境の情報を伝送できる。AdvancedMMTは、MPEGの新規格である映像伝送技術MMT（MPEG Media Transport）による映像・音声の伝送に加え、各種の情報を同期して伝送・再現する。
　Advanced MMTは、NTTが新たに開発したもので、制御信号である「MMTシグナリング」の記述子を新たに定義することで、撮影対象の大きさや位置関係、競技音声の方向などの三次元情報を、MMTに同期させて伝送する。さらに、視聴する側の空間情報と映像情報と対応づけることも可能。これにより、複数の映像や音声と共に、現地の空間的な大きさや音像の定位情報などを遠隔会場に伝送し、伝送先の視聴状況に応じて高臨場な競技空間を再構成することができるという。

■複数台の4Kカメラからホログラフィック映像を生成
　伝送した映像は、裸眼で立体的に見ことができるホログラフィックを想定しており、これには、studioTED（スピン社）のホログラフィック技術「Eyeline」とNTTの音響コミュニケーションシステムを用いている。
　今回のデモでは、注目する特定の選手のリアルタイム中継を披露。試合の模様から選手の映像や会場の音声をリアルタイムに切り出す技術を用いている。また、複数台の4Kカメラを並べて撮影した映像をリアルタイムに補正しつなぎ合わせるスティッチング処理技術とリアルタイム被写体抽出技術の開発により、リアルタイム中継を実現した。

■選手の動きをリアルタイムに抽出
　サービスエボリューション研究所所長の川添雄彦氏は、「リアルタイム中継を実現するにあたり、擬似3D表示したい選手の映像だけをリアルタイムで切り出すことができるようになったことが一番大きい」と話す。
　この「リアルタイム被写体抽出技術」は、距離や温度のセンサ情報を用いた輪郭検出技術と、高速高精度に被写体の境界を特定する画像処理技術を組み合わせることで、リアルタイムに被写体映像を抽出する技術だ。
　具体的には、まず、距離センサやサーモセンサなどを使い、おおざっぱに人物を特定し抽出。その後、境界領域にある画素について、色情報に基づき前景・背景の識別処理を行っているという。被写体抽出自体は現在でも映画制作などで実現しているが、同技術ではリアルタイムに実行するためにパイプラインで実行し、20msecで処理しているという。
　今後、60fpsの映像に対応するために処理速度を速くしていく必要があり、並列処理を進めていくという。

■空手の演武を疑似3Dでリアルタイム中継
　現状では、単純な背景の中で少人数が写るシーンでの抽出が可能になっており、屋内外のフィールド環境での個人競技等で、擬似3D表示したい選手の映像だけをリアルタイムで切り出すことができるようになったという。
　デモでは、公益財団法人全日本空手道連盟の協力のもと、別会場から空手の形の演武を擬似3Dでリアルタイム中継した（タイトル上の写真＝別会場から疑似3Dリアルタイム中継された空手の形の演武）。
　あたかもステージで空手の型を披露しているかのように観ることができた。このほか、コンサートのパブリックビューイングも披露した。
　今後は、個人競技を中心に、競技のリアルタイム中継のトライアルを進めていき、空手やフェンシングなどの競技や、ピッチャー、バッターなど個人のプレイにフォーカスがあたる野球などへの展開する予定だ。
　さらに2017年には、Kirari!で実現する競技の幅を広げる。複数の選手が参加し、被写体の重なることが多い競技でも対応できるようにする研究開発を進める。将来的にはサッカーなど、競技者が大人数、もしくは複数の被写体の移動の大きい競技などへの対応を目指すほか、伝統芸能や、コンサートのパブリックビューイング、講演のライブ中継などへの展開も予定しているという。

■スマホで立体体験「Kikari! for Mobile」
　「おもてなし」コーナーの「高臨場感通信」ゾーンでは、スマートフォンと組み合わせて手軽に空中像を視聴できるデバイス「Kirari! for Mobile」をデモした。紙製の箱ミラーを用いてスマートフォンの映像を合成することで立体的な映像をつくりだすもの。「Kirari!」のミニチュア版だ。SIGGRAPH ASIA 2015で出展された。
　スマートフォンを紙製の箱の上部に置き、アプリで表示した背景と近景の2レイヤーの画像を、箱内部のミラーで結像することで立体的に見えるようにしている。スマートフォンを動かすことで、映し出された対象物を360度の方向から見ることもできる。今回は静止画像をつかっているが、動画も可能で、動画投稿サイト等、既存の配信システムを用いたコンテンツ配信も可能という。
　現状ではあらかじめ物体画像と背景画像の2種類を作成しているが、今後は自動的に分離する技術を開発していく予定だ。