【NEWS】NHK技研公開　未来の3D放送へ着実な進展

　5月末のNHK放送技術研究所（以下、技研）公開では、今年も3D関連の研究がいくつもデモされた。スーパーハイビジョン（SHV）は2016年実用化試験放送開始とされ、計画の前倒しがなされたが、3D放送に関しては、従来通り2030年頃放送開始となっている。目標は先であるが、3Dの研究が停滞しているわけではない。今年も着実な進展が見られた。
（映像新聞 論説委員／日本大学 生産工学部 講師 杉沼浩司）

■レンズアレーを用いたインテグラル立体テレビ（IP方式）
　SHVは、実用化試験放送の開始時期が大幅に早められ、これまでの2020年が4年繰り上がり2016年となった。このために、多大な努力が要求されていることは既報の通りである。ただし、放送開始にあたって必要なことは全く新しい技術開発ではなく、標準化といった制度面の準備のようなものが多くなっている。もちろん、SHVで120Pにて撮影、放送を行うとなると符号化などに一層の作業が必要となるが、これとても実現に必要な技術や方法は、ほぼ明らかになっている。
　一方で、3Dについては研究が続いている。技研は、インテグラル立体テレビ（IP方式、IPはこの場合、Integral Photography、インテグラル・フォトグラフィを指す）による3D放送を目指している。このインテグラル立体テレビとは、撮影側、表示側の双方に微小なレンズ群によるレンズアレーを設置し、撮影側の光を表示側に再現する方式だ。「再現」とは、光の強さや色ばかりでなく、方向も撮影時に取得したものを表示することを意味する。
　被写体から作られた像は撮影用レンズアレーを通すと多数の微小画像となる。個々の画像を要素画像と呼ぶが、これはわずかにずれた視点から被写体を見たものだ。この要素画像を表示装置側に伝送する。
　表示側に送られた要素画像がディスプレイに表示されると、多数の微小画像が見える。ここで、ディスプレイと観察者の間にレンズアレーを置くと、被写体からカメラに至った光線が再現される。光線が再現されるということは、立体的に見えると同じとなる。観察者は裸眼でよいし、複数の観察者がいてもよい。

■大幅に画質が改善したIP方式 撮像素子にレンズアレーを装着
　もちろん、要素画像の数が多いほど再現される光線は緻密になるし、要素画像の解像度も高いほどよい。これまで、映像の撮影、伝送、表示にはSHVが用いられてきた。これは、SHV解像度で立体が見えることを意味しない。多数の要素画像をまとめてSHVカメラで撮影しているのであるから、一つの要素画像あたりの画素数は大幅に少なくなる。昨年までの展示では、立体感はあるものの、ピクセルが大きく、ピクセル間の隙間が目立つ粗い映像が表示されていた。
　今年は、撮影、伝送、表示といった部分は従来と同じであるが、撮像用のレンズアレーを大幅に改良した方式が示された。なんと、レンズアレーを撮像素子に取り付けたのである。通常は、被写体からの光は、レンズアレーを通った後、カメラレンズを介して撮像素子に至る。今年は、それが逆転し、レンズアレー上に結像させるための簡単なレンズの後ろにレンズアレーが置かれ、すぐに撮像素子に入っている。
　この結果、得られる画像は解像度低下や歪みが少ない、スッキリしたものとなった。画素数は変わっていないが、目に見えて画質が上がっている。この方式では、カメラの前にレンズアレーを置く必要も無くなり、カメラの扱いも従来に比べて容易になるとみられる。

■進化した多視点カメラ映像 わずか9台のカメラで生成可能に
　多視点カメラを使った映像は、将来のインテグラル立体テレビ用はもとより、現行の放送にも応用できる。映画「マトリックス」風に、画面の一点を中心に視点がそこを向きながらぐるりと回転する映像は、多視点カメラによって撮影される。
　この映像は、周囲から回り込む様な効果が得られ非常にインパクトが強いが、従来は円環状架台に多数のカメラをセットして撮影するなど、装置が大がかりだった。また、機材の制約から円環の中心に置かれた被写体に対してしか、この効果は使えなかった。
　「多視点ロボットカメラシステム」として出展された新たな装置は、一直線上に並んだ9台のカメラを使って多視点画像を生成する。カメラは、カメラマンの操作で自由に首を振れるようになっている。カメラマンは、3次元空間中のどこを中心とするかを指定する。
　例えば、バスケットボールの選手がジャンプしてシュートした瞬間に多視点映像化したいとしよう。カメラマンは、１台のカメラ（デモでは、中央に置かれたカメラ）からの距離（奥行き）で、回転の中心を指定する。すると、他のカメラは、回転の中心点が画面の中心になるように、自動的に首を振る角度を調整する。この例では、選手までの距離を連続的に変更するとともに、選手を画面中心に追いかけ続ければ、選手がどこにいても多視点映像を作成できる。より簡易には、ゴールポスト前の空間を回転の中心として距離を固定し、選手を追いかけ続ければゴールの瞬間に多視点映像を作成できる。
　予定した回転中心に全カメラが追随して向き続けることで、移動する被写体でも多視点映像が作れる様になった。カメラの出力は、PC上でおよそ1分間の処理の後、視点をその周囲に置いた画像に変換される。NHKが「ぐるっとビジョン」と呼ぶ、周囲を回り込む様な映像ができあがる。
　前出の通り、この技術で撮影した多数の映像を使って、インテグラル立体像も作成可能だ。これまで、インテグラル立体テレビの映像は、カメラが固定されていたが、首を振りながらの撮影なども可能になるとみられる。

■「触覚」「力覚」を三次元で提示 画面の「触覚」も再現
　三次元情報は、視覚のみであるものではない。触覚や力覚も三次元情報の重要な要素である。この情報を伝えることは以前から考えられてきた。今年の技研公開では「２次元・３次元情報の触覚・力覚提示技術」において、大幅に改良された力覚提示装置が示された。
　力覚提示装置は、触れたものの手触りを再現する装置で、現在は指先での再現が中心だ。物体に触った感触や、物体を計測して得た凸凹から推測できる触感を指先に再生する。たとえば、画面中の斜線を触ったとすると、ジャギー（階段状になるデジタル映像の特徴）までをも再現する。この線に「触り」、指を「滑らす」と、指先には、コツコツという感触が残る。触覚データを採取する場所と再現する場所は自由に配置できる。地球の裏側で得た触覚データも伝送できる
　従来、力覚提示装置（触覚を再現する装置）は、一点で力覚を示し、指先（主として指の腹）に伝えていた。今回、５点に増やした装置が示されたが、再現性は非常に高まっていた。単純に点を増やしたのでは無く、増加により角や輪郭の検出（触感）が向上するとの理論的見込みに基づき開発された。見通し通り、非常に繊細な形状変化も的確に伝えることができていた。3D形状を伝える、触覚も視野に入っている。