インカメラVFXは、スタジオなどに参集する撮影やロケのための移動をできるだけ避けながら、高品質な映像を制作するニーズによって大きく進化を遂げた。まさにコロナの副産物と言ってもいい。LEDウォールに「この場所から撮影したら抜けはこう見えるはず」なという像を表示させてそれを再撮する。このときのカメラの位置や動き、フォーカスや絞りとアイリスなどの撮影メタデータを元にして、LEDウォールに表示させる映像をリアルタイムで変化させる。インカメラVFXが急速に発展した技術的背景としては、LEDウォールの高解像度化と低価格化がある。ピッチの細かい大型LEDディスプレイの価格が低下し、カメラで再撮を行ってもモアレやドットが目立ちにくくなってきている。またカメラの位置や動きを正確にトラッキングするためのセンサー技術も格段に進化した。さらに撮影メタデータに応じてリアルタイムでレンダリングするためのGPU性能も大きく向上をしたことによって実現可能になったのである。

バーチャルプロダクションのもう一つの方向性は、つい先日のプロ野球中継でも使用されて話題になった、カメラが入り込めないようなポジションからの自由視点映像を得ることができるボリュメトリックキャプチャービデオだ。これは固定設置された複数カメラで、映像そのものではなく3次元空間情報としてデータを取得し、このデータを物体の形状や動きなどの3次元情報と、その物体の表面の状態、肌の色や服の質感や色の情報を、物体の形状に合わせてテクスチャーマッピングを行うものだ。

これらの技術革新が、映像に次の２つのパラダイムシフトをもたらすと筆者は考えている。
１）リアルとバーチャルの境目を溶かす
２）オブジェクト化によるダイナミック（動的）コンテンツが生まれる
これらをもう少し具体的にイメージしてみよう。

１）リアルとバーチャルの境目を溶かす
LEDウォールスタジオに常設された複数の固定カメラでボリュメトリックキャプチャーをする。グリーンバックを使用した方が処理は軽くなるがやがてクロマキーは不要になる。LEDウォールには他のリアルな場所から参加したり、オンラインからアバターとしてバーチャル参加する人が映し出され、スタジオMCはLEDウォールの中の人と会話をしながら進行する。こうしたスタジオ同士がネットワーク化されることで、参加者全員が同じ場を共有した状態になる。これらはバーチャルカメラによる自由視点映像として出力される。

２）オブジェクト化によるダイナミック（動的）コンテンツが生まれる
ボリュメトリックキャプチャーにおいて最も重要なことは、自由視点よりもオブジェクト化である。映像内の人や物を独立したオブジェクトとしてキャプチャーできれば、これを制作者側または視聴者側のどちらかの意思によって変更することが可能になる。これはゲームの世界では当然に行われていることであり、ゲームとリアルがここでもやはり空間的な境目がなくなっていく。ゲームがすでにそうであるように、時間的制約、すなわち完パケによる時間が固定化された状態から開放されることを意味する。

映像、特に放送に関しては、アナログからデジタル、電波からネット、テレビからスマホという変遷があったわけだが、完パケコンテンツを視聴するといった視点に立つと、実は何も変わっていないことに気がつく。ところがボリュメトリックキャプチャーによる現実空間の3Dオブジェクト化は、完パケがなくなるわけではなく、映画以降、脈々と継承されてきた映像制作や映像ビジネスに、全く新たな可能性をもたらすことになると考えている。