IBC2023におけるAIの現在地は、なかなか説明しにくい。動画生成AIの最先端といえるRunwayもModelscopeのようなサービスが出展をしているわけではない。一方でアドビがIBC2023直前に公式版をリリースされた「Firefly」や、Premier Proに搭載されたテキストベースエディットの進化も著しい。生成AIはあくまでもエンジンなので、アプリケーションに落とし込まれるにはまだ若干時間が必要なのだろう。しかしだからといって油断していいわけではなく、まさに日進月歩の状況であることは間違いない。

AIに関して、IBCでは様々なセミナーやカンファレンスが開催された。複数のカンファレンスに参加したが、共通した課題としては、現在進行系の生成AIの開発が鍵になること、生成AIを利用する場合の著作権の扱いを決めていく必要があることという点に集約できる。IBCイノベーションステージのセミナーでは、アドビのAI関連のマネージャーたちがオープンなディスカッションを行い、Fireflyも含めたアドビのAIについて「著作権を侵害することなく生成AIを利用を広げる」というビジョンを語った。Fireflyは学習データにAdobe Stock画像、オープンライセンスのコンテンツ、一般コンテンツを使用し、安全に商用利用できる。

なおFireflyに関しては、アドビブースでの展示やデモはなかった。これはFireflyが独立した製品でありながら、アドビ製品に機能として組み込まれることで利用する事が多いためのようである。

またアドビは、Premiere ProにAIで映像内のノイズを自動的に低減する機能を搭載した。これはAdobe PodcastのEnhance speechと同じ機能で、雑踏などで特定の人物の声を浮き上がらせることができ、バックグラウンド音をどのレベルで残すかを可変できる。またNAB2022で発表されたテキストベースの編集機能には、要望が多かったとい「あー」「うー」というフィラーワードと呼ばれる不体裁な音をAIで検出できる機能を追加した。

日テレはNTTグループのブースにおいて、NTTデータと共同開発している映像編集向けのAI自動モザイクソフトウエア「BlurOn」を展示した。これはAIによって顔検出を行い、顔の部分に対してのみモザイクやぼかし、キャラクターの貼り付けなどができる。認識精度は99.7％とのこと。これによりこれまで同種の作業にかかっていた時間を9割以上短縮ができる。

変換処理はクラウドにアップロードして行われ、その変換速度は数秒程度と高速である。サービス提供形態にはアフターエフェクトのプラグイン提供、WEBブラウザーからアップロード、またファイルを預かり変換して返却するなどがある。

IBC2023では、従来からのモザイクやぼかし入れの機能を「For Video Blurring」とし、新たにAI自動マスキングのバージョン機能「For Video Masking」をベータバージョンとして初公開した。こちらはグリーンバック無しでもAIでマスクを生成するもの。こちらもその精度は非常に高く、髪も毛先までクリアにマスキングできる。映画やCM制作にも十分耐えられるクオリティーであるので、こちらのデモ映像を御覧いただきたい。

3Dによるモーションキャプチャー系の技術やサービスとは異なり、２Dのマスキングであるが、3Dではない当面の映像コンテンツでの利用においてはこれで十分であることも多い。ポスプロの現場ではこうした消し込みのようなクリエイティブは言えない単純な作業で疲弊している現状に対して、突破口となることを期待したい。

バーチャルプロダクション、特にインカメラVFXはすでにコモディティー化の様相を呈している。LEDウォールのメーカーを中心として、20社ほどがデモを行うほどの規模にまで拡大をしている。ソニー、Zero Density、ROE Visual、Absen、INFiLED、LG、サムスン、BRAINSORMなどがしのぎを削っている。

こうしたバーチャルプロダクションのソリューションは、1社単独ですべてを提供している会社はなく、ディスプレイ、グラフィックコントローラー、カメラトラッキング、グラフィックエンジンなどの組み合わせということになる。

なお最大手の一つDisguiseは単独のブースは持たず、ROE Visual、Absen、INFiLED、キヤノン、SmartStageの各社ブースにおいて、同社の最新のPorta 2.2グラフィックコントローラーを利用したプレゼンテーションを行った。
他のグラフィックコントローラーとしては、BROMPTON TECHNOLOGYのTESSERA SX40とMegapizel VRのHELIOSのいずれかが、各社のデモで利用されることがほとんどであった。

カメラトラッキングシステムは Mo-sysのStarTracker、NcamのNcam Reality、StypeのRedSpyが一歩先を行っているように感じた。

今年はLEDウォールが発する光による被写体、特に人物の肌の色に対する影響についてのソリューションが多く見られた。BROMPTON TECHNOLOGYの「TRUE LIGHT」は、バーチャルプロダクション特有の色に関する問題を補正する。従来のLEDビデオ・ディスプレイは、RGBの3つの発光体のみを使用している。しかしこれではカメラで撮影した場合に、ディスプレイ自体が照明としても被写体に当たっているので、特に肌の色が正しく表現されないことが多い。そこで補正のための4番目のエミッターを（RGBW）搭載したLEDビデオシーリングを使用することで、カメラから見えるカラースペクトルを正しく補正し、高い演色評価数（CRI）と正確な肌の色調を実現させるものである。

一方、没入型のボリュメトリック、または通常のモーションキャプチャーは、昨年は複数のベンチャーが展示を行っていたが、今年は見ることができなかった。これらは、極端なものではスマホ1台1カメの映像から簡易的にボリュメトリックビデオを生成するような試みであったが、やはりまだ低品位であるので実際の映像制作で使用できるレベルではないことと、特にHMDなどの視聴環境が追いついてきておらず、アウトプット先やユースケースが見えていないことによるのだろう。10月1日に発売されるMeta Quest 3や、24年春にVision Proが発売されると状況が変わるのかもしれない。

そんな中では「没入型メディアとボリューメトリックメディアの最新の進化 （Recent advances in immersive and volumetric media）」というカンファレンスでは、MPEGのVisual Volumetric Video-based Coding (V3C)標準は、動的点群（V-PCC）からマルチビュー＋深度、マルチプレーン画像表現（MIV）に至るまで、ボリューメトリックビデオの符号化のための広範なフレームワークの規定が進んでいるという報告があった。