パネラーの顔ぶれ
ミケール・シオレット氏（司会者）/ Michele Sciolette - CTO at Cinesite Group & VES Tech Committee member
ダイアナ・コレラ氏 / Diana Colella - Autodesk Executive Vice President for Media & Entertainment
クリスティ・アンゼルモ氏 / Christy Anzelmo - Foundry Chief Product Officer
ジュディス・クロウ氏 / Judith Crow - SideFX Vice President of Strategic Partnerships
司会者：
今後数年間で、AIやMLの進化がVFX業界のパイプラインにどのような変化をもたしていくか、各パネラーの皆様にお話いただきます。それでは、どうかよろしくお願いします。
ダイアナ・コレラ氏 / Autodesk：
Autodeskでは過去10年近く、60本以上のAIに関連する論文を発表するなどの実績を持っています。
現時点でAIが活用されている事例は、
〇Flame
MLを活用し、空の差し替えやビューティワーク等のタスクを自動化することで、何時間にも及ぶ繰り返し作業に掛かる時間を節約。
〇Maya
AI 支援ワークフロー (AI assisted workflows / ベータ版) オブジェクトのコピーや拡張などのタスクに対して、自然言語のテキスト プロンプトを使用してMayaのシーンを自動的にコントロールし、作業に掛かる時間を節約。
〇AI を搭載した Generative Scheduling:
タスクと問題点のリストのナビゲート。Saveすると、リモート・ワークフォースの調整、スケジュールの最適化、リソースの最大化、などがリアルタイムで反映される。これらは、ShotGrid に含まれている。
などがあります。
さて、Autodeskが発表した
2024 State of Design & Make レポートによると、ビジネス リーダーの 78% が AI によって業界が強化されると信じており、79% が AI によって業界がよりクリエイティブになる、という事に同意しているという調査結果が出ています。
AIを現在のM&E(Media & Entertainment)に活用する事は、これにより手間の掛かる試行錯誤の作業を軽減させ、それよりもクリエイティブな作業に時間を割けるようにできる可能性を秘めています。
来る
SIGGRAPH2024でも、AI関連のツールについて、発表が行われる予定です。
クリスティ・アンゼルモ氏 / Foundry
FoundryにおけるAIの取り組みについてお話します。MLはFoundryでも、過去５年以上のR&Dの実績があり、プロダクション作業の中で更に便利なツールとなるよう研究を重ねています。
MLをクリエイティブ・コントロールの中で活用する際、透明性とコントロール性が大切なのは既にご存知のとおりです。その中で、主要プロダクトであるNukeのMLツールの一例としてCopyCatがあります。[.cat]形式の学習データを読み込ませて学習させる事で、ハイクオリティな結果を実現します。
CopyCatのユーザー事例としてFramestoreによる映画「マトリックス レザレクションズ」(2021)があります。露出オーバー気味だった爆発の実写プレートを効率良く補正することが出来、旧来の方法では時間が掛かった作業を、MLによって効率的に処理し、作業に掛かる時間を大幅に軽減するのに役立ちました。
今後の展開として、このCopyCatのワークフローをMariへ応用すべく開発を進めています。他にもNukeで動作するMLモデルの無料ライブラリCatteryに加え、SmartRotoやFacetoolsへのMLの応用も進めています。
こちらは、まだリサーチ段階ですが、NeRFsやGaussian Splattingを、セグメンテーションやスタビライゼーションなどのワークフローへ応用できる可能性などを模索すべく、研究開発を進めています。
ジュディス・クロウ氏 / Side Effects
Side Effectsでは、５年ほど前からAI、特にMLについてリサーチを開始しています。一例として、2019年頃からTerrain 地形ツールのクオリティーと処理速度の向上に、MLを応用しました。これにより、大幅な高速化を実現することが出来ました。
これらのR＆Dと並行して、Side Effectsでは、ユーザーがどのような試みをしているかという事例には常に注目しています。その中で、HoudiniユーザーによるMLの興味深い試みの１つとして、車の
自動運転の開発で必要とされる膨大な学習用シンセティックデータをHoudiniによって生成する試みが行われています。
また、Sony Pictures Imageworksによる、映画『スパイダーマン：スパイダーバース』（2018）では、800ショット余りのインクラインを効率良く生成するワークフローの中で、
MLを活用したインクラインの表現でHoudiniが活用されました。このSPIにおけるMLの事例からは、Side Effectsは多くの事を学びました。
EPIC Gameとのプロジェクトでは、MetaHumanキャラクター用の筋肉デフォーマーの開発支援を行いました。学習モデルとして6,000種類のテスト・ポーズをHoudiniで生成し、布や皮膚のシミュレーションはVellumで処理され、トレーニング／学習済の最終的なMLモデルがベース・メッシュに反映されました。
Generative AIに関する取り組みとして、Houdini 19.5から、オープン ソースのMLプラグインである
MLOPSが無料で利用出来ます。これにより、さまざまなAIモデルをHoudini上でカスタマイズ、処理する事が出来ます。
最後に、つい先日Houdini 20.5がリリースされました。今後VFX業界をどのようにサポートしていくかを考慮し、MLのワークフローも考慮したバージョンアップとなっています。
Side Effects開発部門バイスプレジデントのクリスティン・バルギールが、「MLは、Houdiniのプロシージャルなワークフローを手助けしてくれるという存在であり、全てMLに置き換わっていくという性質のものではありません」と紹介していた通り、既存のHoudiniの機能やワークフローは継承しつつ、その上にMLによるサポートが応用されていきます。
