パネラーの顔ぶれ

ミケール・シオレット氏（司会者）/ Michele Sciolette - CTO at Cinesite Group & VES Tech Committee member

ダイアナ・コレラ氏 / Diana Colella - Autodesk Executive Vice President for Media & Entertainment

クリスティ・アンゼルモ氏　/ Christy　Anzelmo　 - Foundry Chief Product Officer

ジュディス・クロウ氏　/ Judith Crow - SideFX Vice President of Strategic Partnerships


司会者：
今後数年間で、AIやMLの進化がVFX業界のパイプラインにどのような変化をもたしていくか、各パネラーの皆様にお話いただきます。それでは、どうかよろしくお願いします。



ダイアナ・コレラ氏 / Autodesk：

---

Autodeskでは過去10年近く、60本以上のAIに関連する論文を発表するなどの実績を持っています。

現時点でAIが活用されている事例は、
〇Flame
MLを活用し、空の差し替えやビューティワーク等のタスクを自動化することで、何時間にも及ぶ繰り返し作業に掛かる時間を節約。

〇Maya
AI 支援ワークフロー (AI assisted workflows / ベータ版) オブジェクトのコピーや拡張などのタスクに対して、自然言語のテキスト プロンプトを使用してMayaのシーンを自動的にコントロールし、作業に掛かる時間を節約。

〇AI を搭載した Generative Scheduling:
タスクと問題点のリストのナビゲート。Saveすると、リモート・ワークフォースの調整、スケジュールの最適化、リソースの最大化、などがリアルタイムで反映される。これらは、ShotGrid に含まれている。

などがあります。

さて、Autodeskが発表した 2024 State of Design & Make レポートによると、ビジネス リーダーの 78% が AI によって業界が強化されると信じており、79% が AI によって業界がよりクリエイティブになる、という事に同意しているという調査結果が出ています。

AIを現在のM&E(Media & Entertainment)に活用する事は、これにより手間の掛かる試行錯誤の作業を軽減させ、それよりもクリエイティブな作業に時間を割けるようにできる可能性を秘めています。

来るSIGGRAPH2024でも、AI関連のツールについて、発表が行われる予定です。


クリスティ・アンゼルモ氏 / Foundry

---

FoundryにおけるAIの取り組みについてお話します。MLはFoundryでも、過去５年以上のR&Dの実績があり、プロダクション作業の中で更に便利なツールとなるよう研究を重ねています。

MLをクリエイティブ・コントロールの中で活用する際、透明性とコントロール性が大切なのは既にご存知のとおりです。その中で、主要プロダクトであるNukeのMLツールの一例としてCopyCatがあります。[.cat]形式の学習データを読み込ませて学習させる事で、ハイクオリティな結果を実現します。

CopyCatのユーザー事例としてFramestoreによる映画「マトリックス レザレクションズ」(2021)があります。露出オーバー気味だった爆発の実写プレートを効率良く補正することが出来、旧来の方法では時間が掛かった作業を、MLによって効率的に処理し、作業に掛かる時間を大幅に軽減するのに役立ちました。

今後の展開として、このCopyCatのワークフローをMariへ応用すべく開発を進めています。他にもNukeで動作するMLモデルの無料ライブラリCatteryに加え、SmartRotoやFacetoolsへのMLの応用も進めています。

こちらは、まだリサーチ段階ですが、NeRFsやGaussian Splattingを、セグメンテーションやスタビライゼーションなどのワークフローへ応用できる可能性などを模索すべく、研究開発を進めています。


ジュディス・クロウ氏 / Side　Effects

---

Side　Effectsでは、５年ほど前からAI、特にMLについてリサーチを開始しています。一例として、2019年頃からTerrain 地形ツールのクオリティーと処理速度の向上に、MLを応用しました。これにより、大幅な高速化を実現することが出来ました。

これらのR＆Dと並行して、Side Effectsでは、ユーザーがどのような試みをしているかという事例には常に注目しています。その中で、HoudiniユーザーによるMLの興味深い試みの１つとして、車の自動運転の開発で必要とされる膨大な学習用シンセティックデータをHoudiniによって生成する試みが行われています。

また、Sony Pictures Imageworksによる、映画『スパイダーマン：スパイダーバース』（2018）では、800ショット余りのインクラインを効率良く生成するワークフローの中で、MLを活用したインクラインの表現でHoudiniが活用されました。このSPIにおけるMLの事例からは、Side Effectsは多くの事を学びました。

EPIC Gameとのプロジェクトでは、MetaHumanキャラクター用の筋肉デフォーマーの開発支援を行いました。学習モデルとして6,000種類のテスト・ポーズをHoudiniで生成し、布や皮膚のシミュレーションはVellumで処理され、トレーニング／学習済の最終的なMLモデルがベース・メッシュに反映されました。

Generative AIに関する取り組みとして、Houdini 19.5から、オープン ソースのMLプラグインである MLOPSが無料で利用出来ます。これにより、さまざまなAIモデルをHoudini上でカスタマイズ、処理する事が出来ます。

最後に、つい先日Houdini 20.5がリリースされました。今後VFX業界をどのようにサポートしていくかを考慮し、MLのワークフローも考慮したバージョンアップとなっています。

Side Effects開発部門バイスプレジデントのクリスティン・バルギールが、「MLは、Houdiniのプロシージャルなワークフローを手助けしてくれるという存在であり、全てMLに置き換わっていくという性質のものではありません」と紹介していた通り、既存のHoudiniの機能やワークフローは継承しつつ、その上にMLによるサポートが応用されていきます。

司会者：
最後に、質問です。予測が大変難しい事は承知の上ですが、5年後10年後のVFX業界のワークフローは、AIやMLによって、どのように変化していくと予測されていますか？


ダイアナ・コレラ氏 / Autodesk：

---

昨年の2023年は、AIやML関連ツールの流行の勢いが特に大きく、ベンダー側もユーザー側も、予想以上にさまざまな展開が見られました。しかし、この勢いは少し落ち着いていくのではないかと思っています。なぜなら、「思っていたほど、簡単ではない」という現実に、みんな気がつき始めているからではないでしょうか。

しかしながら、私たちは、現在の流行の流れに沿って、鋭意開発を進めて行くべきです。パイプラインを、より便利な方向に改善していくのです。

企業や開発者の間では、「パイプラインが、全てAIに置き換わる」と言う声も出ていますが、これはあまりにも目標が壮大過ぎて、実際そうはならないのではないか、というのが個人的な予想です。

私が好きな方向性として、開発を進めていく上で重要なのは、新しいアイデアやツールを取り入れつつ、「パイプラインを、ユーザーにとって心地良く使えるよう、如何に改良していくか」という点だと思います。

３年、５年、10年後にVFX業界のワークフローがどう変わっているか？未来の予測は難しいですが、人は常に新しいアイデアを発見し、技術は進歩していきます。あくまでもツールが便利になっている程度で、それが全てAIやMLに完全に置き換わっている姿は、私は予測していません。また、みなさんが心配されている程、全てが凄い速度で変化するような事態は起こらないのではないか？と予測しています。


ジュディス・クロウ氏 / Side　Effects

---

テクノロジーの進化＆変化には、規模が小さいスタジオの方が、ワークサイクルが短く小回りが効くので、対応がし易いかもしれません。ワークフローやパイプラインの未来は、VFX業界内でビジョンを持ってビジネス上の正しい判断を下している方々に依存していく事になると思います。それぞれの時代時代で、プレビズからファイナルレンダーまでに、クリエイティブ上求められるニーズも変化していきます。



クリスティ・アンゼルモ氏 / Foundry

---

ML、USD、リアルタイム・レンダリング、クラウドなどのテクノロジーの変化に加え、どのパートが自動化されて、どのパートが手作業で進められるのかと言った変化はあると思いますが、最終的には人間が方法論を選択したり、作業工程を入れ替えたりなど、クリエイティブな決断をしながら変化に対応していくという形になるのではないかと思っています。

以上、要約してご紹介したVESのパネルディスカッションの模様だが、注目トピックであるAIが現在どのようにDCCツールに応用されているのか、そのご参考となれば幸いである。