今年ほどソニーがCESでひとつの共通で明確なメッセージを発信したことはなかったかもしれない。そのメッセージは新しいモビリティーのプロトタイプとして登場した「AFEELA」も含めて、すべてをビジュアライズいう文脈で捉えることができる。ソニーの考え方を知るということ以上に、近未来のテクノロジーを我々が有効に利用してよりよい社会にするためには、可視化すること、ビジュアライズが重要な要素であることを改めて感じたのである。

現実社会とバーチャルの可能性を広げるとは、いわゆるメタバースやバーチャルプロダクションに関連する、あるいはそれらを往来したりマージさせる領域のことだ。現実社会とバーチャルをビジュアライズするためのソニーによる技術やサービスへの取り組みである。これらは大きくボリュメトリックキャプチャーとモーションキャプチャーに二分される。

ボリュメトリックチャプチャーに関して、ソニーは決して先駆者であるとは言えないかもしれない。今回は7個のセンサー（今回のプロトタイプでは他社製の市販品）を使用し、セットアップも15秒ほどで迅速に行うことができ、かつ可搬型という特徴をアピールする。キャプチャー対象は人物・物体・空間のどれであってももちろん可能だが、デモでは人物に特化させた処理エンジンを使うことで、セットアップやキャプチャーの精度や処理速度の高速化を実現させている。センサーは３Dデプスセンサーを用いているので、キャプチャに際してクロマキーのためのグリーンバックは必要なく、かつグリーンバックの有無はキャプチャーの精度には影響しない。またこのシステムでは画像処理自体はすべてクラウド上で行うので、ハードウエアも含めた可搬性を追求している。ボリュメトリックキャプチャーはハイエンドから簡便なものまですでに競合システムも多いが、本システムは簡便かつ高性能を狙うビジュアライズのシステムである。

モーションキャプチャーをもっと手軽に民主化するというコンセプトで開発を行ってきたという製品が1月20日に発売される「mocopi」である。mocopiは6個のセンサーを両手・両足・頭・腰に装着して全身をフルトラッキングすることができ、価格も4万9500円と言う手軽さで大変注目を集めている。これまではモーションキャプチャーといえば大掛かりで高価なシステムが必要で、キャリブレーションなどに時間を要したが、mocopiのキャリブレーションは一歩前に歩くだけで一瞬で完了する。またキャプチャーはスマホアプリでBluetoothを介して行い、既存のVRM形式のアバターを読み込むことが可能で、独自のアバターを作成するためのSDKも公開される。ブースではプリプロダクションとしてビデオコンテを制作するという設定でデモを行った。これは製品発表後の反響として、VTuberのような層だけではなく、想像以上にプロの映像制作者からの問い合わせが多かったためだという。

mocopiの可能性について筆者は非常に注目をしている。キャプチャー対象をに人間に限定することによって、わずか6個のモーションセンサーだけでも、人間だからこういう動きになる、こういう動きにはならないという前提での解析処理ができるからだ。つまり実際にセンサーを付けた動きや演技を忠実に再現することが目的ではない、あくまでもアバターのようなものにリアルな動きを与えると割り切ることによって、最小限のセンサーと処理エンジンで自然な動きを得ることができるわけだ。そして動かく対象となるものはデータさえ存在していれば、スマの上だけでは処理しきれないかもしれないが実在の人物を動かことも可能になってくる。またリップシンクが秀逸の一語に尽きる。音声を認識して極めて自然な口の動き、リップシンクも同時に実現させているところも重要なポイントになる。こうなってくると音声も演者オリジナルだけではなく、加工された声や別の人の声を載せたくなってくるだろう。

筆者はmocopiについて、VOCALOIDが切り開いたものの映像版とも言うような位置づけで、バーチャルクリエイティブが新たなステージに入っていく先陣を切るのではないかと見ている。ぜひとも下記の公式プロモーションビデオをご覧いただきたい。

mocopiの公式プロモーションビデオ

ソニーグループのHawk-Eye Innovations、Beyond Sports、そしてPulseliveが有する各種技術によって、実際のプレー中にフィールドで取得されたデータをビジュアライズすることでバーチャルなコンテンツを制作し、さまざまなプラットフォームに提供し、ファンの手元に届くまでの流れを紹介した。
サッカーの試合において、実際の選手やボールの動きのデータを用いてテレビゲームのようなグラフィックスを作成する。これらは自由視点映像として視聴者が好きな視点を主観映像として設定したり、自らをフィールドの中に選手と一緒に存在させた状態を客観映像としてビジュアライズさせるなど、本物のプレーデータを活用した新しいスポーツ観戦体験に関する取り組みを紹介した。こうした体験については、現在実現できるのは試合中のハイライトシーンを切り出してそこに対して行うものだが、将来的には完全にリアルタイムで行うことを目指すことに意味があるかどうかについても検証を重ねていくそうだ。

ソニーは英国プレミアリーグのマンチェスター・シティと、次世代のオンラインファンコミュニティの実現に向けた実証実験を行っている。バーチャル空間上に再現されたマンチェスター・シティのホームスタジアムであるエティハド・スタジアムにいるかのようなメタバースコンテンツが紹介された。これはファンがスマートフォン上で作成する自身のアバターを通じてチームにかける想いや情熱を表現できるほか、世界中のファン同士が交流しエンゲージメントを高められるさまざまなサービスの提供を目指すという。

ここまで紹介してきた様々な技術によってビジュアライズされた映像の表示方法について、裸眼で立体的に表示するためのディスプレイとして、従来の15.6インチから27インチに大画面化された「空間再現ディスプレイ」のプロトタイプを初めて公開した。大型化によって原寸大でビジュアライズできる対象がかなり広がった。たとえば脳のスキャンデータを原寸大で立体的に表示することでより実在感のあるものになっていた。技術的には50インチ以上の大型化も不可能ではないそうだが、対象となるコンテンツとその実際のサイズ感、視認位置との関係などによって本当に大型化が必要になるかについて更に検証を重ねていくそうだ。

そしてソニーには最強の武器としてのPlayStationがある。PlayStationはビデオゲームというエンターテインメントの世界を切り開き、リニアではないノンリニアで、バーチャルなビジュアルコンテンツの先駆けであることはいまさらの何の説明も不要だ。今回はPS VR2が初公開になった。

クリエイターを支えるとは、映像機器やソフトウエアを提供するソニーのメイン事業ドメインだ。デジタルシネマカメラ「VENICE 2」を含む映像制作用カメラ製品シリーズCinema Lineやフルサイズミラーレスカメラシリーズ、VLOGCAMシリーズに加え、プロフェッショナル向けドローン「Airpeak」や「Xperiaスマートフォン」、クラウド制作プラットフォーム「Creators' Cloud」など、おなじみの映像制作、ビジュアライズのためのソリューション群である。

これらに加えて、宇宙の視点から地球環境や社会課題をビジュアライズするプロジェクトが、昨年のCESで発表された「STAR SPHERE」である。CES2023開催直前の1月3日に、遠隔での操作・撮影が可能なカメラを搭載した超小型人工衛星「EYE」の打ち上げが成功したところだ。「STAR SPHERE」は宇宙規模でマクロなビジュアライズを行う取り組みなのである。

ソニー・ホンダモビリティ（SHM）がCES2023において、新たなコンセプトカーのプロトタイプ「AFEELA」を発表したことはすでにご承知のことだと思う。CES会期の前日に今年も開催されたソニーのプレスカンファレンスの現場では、ライブ配信された映像だけでは伝わりにくいものを数多く示唆していた。特にEpic Games、すなわちUnreal Engineとの連携を深読みする必要がある。これは次世代のGoogleストリートビューになるのだ。

カンファレンスで登壇したEpic GamesのCTOであるKim Libreri氏のプレゼンテーションから関連部分を抜粋してみる。

「この移動体験の中心にあるのはAFEELAです。人がインテリジェントなモビリティーの感覚を感じ、モビリティーがセンシングとAI技術を活用して人や社会を検出し理解するインタラクティブな関係の概念を表しています。

ビジュアルコミュニケーションと安全性だけでなく、エンターテインメントの分野でも先を行くコネクテッドカーエクスペリエンスを提供できるように我々は支援しています。

最新の車両技術には、センサーやアクティブセーフティシステムなどを使用して、運転と乗客の体験を向上させる可能性がたくさんあります。そしてそのようなデータを視覚化する最も自然な方法は、直感的なインタラクティブなフォトリアル拡張を使用することです。私達のゲームエンジンができることそのものです

モビリティーが変化するにつれて、将来的には、自動車は社会的なつながりを提供する次世代の目的地となるでしょう。乗員だけでなく、友人や仲間ともつながるデジタルライフの連続体になります。」

いまひとつ具体性に欠ける抽象的な言い回しではあるが、彼のプレゼンテーションの背景のLEDウォール（もちろん自社のCrystalLED）に表示されている映像をあわせて見ていると、いろいろと妄想、いや想像力が膨らむ。

カメラも含めて45個のセンサーの塊であるSHM車が街中を走りまわる状況を想像してみよう。これらのセンサー群は自動運転のためのものだが、高度なビッグデーター収集マシンが走り回っているのと同じである。Googleのストリートビューの撮影車は1年に1回も来ればいい方だと思うが、それより遥かに頻繁に、場所によっては常に収集できる世界を想像してみてもらいたい。

こうしたセンシングデータが画像をUnreal Engineでビジュアライズすれば、リアルタイムに近いその場所の状況を遠隔地から知る（≒見る）ことができる。そしてそれは継続的に蓄積をされて行くのだ。かつてホンダは、自社のカーナビシステムである「インターナビ」を利用してホンダ車の位置や走行情報を収集して、道路混雑や渋滞状況を把握し、最適なナビゲーションを提供するサービスをいち早くスタートさせ、現在もそれは脈々と続いている。東日本大震災の時にはこの情報を利用して、道路に何らかの障害があることを確認するために有効活用されたことを覚えている人も多いだろう。現在のGoogle Mapで提供されている交通情報は、我々のスマートフォンが常にと収集している移動データを元にして提供されている。つまり、ストリートビューやインターナビの未来版がUnrealによって提供される世界をイメージする必要がある。

SHMとUnrealとの連携は、自動運転になって暇なドライバーや同乗者にエンターテインメントを提供するという目的だ。もちろんそれが主たる目的なのだが、現実的には走行中の車内で激しく揺れる映像コンテンツを見たりゲームをすること自体、車酔いや緊急時の安全確保の観点からは手放しにバラ色の世界があるとは思えない。駐車時や充電時のためだけのエンタメというのは果たしてどうなのか。

GoogleはWEB検索エンジンを提供することによって結果的に広告ビジネスを手に入れることになり、そこから一気にビジネスを多様化、拡大化してきた。それと同じことが、センサーの塊が走り回る社会で新たなビジネスを必ず産み出すことは間違いない。それが具体的に何なのかはやってみないと現時点では誰にもわからない。少なくとも車内で映画やゲームをするよりも大きなビジネスであると考えるのが自然だ。妄想を膨らますのであれば、こうしたビッグデータが産み出すビジネスによって、クルマや燃料代（ここでが電気代だが）がタダになるかもしれない。SHMやその他のモビリティーメーカーだけではなく、クルマとは無関係なサードパーティー、ここまでのGoogleのような企業がエコシステムを構築できる可能性もあり得るはずだ。

さらにSHMは、Unrealだけではなくもっと重要なパートナーとも連携を行う。それはQualcommだ。収集したデータの処理や様々な通信を行う際にはQualcommSoCのパワーは計り知れないものがある。その重要性と力の入れようは、プレスカンファレンスにCEOのCristiano Amon氏が自ら登壇したことに現れている。

このように、CES2023におけるソニーのプレゼンテーションや展示は、一見バラバラな展示に見えてしまうかもしれないが、目を凝らすと一貫してビジュアライズというキーワードですべてを説明をすることができる。これは　デジタルテクノロジーの中でも視覚に関連する部分が非常に重要であり、また実は取り扱いやすいことが背景にあるからだ。AVメーカーであるソニーの本領発揮というべき時代はこれからもいのべー本を繰り返しながら進展していくのだと感じる。これはソニーのようなポジションや背景の企業に限ったことではなく、何を、どこに、どうやってビジュアライズするのか。そのフロー中における自身のポジショニングを明確にすることが大切だと思う。

今回のソニーのプレスカンファレンスの模様は、こちらの公式YouTubeをぜひご覧いただきたい。きっと本稿の深読みが絵空事ではないことがわかっていただけると思う。