Published: 2022-03-17 12:24

メタバース風？スキャンした物体を記憶するAR技術、米企業が開発

ひと箱分のレゴブロックをテーブルの上に出したところを想像してみてほしい。そして拡張現実（AR）メガネをかけ、一緒に仮想世界へと飛び込む。すると、ARメガネのカメラが目の前に散らばるさまざまな形や色のレゴブロックを一覧化し、手持ちのピースでつくれる作品を提案してくれる。

レゴブロックを一覧化する実際のインターフェース画像

ちょうどそのとき、玄関に誰か来たようだ。玄関を確認して戻ってくるが、ありがたいことにARメガネでレゴブロックを再スキャンする必要はない。このARは、まだテーブルの上にレゴブロックがあることを理解しているのだ──。

このように、スキャンした現実の物体を継続的に記憶する機能が、Singulos ResearchのARソフトウェアプラットフォーム「Perceptus」の主な特徴である。Perceptusを使うと、カメラが物体をレンズでとらえていない状況でも、その状態を記憶しておけるというわけだ。

あなたが玄関を見てくる間も、Perceptusはテーブルの上にあるレゴブロックでつくれる作品について考え続けている。あなたの視界からレゴブロックがなくなったからといって、処理を中断することはない。

「AR空間にいるとき、人は部屋全体を一度に見るのではなく、一部分のみを見ているのです」と、Singulos Researchの最高経営責任者（CEO）のブラッド・キントンは語る。「人は見たものを記憶しているので、いまは視界に入っていない物でも存在していることを難なく理解できます。ARが身の回りにあるものの存在を理解すると、ユーザーに代わって積極的にさまざまなことをできるようになります」

少なくとも、それがPerceptusの根底にある考えだ。開発者がARアプリの開発に利用するアップルの「ARKit」やグーグルの「ARCore」といった既存のAR技術にかぶさる上位のレイヤーとして、Perceptusは機能する。とはいえ、手持ちのスマートフォンやタブレット端末で使えるようにするまでには、裏側でさまざまな準備が必要だ。

アプリ開発者はSingulos Researchに、レゴブロックの3DモデルなどのPerceptusで検出したい対象物の3Dモデルを提供する。すると、Perceptusのプラットフォームは機械学習を用いて、異なる照明の状況や表面の写り方の違いなど、現実世界で対象物のさまざまな見え方を学習する。

その後、Perceptusは開発者のアプリの上位レイヤーとして搭載され、アプリは新しく認識できるようになった物体を活用できるわけだ。開発者の役割は、仮想のレゴのアプリが識別したブロックでつくれる作品を提案するように、認識した物体を活用できる機能を開発することである。

物体のスキャンと識別の工程には、まだ自動化できていない部分が多くある。例えば、Perceptusのライセンスを取得したアプリ開発者は、アプリに記憶させたい物体のCADによるモデリングのデータを提供しなければならない。これらのCADデータはSingulos Researchのライブラリーに追加されるので、将来的に開発者はデジタルな記録のなかから必要な物のデータをより素早く見つけられるようになる。

Perceptusでは近いうちに一般的な物体の多くを識別できるようになると、キントンは考えている。すでにゲーム制作者が提供する「非常に正確な3Dモデル」が多数存在していることが理由のひとつだ。

Perceptusでは、識別した物体を活用できるARアプリが世に出る前に、特定の物体を識別するためにプラットフォームを訓練している。このため、画像データをクラウドサーバーに送って解析せずに済むのだ。Perceptusはデバイス上で動作し、既存のモバイルプロセッサーでも問題なく使える。

実際にPerceptusが動作している様子は、驚きだった。キントンがレゴブロックで埋め尽くされたテーブルにiPadを近づけると、カメラはレゴブロックの形と色をリアルタイムに識別する。いくつか識別されないレゴブロックもあったものの、完璧に近い精度だったのだ。

さらに印象的だったのは、Singulos Researchが開発したチェスのデモである。これを使って、仮想空間上でキントンと対局してみた。

キントンがiPadのカメラを白い駒だけが並んだチェス盤に向ける。そして盤上にある現実の駒を動かすと、iPadの画面のブラウザーに表示されているチェス盤の駒も動く。今度はiPadのディスプレイに映る仮想の黒い駒を動かすと、キントンのチェス盤にその動きが反映されるのだ。

iPadの画面越しで見ていると不自然に思えるが、ARメガネをかけながらプレイする状況は容易に想像できる。そして、それがPerceptusの長期の目標だとキントンは言う。また、このプラットフォームはすでにアップルのデバイスやクアルコムの「Snapdragon」チップを搭載したモバイル端末、さらにはグーグルのプロセッサー「Tensor」でも動作するという。

今後さまざまな企業が次々に発売するAR対応端末にも、ニューラルネットワークを処理する機能をもつこれらのプロセッサーが搭載されることだろう。ほかのARハードウェアへの移植も簡単なはずだ。

「最も優れた点は、仮想世界と現実世界との連携です」と、キントンは言う。「これは現実ではない“メタバース風”のものといえます。チェスの駒は実際にはありませんが、駒のある新しい現実をつくり出したのです。手元にチェス盤とこのアプリがある状況を容易に想像できますよね。そこに現実世界にかぶさる新たな世界が現れます。ふたりともその世界を見ていますが、現実にはどこにも存在しないのです」

この手法には利点があるのだと、コンピュータービジョンの研究者で豊田工業大学シカゴ校の学長であるマシュー・タークは語る。機械学習のアルゴリズムのために対象物の写真を何枚も撮ったり、何千枚もの写真をインターネット上で探したりする必要はないのだ。

とはいえ、物理的な物が必要なARアプリにとっては優れたソリューションであるものの、汎用的なARで活用するには限界があるかもしれないと、タークは指摘する。

「現実世界でかかわるすべての物体のCADデータがあるわけではありません」と、タークは言う。「CADデータがすでにある物体にだけ焦点を当てるなら、データセットの幅はかなり狭くなるでしょうね。人々の提供によってCADデータのライブラリーが充実していくとはいえ、そうなってしまいます。長い目で見ると十分ではありませんが、大部分の興味深いアプリの制作には足りるはずです」

3Dモデルのこのようなかたちでの活用は、あくまで出発点である。ARメガネを向けるだけで見ているものを正確に把握できるようになる未来は、もう少し先になるだろう。