Published: 2022-02-23 14:10

二次元の画像を「高精度な3Dイメージ」に変換するアルゴリズムが、AIの進化を加速させる

現在の人工知能（AI）技術を取り巻く大きなうねりの始まりは、2012年にさかのぼる。この年、写真のなかの物体をアルゴリズムにどれだけ正確に認識させられるかを競う学術コンテストが開催されたのだ。

倫理的な質問にも回答できるAI、その実力と限界

研究者たちはその年、ヒトの脳内ニューロンが新たな情報に反応する仕組みに大まかなヒントを得て、アルゴリズムを構築した。そして数千枚に及ぶ画像をそのアルゴリズムに読み込ませることによって、認識精度を飛躍的に高められることを発見した。この画期的な発見は学術研究やビジネスの世界に激震を走らせ、数々の企業や業界に変化をもたらしている。

そしていま、同種のAIアルゴリズムにトレーニングを施すことで、二次元（2D）の画像を表現豊かな3Dのイメージに変える新たな技術が登場した。コンピューターグラフィックス（CG）とAIのふたつの世界を騒然とさせているこの新技術は、ヴィデオゲーム、仮想現実（VR）、ロボット工学、クルマの自律走行のあり方を一変させる大きな力を秘めている。

専門家のなかには、この技術によってコンピューターがさらに賢くなって人間並み以上の知性を身に付け、この世のあらゆることを理解したり、理路整然と論じたりするようになるかもしれないと考える者もいるほどだ。

「いまや話題沸騰で大注目されている技術です」と、カリフォルニア大学バークレー校（UCB）でロボット工学を研究するケン・ゴールドバーグは言う。彼はこの技術を使ってAIで動作するロボットの能力を高め、見慣れぬ形状の物体でも掴めるようにする研究に取り組んでいる。この技術には、エンターテインメントから建築に至るまで「数百もの使い道」があるはずだと彼は語る。

この新技術に用いられているのは、ニューラルネットワークを使って数枚の2Dスナップ写真を読み取り、そこから3Dイメージを生成する「ニューラルレンダリング」と呼ばれる技法だ。CGとAIを巡るさまざまな概念の融合から生まれたこの技術への関心は、20年を境に一気に高まった。この年の4月、UCBとグーグルの共同研究チームが、ニューラルネットワークに数枚の2D写真を見せるだけで、同じ場面を非常にリアルな3Dイメージで再現できることを実証してみせたのだ。

大気中を通過する光の動きを利用したこのアルゴリズムは、3D空間の各データポイントの密度と色を計算するよう設計されている。これにより2D画像をどこから見てもリアルな3Dイメージに変換することが可能になったのだ。

この技術の核となるニューラルネットワークは、12年の学術コンテストで公開された2D画像のピクセルを分析する画像認識アルゴリズムと同種のものである。新たにつくられたこのアルゴリズムは、2Dのピクセルを「ヴォクセル」と呼ばれる3次元ピクセルに変換するという。Neural Radiance Fields（神経放射輝度フィールド、略称NeRF）と命名されたこの技術を紹介する動画は、多くの研究者たちをうならせた。

「20年にわたってコンピューターヴィジョンの研究に携わってきましたが、この動画を観たときは『いやあ、これはすごい』と声が出ました」と、ジョージア工科大学教授のフランク・デラートは語る。

コンピューターグラフィックスを研究する者なら誰もが、この技術の革新性を認めるに違いないとデラートは語る。リアルで詳細な3Dイメージを完成させるには、たいてい何時間にもわたる面倒な手作業が必要だ。ところが新方式の登場により、ほんの数分でごく普通の写真からこうした3Dイメージを作成できるようになったのである。

これまでにない方法で画像を合成したり、出来上がった合成画像を自在に動かしたりすることも可能になった。「非常に独創的で価値のある技術です。誕生からわずか2年の技術にこうした賛辞が与えられるのは、極めて異例なことです」と、デラートは言う。

デラートは、この新技術の登場後に生まれたアイデアの多さには、目を見張るものがあると語る。例えば、数枚の静止画を基に人物の頭部をぐるっと回っているように見せるムーヴィングセルフィー（この新技術の名前にちなんで「nerfie」とも呼ばれる）、1枚の写真から3Dアヴァターをつくる、シーンの照明を自動的に変更する方法など、さまざまなアイデアがある。

そしてNeRFは、驚くべきスピードで産業界に浸透してきた。NeRFの研究者のひとりで、現在はグーグルに所属するベン・ミルデンホールは、現在の研究開発の隆盛について「ゆっくりと、大きな波がきているようだ」と表現している。

AIやゲームに用いられる半導体のメーカーであるエヌヴィディア（NVIDIA）の研究員たちはこれまでに発表した論文のなかで、写真を集めて3Dイメージを作成したり、アニメーションにより本物らしい質感をプラスしたりといったNeRFの活用例を挙げ、この技術がヴィデオゲームをいっそう進化させるだろうと述べている。

また、フェイスブック（現社名はメタ・プラットフォームズ）はNeRFと類似の技術を開発し、最高経営責任者（CEO）のマーク・ザッカーバーグがしきりに喧伝するメタヴァースの景観をさらに充実させようとしている。メタのチーフAIサイエンティストで、12年にAIの世界を一変させたこの技術の先駆者でもあるヤン・ルカンは、こうした取り組みを「最高に素晴らしい」と評し、その成果に「心から感動している」と語る。

NeRFが特に真価を発揮するのは、現実世界の機械類に採用された場合なのかもしれない。ロボットの把持（物を掴む）性能研究の世界的権威のひとりであるUCBのゴールドバーグは、同僚の研究者たちとともにNeRF技術を使って透明な物体を認識できるようロボットを訓練した。通常、透明な物体は光の反射のせいで認識しづらいが、ヴィデオ画像を基に物体の形状を推測させることで、こうした訓練が可能になったのだ。

自動運転技術を開発するメーカーも、この技術を採用し始めている。テスラのAI担当ディレクターのアンドレイ・カルパシーが21年8月のプレゼンテーションで語ったところによると、同社は道路上で起こりうるあらゆる事象を捉えて対処できるよう自動運転アルゴリズムを訓練するために、NeRF技術を駆使して必要な3D映像を作成しているという。

NeRFの背景にある考え方は、AIそのものにとって重要なのかもしれない。現実世界を正しく認識するには、物理的な理解が不可欠だからだ。

「コンピューターグラフィックスから生まれたこれらの技法は、AIに多大な影響を与えています」と、マサチューセッツ工科大学（MIT）の教授で学習や推論といった人間の行為の裏にある計算原理について研究しているジョシュ・テネンバウムは語る。

テネンバウムは、このほどMITの助教授に就任したヴィンセント・シッツマンの研究を紹介する。シッツマンらのグループは、限られた数の2D画像を基にニューラルレンダリングの技法を用いて物体の3Dイメージを生成する発想を、19年に初めて披露した。

シッツマンらの研究のテーマは、本物そっくりの完璧な3Dイメージを作成することではなく、不完全な写真から物体のおおよその形状を推測するアルゴリズムをつくることだった。これは人間が習慣的にこなしていることだと、テネンバウムは言う。「例えば目の前にあるコーヒーカップを手に取ろうとするとき、手が近づいていくと同時に、人間の知覚システムは自然にカップの背面がどの辺りにあるかを推測しています」と彼は言う。

さらに最近では、シッツマンやハーヴァード大学の研究フェローであるセモン・レチコフをはじめとする研究者たちが、より計算効率の高いニューラルレンダリングの技法を発表している。彼らが研究している方法を用いると、AIプログラムは自らが作成した3Dイメージを基に物体を識別できるようになり、過去に見たものとまったく異なるデザインであっても、それをクルマやカップとして認識できるようになるという。

つまり、NeRFとそれに関連する数々の概念によって、AIは最終的にこの世界のあらゆることをいまよりさらに洗練されたやり方で学習するようになるかもしれないということだ。その道の先には、どんなに複雑かつ不慣れな状況においてもロボットたちが不具合を起こさずに働いてくれる未来が待っているのかもしれない。

テネンバウムによると、周囲を見回しているときの人間の脳がNeRFと似た働きをしていることを示す認知科学上の裏付けもあるという。NeRFには「複雑な計算が使われています」と彼は言う。「しかし、人間の脳も同じように複雑なのです」