「AIが私たちを滅ぼす」著名研究者の警告から始まった『AI開発減速論』の現在地、地政学的問題も絡みさらに複雑化

　9月上旬、AI研究者のジェイコブ・コクソン氏が、生成AI大手の米Anthropicを退職したことをX(旧Twitter)で表明し、最先端のAIが将来「私たち全員を滅ぼしかねない」と衝撃的な発言をした。この発言はまたたく間に拡散された。さらに、意外にもAnthropicやOpenAIがその意見に理解を示したことで、その後の議論はAI企業内にとどまらず、アメリカ政府、中国政府、欧州各国、国連へと広がっている。

■著名AI研究者がAI大手に警告を発信 　コクソン氏は英ケンブリッジ大学で最先端のAIシステムと機械学習を研究し、米OpenAIでGPT-4oの開発に貢献、その後Anthropicに移り、両社を通じて主にプレトレーニングと呼ばれるAIモデルに基本的な知識を与えるプロセスの研究を行っていた。 　X(旧Twitter)への連続した投稿のなかで、コクソン氏は最先端の生成AI開発から離れた理由を「どちらの企業も責任ある行動を取っていないからだ」とし、「彼らは私たちの命を賭け事にしている」と衝撃的な言葉を添えた。

　続く投稿では「AIを開発している人々は、この10年の終わりまでにAIが私たち全員を滅ぼしかねないと真剣に信じている」とし、AI企業の経営幹部や上級研究者らが表向きは理性的に話しつつも、プライベートな場ではその急激な進歩に対し「恐怖を口にしている」のを聞いていたと、最先端AIモデル開発の現場で起きていることを語った。 　そして同氏は、今年7月にOpenAIの未発表の自律型AIエージェントが、試験のために仮想的に閉鎖された環境(サンドボックス)から逸脱してインターネットに接続し、AIモデルのホスティングプラットフォーム「Hugging Face」のサーバーに侵入した事件に触れ、AI企業や研究機関がその開発ペースを互いに調整すべきとの考えがより現実的なものになったと主張した。

　コクスン氏の発言は、著名AI研究者が競争が激化する一方のAI大手に警告の言葉を発信したとして、瞬く間に世界中に報道された。 ■AnthropicのCEOが最初に反応 　コクソン氏の投稿から数日経った9月12日、Anthropicのダリオ・アモデイCEOは自身のブログに「最先端AIの開発速度を調整する必要がある」と題した記事を投稿、AI開発を止めるのではなく、AIの能力向上が安全対策の進歩を追い越さないように、開発速度を意図的に調整すべきだと訴えた。

　この記事でアモデイ氏は、生成AIの進歩は、今後医療分野や経済面などで大きなメリットをもたらす可能性があるとそのメリットを述べつつ、一方で急激な進歩によってAIの制御が困難になり、人による制御を逸脱してしまった場合には、サイバー攻撃やバイオテロへの悪用、大規模な経済的混乱をもたらすリスクもあることを認めている。 　また、これまでは基本的に人間がAIを開発してきたが、今後は高度に進歩したAI自体が、次世代AIの研究開発を行うようになり、さらに世代が進めば、AIが自らさらに強力なAIを作り出すという、再帰的自己改善(RSI:Recursive Self-Improvement)も実現する可能性があるとの考えを示した。

　しかしそうなると、もはやAIが自らをどんどん強化していくことになり、研究者らによるAI動作の理解やそれによる安全面の評価や問題があった場合のアライメント(調整)や規制が追いつかなくなる可能性も出てくる。そこで、アモデイ氏はAI業界に対して以下の3つの段階でAI開発を抑えることを提案した。 　1.第三者による継続的評価 　2.業界全体の規制枠組みを用意する 　3.米中協調を含むグローバルな規制 　アモデイ氏が提案する第1段階は、Model Evaluation and Threat Research(METR)のような第三者のAI評価機関などを「組み込み型(embedded)」の評価者として導入するというものだ。

　METRは最先端のAIモデルを評価し、そのリスクと能力について一般の人々に情報を提供する機関だ。同機関は、AIシステムがどの程度自律的に重要なタスクを実行できるかを評価することを主な研究内容としている。そして、そのなかにはAIエージェントによるサイバー攻撃の実行や、AIが自身をシャットダウンしようとする操作から逃れようとする行動なども含まれる。 　こうした第三者機関は、AI企業がモデルの安全性を適切に評価しているか、公表している安全対策を実際に守っているか、何らかの危険を引き起こす能力が発生していないか、なんらかのインシデントが発生した際に速やかに報告されたかなどを評価し、情報提供する。

　アモデイ氏は、METRのような第三者機関が継続的にAI企業の評価を行えるようにすることが、まずは同業他社や政府機関の合意を待たずに実行できる対策になりうるとした。 　第2段階は、AI企業間で共通のルールを作る、つまり業界全体として取り組むべき規制の枠組みを用意することだ。 　AIモデルの急激な開発にブレーキをかけようとしてAnthropicが開発速度を落としたところで、OpenAIやGoogleなど他のAI企業が開発の手綱を緩めなければ、その意味はほとんどない。ただAnthropicが他に対して後れをとることになるだけだからだ。

　既に激化しつつあるAI開発競争を抑制するため、アモデイ氏は最先端AI企業が共同で安全基準や開発速度に関する共通ルールを作ることを第2段階として提案している。 　ここで特に想定されているのは、アメリカなどの民主主義国に拠点を置く主要AI企業だ。アモデイ氏は、「共通の安全基準」や「無制限なAIの進歩のペースに対する制限」について連携するよう呼びかけている。 　現段階では、AI企業はこのような共通ルールの策定は難しいと考えている。なぜなら、企業側が連携して開発のペースを調節することに、独占禁止法上の懸念(カルテルにあたる可能性)があるからだ。

　アモデイ氏はその懸念を回避し、実現のためには、業界に統一的な安全基準を定めることができる政府機関による仲介や議論を可能とし、限定的な免責措置を講じることが必要だとした。 　最後の第3段階は、世界的な連携に規制の取り組みを拡げていくこととなる。そのためには、アメリカとその同盟国が「可能な範囲で権威主義的政府とも連携を試みるべきだ」とした。権威主義的政府というのは、具体的には中国政府のことだ。アモデイ氏は「達成できることには厳しい限界がある」と認めつつ、AIを使用して生物兵器の開発や製造をすることなど、「特定の限定的かつ明らかに危険なAI利用の禁止」といったことだけでも合意すべき余地があるとした。

　こうしたアモデイ氏の主張には、懐疑的な見方もある。同氏は以前よりAIによる破滅的な事態が起こることを想定した発言をしてきたが、ジャーナリストのブライアン・マーチャント氏などは「AIが自己再帰的に能力を向上させる段階から、地球上の全人類を殺害する段階へと具体的にどう移行するのか、その信頼できる詳細なプロセスを示した文書はまだ見たことがない」と述べ、このような提案は「結局のところAnthropicやOpenAIらが得をする結果にしかならないだろう」、それこそがいわゆる「規制の虜(regulatory capture)」に当たるのではないかと批判している

　一方で、アモデイ氏の提案、特に第2段階の提案に対して、OpenAIのサム・アルトマンCEOやGoogle DeepMindの共同創業者であるデミス・ハサビス氏、xAIのイーロン・マスク氏らは、肯定的な見解を示した。 　アルトマン氏は、この提案を「良いアイデア」と評価した。独立した第三者評価機関を導入する考えにも賛同し「独立した評価者を(継続的に)受け入れるという方針は素晴らしいアイデアであり、我々も同様の措置を講じるつもりだ」と述べている。

　さらに「ペースの調整」はAIモデル開発の『停止』を意味するわけではなないとしつつ、「進歩は急速であり、今後もその傾向は続く」「ペース調整には、そのコストを支払うだけの価値が十分にある」とする一方、「アメリカ内での競争上の圧力があったとしても、AIエージェントの無謀な行動が正当化されることはないうえ、企業によるアライメント(AIモデルの意図整合性:行動や出力を、人間の意図、価値観、倫理観に一致させるための技術や研究)や、監視体制の整備が追いつかないまま能力だけが先行するような事態になることがあってはならない」と述べた。

　ちなみにOpenAIは、9月6日に発表した「研究の加速:OpenAI 社内の実態」と題したブログ記事のなかで、「(AIの)能力の向上に合わせて、アラインメントと安全対策を拡大・強化することに取り組んでいる」としつつ「システムの性能が高まるほど、監視が難しくなる可能性がある」とし、「アライメントが確保された完全なRSI(再帰的自己改善)に、安全に到達する方法はまだ分かっていない」と述べている。 ■オバマ元大統領は「国民を巻き込んだ議論」が必要と述べる

　9月上旬に開かれた民主党のイベントでは、バラク・オバマ元大統領がAIを「主要な政策課題」のひとつに据え、AIがもたらす経済的影響や安全性への懸念に対処するための「極めて明確な計画」を策定する必要があると述べた。 　オバマ氏は「AIは民間主導で急速に進化している分野であり、適切に管理・制御できなければ危険なものになりかねない」。「しかし、適切に対処できれば有益なものにもなりうる。例えば、病気の治療につながるような創薬の加速など、真に有益な進歩をもたらすと私は考えている」とした。

　オバマ氏はさらに、9月18日にコルゲート大学で行われた同大学学長のブライアン・ケイシー氏との対談でも、AIモデルの開発が進んで「再帰的学習(recursive learning)」がある程度可能な段階に到達していることを指摘した。再帰的学習とは、AIが人間から与えられた情報だけに依存せず、自ら学習材料や解答を生み出しながら能力を高めていく現象を意味する。 　オバマ氏は「ほんの1年前までは、モデルの学習内容の90％は人間から与えられたもので、(AIが)自力で隙間を埋めたり物事を解明したりする(再帰的学習の)部分はせいぜい5〜10％程度だった」と説明した。しかしいまや、AI企業のトップが自ら開発を減速するための枠組みが必要だと言い出している状況であり、それは「AIの学習の軌跡がこれまでのような緩やかなものから、いわゆる『ホッケースティック曲線(急激な右肩上がりのグラフ)』のような急上昇の段階に入ったということ」だと指摘した。そして今後「AIモデルはこれまでとは比較にならないほどの速さで、指数関数的に賢く、そして優れたものへと進化していくことになる」と主張した。

　さらにオバマ氏は「AIモデルが『やりたいこと』と人間が『やってほしいこと』との間に不整合(アライメントの欠如)が生じたときにこそ、(たとえAIが暴走していなくても)予期せぬ形で大きな危険を招く可能性があるとし、その起こりうる例として、たとえば誰かが「投資収益を最大化せよ」とAIに指示したとき、ある株を空売りして利益を出すために電力網をハッキングして大停電を引き起こすといった行動を取る可能性を示した。

　そして、AI企業に対して社会が必要としていることと、AI企業が直面している商業的な要請(企業価値を示すということ)との間に「不整合」が生じているとし、「だからこそ、有能な政府がこの問題について超党派で真剣な議論を行うことが極めて重要であり、有権者の皆さんにも、ぜひこの点に注目していただきたい」と述べた。 ■AI開発のペース調整は実現できるのか 　ドナルド・トランプ米大統領は、アモデイ氏がAI開発の減速を訴えた翌日の9月13日、アイルランドで開催されたゴルフイベントの会場で、記者団の質問に答え、アメリカは「世界で最も高度な技術力を持つ国」だと述べ「AIを制する者こそ勝者であり、その優位性を維持したい」と語った。こうした発言は、AIをめぐる米中競争でアメリカの優位を維持することを重視する姿勢を示したものと受け止められている。

　大統領はさらに、「安全のためのガードレール(規制)を設けることもできるし、あれこれと対策を講じることもできる。だが本来なら取り上げる必要もない人々が、否定的な側面ばかりを強調して問題を提起しているように思う」とも述べた。 　9日23日には、国連安全保障理事会でアモデイ氏とアルトマン氏がAIに関するブリーフィングを行い、AIリスク管理における国際協調の必要性を訴えた。しかしその同日、トランプ大統領は国連総会の一般討論演説で、AIの監視を強化しようとする動きを「世界主義者による企み(globalist scheme)」と呼び、自国のAI開発を妨げる規制に反対する姿勢を改めて示した。

　大手AI関連企業のトップのなかにも、AI開発を減速する必要はないとの立場をとる人物はいる。NVIDIAのジェンスン・フアンCEOは、AI開発を止める新しい法律・規制は必要ないとの立場を示し、各企業が安全だと判断した段階で製品を出せばよいとの持論を述べている。さらにMetaのマーク・ザッカーバーグCEOも「各AI企業には安全性を確保するインセンティブがすでに存在している」ため、各企業がそれぞれ適切な開発ペースを判断できると主張している。

　一方で、マイクロソフトのサティア・ナデラCEOは、AI開発の「意図的な調整」や、「第三者機関による組み込み型の監視」、さらに「人間による管理」については肯定的な姿勢でありつつ「AI業界の一握りの企業だけでルールを決めるべきではない」とし、AI業界に加えて、企業、各国政府、大学などが幅広く参加して議論すべきとの考えを示している。 　現在、アメリカ上院では、AI規制に関する法案が多数提出されている。その多くは民主党から提出されたものだが、一部には共和党によるものもある。また、国連総会後にワシントンで行われた米中首脳会談ではAIも議題となり、中国側はAI企業による減速論はアメリカが技術的優位を維持するための戦略ではないかとの考えを示した。両国はAI関連インシデントについて連絡を取り合うため、二国間のコミュニケーション・チャンネルを設けることで合意した。ただしこれは規制を前提とはしていない。

　欧州でもこの問題は大きな議論となっている。たとえばフランスのロラン・レスキュール経済・財務相は、一部の大手AI企業による開発の減速要請は、先行する企業が優位性を維持するための「自己利益」に基づくものだと、批判的な見解を述べた。 　同じくフランスのAI企業ミストラルもまた、アメリカのAI企業が現在の懸念を利用して「市場での地位を固め」、小規模な競合他社を不利な立場に追いやるような規制を推進していると主張している。

　一方、ドイツ・デジタル担当相の報道官‌は、AI開発を一時停止することは、欧州にとって現実的な選択肢ではないとし、欧州のデジタル主権強化のためには、さらなるAIの開発とイノベーションが必要だと主張している。ただし、ドイツ政府は世界のAI動向を注視しており、主要な開発企業からの警告を真剣に受け止めているとも述べた。 　イギリスの大手広告企業であるWPPの最高AI責任者(CAIO)で、WPPに買収されたAI企業Sataliaの創業者でもあるダニエル・ハルム氏は、そもそもすべての企業や国がAI開発の減速に合意することは現実的ではないとの見方を示した。

■人の制御が及ばなくなる前にやるべきこと 　現時点で明確なことは、AIの能力が急速に高まるなかで、その「安全性を誰が、どのように検証するのか」という問題が、もはやAI企業だけのものではなく、地政学的な覇権争いの要素も絡んで複雑化してしまっているということだ。 　AI企業の立場から見れば、開発を減速させれば競争力を失う可能性があり、かといって競争を優先すれば、いつかAIが自己改善能力を備えたときに、安全性の検証や制御の仕組みがAIに追いつかなくなり、取り返しのつかないリスクを生む可能性がある。

　実際、9月24日には、今年6月にオーストラリア政府機関のウェブサイトにOpenAIのAIエージェントが不正侵入し、非公開データへのアクセスやファイルの書き込みがあったことが、同国のアルバニージー首相によって公表されている。同首相は、データが改ざんまたは汚染された可能性を調査中だと述べた。 　アモデイ氏が示した第三者による評価、企業間の共通ルール、政府による規制策定と国際的な協調という3段階の提案は、実現するには越えるべき高いハードルがある。

　AI企業、政府、研究者、そして社会は、技術の進歩そのものだけでなく、「どこまでの速度で進むのか」「どのような条件なら進めてよいのか」という問いにも向き合う必要がある。AI開発競争がさらに激しくなるなか、そのルールをめぐる議論は、これからますます重要になっていくと考えられる。 東洋経済Tech×サイバーセキュリティでは、サイバー攻撃、セキュリティの最新動向、事業継続を可能にするために必要な情報をお届けしています。