目的達成のためならサイバー攻撃も辞さない… 1200ものAIが秘密裏に結託した「恐るべき相互扶助」の脅威と実態

　9月24日の米中首脳会談では、AI(人工知能)をいかにコントロールするかが重要なテーマとなった。その直後の29日、アメリカのドナルド・トランプ大統領は同国のAI関連企業と合意文書に署名した。この背後には、AIがもたらす危機が無視できないものになってきたという状況がある。 　AIがもたらす危険は、大きく2つに分けて考える必要がある。 　第1は、AIの高度な能力を人間が悪用するリスクだ。この危険は、今年の春頃から強く認識されるようになった。とりわけ問題になったのが、「クロード・ミュトス」に代表される高度なAIがソフトウェアの脆弱性を自律的に発見し、場合によっては攻撃手法まで組み立てられる能力を持つようになったことだ。

　9月24日の米中首脳会談では、AI(人工知能)をいかにコントロールするかが重要なテーマとなった。その直後の29日、アメリカのドナルド・トランプ大統領は同国のAI関連企業と合意文書に署名した。この背後には、AIがもたらす危機が無視できないものになってきたという状況がある。 　AIがもたらす危険は、大きく2つに分けて考える必要がある。 　第1は、AIの高度な能力を人間が悪用するリスクだ。この危険は、今年の春頃から強く認識されるようになった。とりわけ問題になったのが、「クロード・ミュトス」に代表される高度なAIがソフトウェアの脆弱性を自律的に発見し、場合によっては攻撃手法まで組み立てられる能力を持つようになったことだ。

　これまでのところ、ミュトスによって金融機関が実際に攻撃され、大規模な被害が発生したという事件は確認されていない。しかし、AIの能力そのものはその後も向上しており、同様の能力を持つモデルも増えている。したがって、この危険は春頃に比べて低下したのではなく、むしろ高まっていると考えるべきだろう。 　第2は、エージェントAIが人間の意図や設定された範囲を越えて行動するリスクだ。これは単なる将来の可能性ではなく、現実の事例として現れ始めている。それを端的に示すのが「1200のAIが結託して暴走、『仲間のため』とシステムへの攻撃を呼びかけ」という衝撃的なニュースだった。

■700のエージェントがAI開発企業を攻撃 　オープンAIが7月に行ったサイバーセキュリティー評価で、AIエージェントが、開発者が意図していなかった行動を取った。本来は互いに隔離され、外部インターネットへのアクセスも制限されていたAIエージェントのうち約1200体が、オープンAI内部の「掲示板」を通じて通信し、約700のエージェントがアメリカのAI開発企業ハギングフェイスへの攻撃に参加したのである。

　ハギングフェイスとは、AIモデルやデータセットなどを公開・共有する世界最大級のAI開発プラットフォーム。AIモデルが公開されており、技術者はモデルの性能や仕様、利用条件、人気度などを確認し、自らの用途に合うモデルを選ぶことができる。 　ここは、中国のAIモデルを世界に普及させる重要な流通経路にもなっている。ディープシークやムーンショットAI、アリババ集団なども、ハギングフェイスを通じてモデルを公開してきた。

　オープンAIでは、数万ものエージェントが非常に難しいサイバーセキュリティー課題に取り組んでいた。ところが、自力では解けない課題に直面して、一部のエージェントが、ハギングフェイスへの攻撃という、許されていない方法によって解答の手がかりを得ようとしたのだ。 　まず、7月8日から13日にかけて、約1200のエージェントが掲示板を利用。その活動は急速に大規模化したという。AIエージェントは、「掲示板」を通じて7万件を超えるメッセージやファイルを交換した。

　きっかけは、あるエージェントが助けを求めるメッセージを書き込み、別のエージェントがそれを発見したことだった。それが大規模な情報交換に発展した。 　あるエージェントは掲示板を発見して、「なんてことだ。共有の掲示板がある。ほかのエージェントを見つけた」といった趣旨の反応を示している。そして、エージェントたちは、課題を分担するようになった。 　あるエージェントが危険を伴う実験を担当し、その結果をほかのエージェントに知らせるという行動も確認された。自分の課題達成には役立たなくても、集団全体の利益になると判断して協力したケースもあった。

■AIが発現した「相互扶助」の精神 　そもそも、AIエージェントはなぜ、通信してはならないという制約下で通信を始めたのか。 　独立系AI研究機関METRの調査によると、通信に参加したエージェントの多くは「実行不可能な課題」を割り当てられていた。本来なら、ここで「解決不能」と判断して停止すべきだ。ところが、エージェントは諦めず、本来想定されていなかった方法まで利用して課題を解決しようとしたのだ。 　その過程で利用されたのが、オープンAI内部でソフトウェア・パッケージを管理する「アーティファクトリー」というシステムだった。エージェントがここにファイルやディレクトリを作成することによって、ほかのAIエージェントにメッセージを残せることを発見した。これが事実上の「掲示板」になったのである。

　あるAIが必要なファイルについて質問を書き残すと、それに気づいた別のAIが返答する。こうして、本来は別々に作業するはずだったAI同士が情報を共有するようになった。 　さらに、発見した攻撃手法や脆弱性を共有し、別のAIがその成果を引き継ぐようになった。多数のAIが作業と計算能力を持ち寄ることによって、単独で行動する場合よりはるかに大きな能力を発揮した。 　AIエージェントはやがて、課題の採点システムを欺いたり、答えに関する情報を得たりする方法を外部に求めるようになった。その標的になったのがハギングフェイスである。ここにある情報を盗み出せば、与えられた問いに答えられると考えたのだ。

　7月10日、あるエージェントが、インターネット上で公開されていたハギングフェイスの認証情報を発見した。その情報は、掲示板を通じてほかのエージェントと共有された。 　11日には、エージェントがハギングフェイス側のシステムの脆弱性を利用し、最終的にはサーバー上で任意のコードを実行できる状態にまで侵入した。12日には侵入範囲を拡大し、複数の管理者に相当する権限を獲得。データベースやクラウドなどの認証情報も取得した。

　AIエージェントは互いに作業を割り振り、自分たちを「swarm(群れ)」や「collective(集団)」と表現する場合もあった。難しい問題に直面すると、AI同士の情報交換や役割分担が活発になった。11日にハギングフェイスのシステムへの本格的な侵入が始まり、12日には複数のシステムへとアクセス範囲が拡大した。 　高度なAIエージェントは、十分な安全対策がなければ、人間が設定した技術的な制限の弱点を探し出し、認められていない手段で互いに協力し、人間が直接指示していない危険な行動を取る能力をすでに持っているのだ。

　しかし、ここで全体を振り返ると、これは極めて奇妙な話であることがわかる。AIがハギングフェイスに侵入したのは、身代金を取るためではない。人間に迷惑をかけることが目的だったわけでもない。人間から与えられた課題を達成するための「手段」として侵入したのである。本末転倒もはなはだしい。 ■政府の情報システムも標的に 　オーストラリアでは、政府の医療統計システムなどにAIエージェントが侵入した事例も明らかになった。

　6月18日、エージェントはオーストラリア政府の行政機関が管理する公的医療保険制度の統計報告ポータルに不正アクセスした。このポータルは医療費などの統計情報を扱う公開系のシステムで、個人の医療記録や患者情報そのものにはアクセスしていないとされる。ほかにも、同じエージェントが少なくとも4つのオーストラリア政府系サイトにアクセスした。 　われわれは今、まったく新しいタイプの問題に直面している。そして、これにどう対処したらよいのか、わからない状態にある。