OpenAI、AIの脆弱性を自動検証する内部用モデル「GPT-Red」

OpenAIは、自動でAIの脆弱性を探す内部向けレッドチームモデル「GPT-Red」を開発した。同モデルを使ってGPT-5.6を敵対的に訓練し、プロンプトインジェクションへの耐性を高めた。GPT-Redは一般提供せず、運用するモデルとは分離して保持する。 AIがブラウザや接続アプリ、ローカルファイルなどの第三者データを扱う機会が増える中、悪意ある命令がメールやWebページ、ツールの出力などに埋め込まれるリスクがある。人によるレッドチームは重要だが、訓練に必要な攻撃例の量と多様性を確保しにくい課題があった。 GPT-Redは自己対戦型強化学習で訓練する。攻撃側のGPT-Redと複数の防御側LLMを同時に学習させ、攻撃の成功と防御の成功にそれぞれ報酬を与える仕組み。ローカルファイルやWebバナー、メール本文などに不正な命令が入る状況を再現し、応答を観察しながら攻撃を繰り返す。 未学習の間接プロンプトインジェクション環境では、GPT-5.1に対する攻撃成功率が84%となり、人のレッドチーム担当者の13%を上回った。実環境に近い検証では、AI搭載自動販売機の商品価格変更や注文取り消しに成功。GPT-5.4 miniを使ったCodex CLIエージェントへのデータ流出課題でも、GPT-5.5より高い有効性とトークン効率を示した。 GPT-Redによる訓練後、GPT-5.6 Solは同社の最難関ベンチマークで、4カ月前の最良モデルと比べて失敗を6分の1に削減した。GPT-5.6 SolのGPT-Redによる直接プロンプトインジェクションへの失敗率は0.05%。「Fake Chain-of-Thought」攻撃の成功率も、GPT-5.1の95%以上からGPT-5.6 Solでは10%未満に低下した。

OpenAIは、自動でAIの脆弱性を探す内部向けレッドチームモデル「GPT-Red」を開発した。同モデルを使ってGPT-5.6を敵対的に訓練し、プロンプトインジェクションへの耐性を高めた。GPT-Redは一般提供せず、運用するモデルとは分離して保持する。 AIがブラウザや接続アプリ、ローカルファイルなどの第三者データを扱う機会が増える中、悪意ある命令がメールやWebページ、ツールの出力などに埋め込まれるリスクがある。人によるレッドチームは重要だが、訓練に必要な攻撃例の量と多様性を確保しにくい課題があった。 GPT-Redは自己対戦型強化学習で訓練する。攻撃側のGPT-Redと複数の防御側LLMを同時に学習させ、攻撃の成功と防御の成功にそれぞれ報酬を与える仕組み。ローカルファイルやWebバナー、メール本文などに不正な命令が入る状況を再現し、応答を観察しながら攻撃を繰り返す。 未学習の間接プロンプトインジェクション環境では、GPT-5.1に対する攻撃成功率が84%となり、人のレッドチーム担当者の13%を上回った。実環境に近い検証では、AI搭載自動販売機の商品価格変更や注文取り消しに成功。GPT-5.4 miniを使ったCodex CLIエージェントへのデータ流出課題でも、GPT-5.5より高い有効性とトークン効率を示した。 GPT-Redによる訓練後、GPT-5.6 Solは同社の最難関ベンチマークで、4カ月前の最良モデルと比べて失敗を6分の1に削減した。GPT-5.6 SolのGPT-Redによる直接プロンプトインジェクションへの失敗率は0.05%。「Fake Chain-of-Thought」攻撃の成功率も、GPT-5.1の95%以上からGPT-5.6 Solでは10%未満に低下した。