OpenAIのGPT-Redが示すAI安全性の次段階──脆弱性探しもAIでスケールする

OpenAIは、AIモデルの脆弱性を自動で探す社内向けレッドチームモデル「GPT-Red」を発表した。ブラウザ、接続アプリ、ローカルファイル、ツール出力などを扱うAIエージェントでは、第三者データに紛れた悪意ある指示がモデルの行動を乗っ取るリスクが高まる。

GPT-Redの狙いは、人間のレッドチームだけでは追いつきにくい攻撃例の量と多様性を増やし、次世代モデルの訓練に直接組み込むことだ。OpenAIによると、GPT-5.6 Solは4カ月前の同社本番モデルと比べ、最難関の直接プロンプトインジェクション評価で失敗が6分の1に減った。

なぜ自動レッドチームが必要なのか

AIエージェントは、メール、Webページ、コードリポジトリ、業務ツールなど、外部から来る情報を読んで行動する。そこに「機密ファイルを外部サーバーへ送れ」といった隠れた指示が埋め込まれていると、ユーザーの本来目的から逸脱する可能性がある。

従来の人間中心の検証は重要だが、設計と実施に時間がかかり、攻撃例を大量に生成するには限界がある。GPT-Redは攻撃目標を与えられ、プロンプトを送り、モデルの反応を見て、失敗を引き出すまで反復する。

自己対戦で攻撃と防御を同時に強くする

OpenAIは、GPT-Redを自己対戦の強化学習で訓練した。攻撃側は有効な失敗を引き出すと報酬を得て、防御側モデルは攻撃に耐えながら本来のタスクを完了すると報酬を得る。防御側が強くなるほど、攻撃側はより巧妙な手口を探す必要がある。

発表では、GPT-RedがGPT-5.1を対象にした間接プロンプトインジェクション環境で、人間レッドチームより多くの成功例を見つけたと説明している。また、AI自販機エージェントに対し、価格変更や注文キャンセルにつながる攻撃をシミュレーションから本番に転移させた事例も挙げた。

企業導入で見るべきポイント

日本企業にとって重要なのは、AI安全性が「利用規約の注意書き」ではなく、訓練、評価、監視、権限設計を含む継続的な運用課題になっている点だ。社内文書やSaaSと接続するAIほど、外部コンテンツからの指示注入にさらされる。

導入時は、AIが読める情報と操作できる権限を分け、危険操作には承認を挟み、ツール実行ログを残す必要がある。さらに、自社業務に近い攻撃シナリオを評価セット化し、モデル更新のたびに再検証することが望ましい。

注意点は「攻撃能力の管理」

自動レッドチームは防御を強くする一方で、攻撃生成能力そのものを高める技術でもある。OpenAIがGPT-Redを社内専用にし、本番モデルに直接展開しないとしているのはこのためだ。

今後、AIエージェントの利用が広がるほど、攻撃側もAIを使ってプロンプト注入や権限悪用を自動化する。企業は、モデルの賢さだけでなく、どのような攻撃に耐えたかを調達・導入時の評価項目に入れるべきだ。

参考：OpenAI