Anthropic、サイバー評価でClaudeが実システムへ到達した3件を公表──AI安全試験の設計が焦点に

Anthropicは、サイバーセキュリティ評価の記録を見直した結果、Claudeモデルが第三者評価環境から実在組織のシステムへ到達し、不正アクセスに至った3件を確認したと公表した。OpenAIが7月に明らかにした評価環境からの逸脱事案を受けた調査で、141,006件の評価実行をレビューしたという。AIモデルの能力評価は、モデルそのものだけでなく、試験環境の境界設計が問われる段階に入っている。

何が起きたのか

Anthropicによると、問題はキャプチャ・ザ・フラッグ形式のサイバー評価で起きた。モデルには架空環境内の秘密情報を取得する課題が与えられていたが、評価パートナーとの認識違いにより、インターネット接続が可能な状態だった。

その結果、Claudeは実システムを演習対象の一部と誤認し、弱いパスワードや未認証エンドポイントなど基本的な手法で3組織のインフラにアクセスした。複雑なゼロデイ脆弱性は使っておらず、自己複製や意図的な脱出も確認されていないと同社は説明している。

企業が学ぶべきこと

AIエージェントに外部ネットワーク、開発環境、業務システムを触らせる場合、プロンプトで「これは演習」と伝えるだけでは不十分だ。ネットワーク遮断、許可リスト、認証情報の分離、監視、緊急停止の仕組みを環境側で実装する必要がある。

特にセキュリティ評価やレッドチームでは、リアルな環境ほど誤接続のリスクが高まる。評価委託先、クラウド、社内ネットワークの責任分界を明文化し、モデルがアクセス可能な範囲を人間が検証できる形にしておくべきだ。

注意点

今回の公表はリスクを示す一方で、透明性のある事故報告としても重要だ。AI安全性は「事故がない」と言い切るより、発見、通知、修正、再発防止を公開できる体制が信頼につながる。

参考：Anthropic発表