NVIDIAら、AI事故共有指針SAFEを提案──エージェント時代の共同防御へ

Open Secure AI Allianceのメンバーは、エージェント型AIのサイバーセキュリティ事故やニアミスを共有するための指針「Shared AI Findings Exchange（SAFE）」のRFCを進めている。Linux Foundationが提案を公開し、NVIDIA、Cisco、CrowdStrike、Hugging Face、Red Hatなどが初期案に関わる。

AIエージェントは、モデル単体ではなく、ID、権限、ツール、実行環境、ログ、評価基盤を含むシステムとして動く。事故情報を閉じたままにすると、同じ失敗が各社で繰り返される。SAFEは、機密性を保ちながら知見を共有し、共同防御に変えるための枠組みだ。

SAFEが目指すもの

NVIDIAの説明によれば、SAFEはAIインシデントやニアミスを機密に収集・分析し、影響を受ける関係者に通知し、繰り返し起きる制御不全を特定し、根拠に基づく運用推奨を公開することを狙う。

背景には、エージェントが人間より速いサイクルで探索、実行、連携できるようになったことがある。防御側も、単一企業の閉じた対応ではなく、脅威インテリジェンスを共有する仕組みが必要になる。

なぜ企業導入に関係するのか

AIエージェントを営業、開発、CS、セキュリティ運用に接続すると、利便性は高い一方で、誤操作、権限逸脱、データ漏洩、ツール汚染、プロンプトインジェクションのリスクも増える。SAFEのような共有枠組みは、企業が「何を監査し、どの事故をどう報告するか」を考える出発点になる。

NVIDIAは、NOOA、OpenShell、Nemotron、Cosmos、Isaac GR00T、NeMo Guardrails、Garakなど、自社のオープンなセキュリティ関連ツール群も紹介している。特に、エージェントスキルのリスクスキャンや暗号署名は、今後の運用管理で重要な論点になりそうだ。

注意点

SAFEは提案段階のRFCであり、各企業がそのまま採用できる完成規格ではない。とはいえ、AIエージェントの事故情報をどの粒度で共有し、どのように再発防止へつなげるかは、規制や監査の議論にも影響する可能性がある。

参考：NVIDIA Blog / Linux Foundation