OpenAIがSWE-Bench Proを監査──AIコーディング評価の「3割が壊れている」問題

OpenAIは、AIコーディング能力を測る代表的な評価セットの一つであるSWE-Bench Proを監査し、約30％のタスクに重大な問題があるとする分析を公開した。フロンティアモデルの合格率が短期間で大きく伸びるなか、評価そのものが正しい能力差を示しているのかが問われている。

AIコーディングを本番導入する企業にとって、これは単なる研究上の議論ではない。ベンチマークの数字をそのまま調達や安全判断に使うと、モデルの実力を過大評価するリスクがある。

何が問題だったのか

SWE-Bench Proは、実際のリポジトリ履歴から作られた長めのソフトウェア修正タスクで、エージェント型コーディング能力を測る目的で使われてきた。OpenAIによると、731件の公開タスクでは、フロンティアモデルの合格率が8カ月で23.3％から80.3％へ上昇した。

しかし監査では、データポイント分析パイプラインと複数のエンジニアレビューにより、200件以上のタスクに評価上の欠陥が見つかった。人手アノテーションでは249件、つまり34.1％が問題ありと判定された。

AI評価にもAIエージェントが使われ始めた

興味深いのは、OpenAIが評価データの品質確認に、モデル試行、メタデータ、失敗トレースを分析するパイプラインを使った点だ。AIを評価するために、別のAIエージェント的な仕組みが使われている。

これは、評価データの保守が人手だけでは追いつかない段階に入ったことを示している。モデルが強くなるほど、古いベンチマークはすぐに汚染、仕様不備、過学習の影響を受ける。評価基盤も継続的に監査する必要がある。

企業はベンチマークをどう読むべきか

導入企業は、モデル比較表の順位だけでなく、評価セットの性質を確認したい。自社のコードベース、テスト文化、レビュー基準に近いタスクで再評価しなければ、実務上の生産性や安全性は測れない。

AIコーディングの競争は、モデル性能だけでなく「公平で壊れにくい評価」を持てるかに移っている。調達や導入判断では、ベンチマークの数字を出発点としつつ、社内タスクでの検証を必須にすべきだ。

参考：OpenAI