Google DeepMind、二重盲検のAI評価を試験導入──ベンチマーク汚染に暗号技術で対抗

Google DeepMindは、独自のフロンティアAIモデルを対象にした「二重盲検評価」の試験導入を発表した。AIモデルが評価問題を事前に見てしまうベンチマーク汚染を抑え、外部評価の信頼性を高める狙いがある。

なぜ二重盲検が必要なのか

高度なAIモデルでは、学習データや開発過程で評価用プロンプトに触れてしまうと、実力以上のスコアが出る恐れがある。これは試験前に問題を見てしまう学生に近い。政策当局、研究者、企業がモデルの能力や安全性を判断するには、評価問題が守られていること自体を技術的に示す必要がある。

仕組みの概要

今回の試験では、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと連携し、機密ベンチマークをプライバシー保護環境の中に閉じ込める。Google DeepMindはこれを暗号的な「箱」と表現しており、モデル開発側が問題を取り出して最適化に使うリスクを下げる。

企業導入への意味

生成AIを調達する企業にとって、ベンチマークの数字だけを比較する危うさは増している。重要なのは、評価データが漏れていないか、外部機関がどの条件で検証したか、実務タスクに近い評価があるかだ。二重盲検の考え方は、社内PoCにも応用できる。

注意点

二重盲検評価は万能ではない。評価項目の妥当性、実運用でのログ監査、モデル更新後の再評価は別途必要になる。それでも、AI安全性を「自己申告」から「検証可能なプロセス」へ進める動きとして注目できる。

参考リンク：Google DeepMind