NVIDIA、Physical AI向けAgent SkillsをCVPRで公開──ロボット研究をワークフロー化へ

NVIDIAはCVPRで、自動運転、ロボティクス、Vision AIの研究開発を加速するPhysical AI向けのAgent Skillsを公開した。これらはCosmos 3、Omniverse、Isaac Sim、Metropolis、OSMOなどと組み合わせ、データ生成、シミュレーション、方策学習、評価を一連のワークフローとして扱うための部品群だ。

Physical AIとは、ロボットや自動運転車のように現実世界で行動するAIを指す。課題はモデル単体の賢さだけではない。現実の場面を再構成し、珍しい失敗例を作り、方策を訓練し、挙動を評価する工程がバラバラなことが、研究開発の速度を落としている。

Agent Skillsが狙う領域

研究のボトルネックは「珍しい現実」を作ること

自動運転では、長い尾を引く希少ケースが問題になる。変わった道路形状、照明、歩行者や車両の予測しにくい動きは、現実に十分な回数を集めるのが難しい。NVIDIAは、フリートデータから3Dシーンを再構成し、条件を変えた合成シナリオを作ることで、同じ条件を繰り返し比較できるようにする。

製造業の外観検査でも同じ構図がある。欠陥は大量に起きてほしくないが、モデルを訓練・評価するには多様な欠陥例が必要だ。Agent Skillsで異常画像や動画の条件を制御しやすくなれば、現場導入前の検証が進めやすくなる。

日本企業にとっての見どころ

日本には自動車、FA、半導体製造装置、物流ロボットなど、Physical AIの適用先が多い。今回の発表は、ロボット開発が「実機を作って試す」だけでなく、シミュレーション、合成データ、評価基盤を前提にしたソフトウェア開発へ近づいていることを示す。

ただし、合成データやシミュレーションは現実の代替ではなく、現実を安全に拡張する手段だ。導入時は、実機データとのズレ、評価指標、失敗時の安全設計を確認する必要がある。Physical AIの競争力は、モデルだけでなく、データと検証ワークフローをどれだけ速く回せるかで決まり始めている。

参考：NVIDIA公式ブログ / NVIDIA Skills GitHub