NVIDIA Cosmos 3を1日で後処理──視覚推論モデルの現場適応はAIエージェントが担う段階へ

NVIDIAは、Physical AI向けの世界基盤モデル「Cosmos 3 Nano」を、AIエージェントとTAOのエージェントスキルで1日以内に後処理する手順を公開した。対象は、動画を見て質問に答えるビデオQAタスクで、現場固有のカメラ角度や環境に視覚推論モデルを適応させる。

発表によると、LoRAを使った1回の後処理でゼロショットの正解率は54.41%から87.14%へ上がり、TAO AutoMLによる設定探索で最大93.35%に達した。数日かかる準備と実験を、自然言語プロンプト中心のワークフローへ圧縮する狙いだ。

Cosmos 3は何を担うモデルか

Cosmos 3は、テキスト、画像、動画、環境音、行動追跡を統合するPhysical AI向けのオムニモーダル世界モデルだ。推論と計画を担う自己回帰トランスフォーマーと、将来状態や行動を生成する拡散トランスフォーマーを組み合わせる。

ただし、基盤モデルが高性能でも、実際の現場ではドメイン適応が必要になる。倉庫、道路、工場、店舗では、カメラ位置、照明、物体、例外ケースが異なるため、汎用モデルのままでは十分でないことがある。

AIエージェントが実験運用を肩代わりする

視覚推論モデルの後処理では、データ整形、コンテナ設定、訓練スクリプト、ベースライン評価、ハイパーパラメータ探索など、多くの手作業が発生する。NVIDIA TAOのエージェントスキルは、この知識をパッケージ化し、コーディングエージェントが正しい手順を組み立てられるようにする。

今回の例では、LoRAが全パラメータ更新より少ないGPU時間で適応を実現する。NVIDIAは、Cosmos 3 NanoではLoRA後処理がフルパラメータSFTより約7倍少ないGPU時間で済むと説明している。

現場AIの競争軸は「適応速度」へ

Physical AIでは、モデルを選ぶだけでなく、現場データに合わせてどれだけ速く改善できるかが重要になる。安全監視、交通解析、ロボット作業セル、倉庫モニタリングなどは、環境が変わるたびに再評価と微調整が必要だ。

AIエージェントが実験環境を立ち上げ、失敗を直し、AutoMLで候補を探索できれば、専門チームの負担は下がる。小さな改善サイクルを高頻度で回せる企業ほど、現場AIの精度と信頼性を上げやすい。

導入時の注意点

精度向上の数字は魅力的だが、自社現場で同じだけ改善するとは限らない。データの偏り、評価セットの作り方、選択肢式タスクと実運用タスクの違いを確認する必要がある。

また、AIエージェントに訓練作業を任せる場合でも、データ利用権、秘密情報、計算資源、採用基準は人間が管理すべきだ。現場導入では、最高精度だけでなく、失敗例、再現性、推論遅延、更新手順までセットで評価することが欠かせない。

参考：NVIDIA Technical Blog