視覚長文脈AIの弱点に「ReToken」──長い動画・画像群から必要な場面を選ぶ軽量手法

University of Illinois Urbana-Champaign、Microsoft Research、Google DeepMindの研究者らは、視覚言語モデル（VLM）が長い動画や大量画像から質問に関係する視覚情報を探すための軽量手法「ReToken」を提案した。単一の学習可能なトークンを追加するだけで、Visual HaystacksではQwen3VL-8Bを13.4ポイント、InternVL3.5を12.4ポイント改善し、長尺動画ベンチマークLVBenchでもゼロショットで8.0ポイント改善したという。

長い映像を読むAIは、まだ「探す」ことが苦手だ

VLMは画像、動画、テキストをまとめて扱えるようになってきたが、長い視覚コンテキストでは問題が残る。1時間の動画や多数の画像の中で、質問に答えるために本当に必要なフレームはごく一部であり、すべてを一度に処理するとGPUメモリや計算量が重くなる。

研究チームは、従来のattentionベースの検索信号が視覚トークンの関連性をうまく示さないことを確認した。そこでReTokenは、質問に追加される1つの学習可能な埋め込みを検索ターゲットとして訓練し、視覚KVキャッシュから関連するフレームやトークンを選ぶ。VLM本体は基本的に凍結され、追加パラメータは小さい。

業務AIへの含意

この研究はすぐ製品機能になるとは限らないが、会議録画、監視映像、製造ライン動画、医療画像、現場作業記録のように長い視覚データを扱うAIに示唆がある。AIが動画全体を丸ごと読むのではなく、質問に関係する場面を効率よく選んでから答える設計は、コストと精度の両面で重要になる。

企業導入では、長文脈モデルの入力上限だけを見るのでは不十分だ。必要な情報を見つける検索性能、不要情報に惑わされない堅牢性、回答根拠として提示できるフレームや画像の説明可能性を評価したい。

注意点

論文の評価は特定ベンチマーク上の結果であり、現場映像や機密データで同じ改善が出るとは限らない。実運用では、データ品質、ラベル付け、プライバシー、誤検出時の影響を含めて検証する必要がある。

参考：Hugging Face Papers / arXiv HTML