このツールの画期的な特徴は、自然言語による対話型インターフェースで、ユーザーは検出対象の特徴を日常言語で記述できる。例えば、「サングラスをかけた男性を検出する」とか「赤色の輸送車両をすべて検出する」と入力すると、システムは意味的な文脈を理解し、正確な結果を出力する。このようなインタラクションは、専門的にラベル付けされたデータに依存する従来のコンピュータ・ビジョンを打破し、技術者でない人々でも簡単にAI機能を利用できるようにする。
この画期的な技術を実現する鍵となる技術は、大規模なマルチモーダル事前学習モデルによる視覚と言語の関連性の深い理解と、ターゲット検出タスクに最適化された推論アーキテクチャの2つの側面から構成されている。このシステムは、シーンの文脈を考慮しながら手がかりとなる言葉を処理する際に、主要な視覚的特徴を自動的に解析する。この高度な推論機能により、「会議室で話している人を検出する」といった複雑なコマンドを処理することができる。
実世界でのテストでは、「壊れた箱をすべて見つける」といった品質判断を必要とするタスクに直面した場合でも、システムは市販されている精度を達成している。この汎化能力は、モデルが何億枚もの画像に対する事前学習から得た常識的な理解に由来するもので、もはやドメイン固有のデータセットの限界に制限されることはない。
この答えは記事から得たものである。エージェントによる物体検出：注釈やトレーニングを必要としない視覚的物体検出ツールについて
