Gaze-LLE是一款基于大规模学习编码器的注视目标预测工具,由Fiona Ryan、Ajay Bati等研究人员开发。该工具的核心目标是通过预训练的视觉基础模型(如DINOv2)高效预测视频或图像中人物的注视目标。
主な機能は以下の通り:
- ターゲット予測に重点を置く:利用预训练的视觉编码器准确预测注视位置
- 複数の視線による予測:可同时处理单张图像中的多个人物
- 軽量アーキテクチャ:仅需在冻结的预训练编码器上学习轻量级解码器
- マルチモデル対応:提供基于不同骨干网络(ViT-B/ViT-L)和训练数据的预训练模型
与同类工具相比,Gaze-LLE的突出优势是参数规模减小了1-2个数量级,且不需要额外的输入模态(如深度或姿态信息)。
この答えは記事から得たものである。Gaze-LLE:映像中の人物注視のターゲット予測ツールについて