Gaze-LLE是一款基于大规模学习编码器的注视目标预测工具,由Fiona Ryan、Ajay Bati等研究人员开发。该工具的核心目标是通过预训练的视觉基础模型(如DINOv2)高效预测视频或图像中人物的注视目标。
Its main functions include:
- Focus on target forecasting:利用预训练的视觉编码器准确预测注视位置
- Multi-gaze prediction:可同时处理单张图像中的多个人物
- Lightweight Architecture:仅需在冻结的预训练编码器上学习轻量级解码器
- Multi-model support:提供基于不同骨干网络(ViT-B/ViT-L)和训练数据的预训练模型
与同类工具相比,Gaze-LLE的突出优势是参数规模减小了1-2个数量级,且不需要额外的输入模态(如深度或姿态信息)。
This answer comes from the articleGaze-LLE: A Target Prediction Tool for Character Gaze in VideoThe