Gaze-LLE是一款基于大规模学习编码器的注视目标预测工具,由Fiona Ryan、Ajay Bati等研究人员开发。该工具的核心目标是通过预训练的视觉基础模型(如DINOv2)高效预测视频或图像中人物的注视目标。
其主要功能包括:
- 注视目标预测:利用预训练的视觉编码器准确预测注视位置
- 多人注视预测:可同时处理单张图像中的多个人物
- 轻量级架构:仅需在冻结的预训练编码器上学习轻量级解码器
- 多模型支持:提供基于不同骨干网络(ViT-B/ViT-L)和训练数据的预训练模型
与同类工具相比,Gaze-LLE的突出优势是参数规模减小了1-2个数量级,且不需要额外的输入模态(如深度或姿态信息)。
本答案来源于文章《Gaze-LLE: 视频中人物注视目标预测工具》