使用Gaze-LLE需要进行以下安装和配置步骤:
Installation Process:
- Cloning Project Warehouse:
git clone https://github.com/fkryan/gazelle.git
- 进入项目目录并创建虚拟环境:
conda env create -f environment.yml
- Activate the environment and install dependencies:
conda activate gazelle && pip install -e .
- 可选安装xformers加速:
pip3 install -U xformers
模型使用:
Gaze-LLE提供多种预训练模型选择,可通过PyTorch Hub快速加载:
- Base model:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitb14')
- 大规模模型:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitl14')
预测输出:
模型会生成空间热图,数值范围[0,1]表示各位置被注视的概率。用户可以通过Colab演示笔记了解完整的多人注视预测实现流程。
This answer comes from the articleGaze-LLE: A Target Prediction Tool for Character Gaze in VideoThe