使用Gaze-LLE需要进行以下安装和配置步骤:
Processo de instalação:
- Clonagem do Project Warehouse:
git clone https://github.com/fkryan/gazelle.git
- 进入项目目录并创建虚拟环境:
conda env create -f environment.yml
- Ative o ambiente e instale as dependências:
conda activate gazelle && pip install -e .
- 可选安装xformers加速:
pip3 install -U xformers
模型使用:
Gaze-LLE提供多种预训练模型选择,可通过PyTorch Hub快速加载:
- Modelo básico:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitb14')
- 大规模模型:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitl14')
预测输出:
模型会生成空间热图,数值范围[0,1]表示各位置被注视的概率。用户可以通过Colab演示笔记了解完整的多人注视预测实现流程。
Essa resposta foi extraída do artigoGaze-LLE: ferramenta de previsão de alvos para o olhar de pessoas em vídeosO