使用Gaze-LLE需要进行以下安装和配置步骤:
インストールプロセス:
- クローン・プロジェクト・ウェアハウス
git clone https://github.com/fkryan/gazelle.git
- 进入项目目录并创建虚拟环境:
conda env create -f environment.yml
- 環境をアクティブにし、依存関係をインストールする:
conda activate gazelle && pip install -e .
- 可选安装xformers加速:
pip3 install -U xformers
模型使用:
Gaze-LLE提供多种预训练模型选择,可通过PyTorch Hub快速加载:
- ベースモデル:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitb14')
- 大规模模型:
torch.hub.load('fkryan/gazelle', 'gazelle_dinov2_vitl14')
预测输出:
模型会生成空间热图,数值范围[0,1]表示各位置被注视的概率。用户可以通过Colab演示笔记了解完整的多人注视预测实现流程。
この答えは記事から得たものである。Gaze-LLE:映像中の人物注視のターゲット予測ツールについて