安装Long-VITA分为五个关键步骤:
- 代码克隆:通过git命令
git clone https://github.com/VITA-MLLM/Long-VITA.git
获取项目 - 环境配置:使用Conda创建Python 3.10虚拟环境并激活
- 依赖安装:执行
pip install -r requirements.txt
安装基础依赖,可选安装Flash Attention加速推理 - 模型下载:从Hugging Face获取16K/128K/1M token版本的预训练权重
- 硬件配置:GPU用户需确保CUDA环境,NPU用户需配置MindSpeed工具链
注意内存要求,1M token版本需要32GB以上显存,建议使用分布式推理模式提升效率。
本答案来源于文章《Long-VITA:支持超长上下文输出的视觉语言模型》