安装Long-VITA分为五个关键步骤:
- 代码克隆:通过git命令
git clone https://github.com/VITA-MLLM/Long-VITA.git
Get the project - Environment Configuration:使用Conda创建Python 3.10虚拟环境并激活
- Dependent Installation: Implementation
pip install -r requirements.txt
安装基础依赖,可选安装Flash Attention加速推理 - Model Download:从Hugging Face获取16K/128K/1M token版本的预训练权重
- Hardware configuration:GPU用户需确保CUDA环境,NPU用户需配置MindSpeed工具链
注意内存要求,1M token版本需要32GB以上显存,建议使用分布式推理模式提升效率。
This answer comes from the articleLong-VITA: A Visual Language Model Supporting Very Long Contextual OutputsThe