安装部署指南
硬件和软件要求
- 硬件:NVIDIA GPU(推荐至少24GB显存)
- 系统:支持CUDA 11.x或12.x
- 软件:Python 3.9+、Git、Conda
详细安装步骤
- 克隆项目仓库:使用
git clone https://github.com/InternLM/InternLM-XComposer.git
- 创建虚拟环境:推荐使用Conda隔离开发环境
- 安装依赖:包括PyTorch(CUDA版本)、transformers等核心库
- 可选安装flash-attention2以优化GPU内存
- 下载预设模型权重:可通过Hugging Face获取
验证安装
可以运行提供的示例脚本simple_chat.py
来测试环境配置是否成功。若遇到显存不足问题,可尝试4-bit量化版本或调整hd_num
参数。
本答案来源于文章《InternLM-XComposer:输出超长文本与图像视频理解的多模态大模型》