在安装使用Chitu前,需要做好以下环境准备工作:
- オペレーティングシステム:推荐使用Ubuntu 22.04系统,这是经过官方验证的稳定运行环境
- ハードウェア構成:需要配备NVIDIA GPU的机器,如A800或H20等型号。如果是国产芯片,可能需要额外的适配工作
- ソフトウェア依存::
- Git:用于代码版本控制和下载
- Python 3.10:Chitu运行的Python环境
- CUDA 12.1:需要根据实际GPU型号选择匹配的CUDA版本
- PyTorch 2.1:建议使用指定版本的PyTorch框架
- システムツール:需要安装基础的编译工具链,因为部分组件需要本地编译
具体安装命令示例:
sudo apt update && sudo apt install -y git python3.10 python3-pip
pip install -U torch==2.1 --index-url https://download.pytorch.org/whl/cu121
值得注意的是,不同GPU型号可能需要调整CUDA架构参数(TORCH_CUDA_ARCH_LIST),比如A800需要设置成8.0。
この答えは記事から得たものである。Chitu (Red Rabbit): 清華チームが発表した高性能大規模言語モデル推論フレームワークについて