安装Chitu推理服务可分为以下步骤：
- Code erhalten：使用git命令克隆仓库
git clone --recursive https://github.com/thu-pacman/chituund geben Sie den Katalog ein - Installation von Abhängigkeiten: Umsetzung
pip install -r requirements-build.txt安装基础依赖包，还需单独安装flash-attn优化组件 - kompilieren und installieren：设置GPU架构参数后编译，如
TORCH_CUDA_ARCH_LIST=8.0 CHITU_SETUP_JOBS=4 MAX_JOBS=4 pip install --no-build-isolation . - Testen und Prüfen: Lauf
torchrun --nproc_per_node 1 test/single_req_test.py进行基本测试
启动推理服务的具体方法是：
- 准备模型文件并确定存放路径
- 使用torchrun命令启动服务，指定模型路径和端口：
torchrun --nproc_per_node 1 chitu/serve.py serve.port=21002 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1 - 通过curl发送测试请求：
curl localhost:21002/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "你好，Chitu 是什么？"}]}'
如果仅需要单次测试，可以直接运行single_req_test.py脚本而无需启动完整服务。
Diese Antwort stammt aus dem ArtikelChitu (Red Rabbit): Ein hochleistungsfähiges Reasoning-Framework für große Sprachmodelle vom Tsinghua-TeamDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 如何安装和测试Chitu的推理服务？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil