安装Chitu推理服务可分为以下步骤：
- Get Code：使用git命令克隆仓库
git clone --recursive https://github.com/thu-pacman/chituand enter the catalog - Installation of dependencies: Implementation
pip install -r requirements-build.txt安装基础依赖包，还需单独安装flash-attn优化组件 - compile and install：设置GPU架构参数后编译，如
TORCH_CUDA_ARCH_LIST=8.0 CHITU_SETUP_JOBS=4 MAX_JOBS=4 pip install --no-build-isolation . - test and verify: Run
torchrun --nproc_per_node 1 test/single_req_test.py进行基本测试
启动推理服务的具体方法是：
- 准备模型文件并确定存放路径
- 使用torchrun命令启动服务，指定模型路径和端口：
torchrun --nproc_per_node 1 chitu/serve.py serve.port=21002 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1 - 通过curl发送测试请求：
curl localhost:21002/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "你好，Chitu 是什么？"}]}'
如果仅需要单次测试，可以直接运行single_req_test.py脚本而无需启动完整服务。
This answer comes from the articleChitu (Red Rabbit): A High-Performance Large Language Modeling Reasoning Framework Launched by Tsinghua TeamThe
May not be reproduced without permission:AI productivity tools " 如何安装和测试Chitu的推理服务？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil