安装Chitu推理服务可分为以下步骤：
- Obter código：使用git命令克隆仓库
git clone --recursive https://github.com/thu-pacman/chitue insira o catálogo - Instalação de dependências: Implementação
pip install -r requirements-build.txt安装基础依赖包，还需单独安装flash-attn优化组件 - compilar e instalar：设置GPU架构参数后编译，如
TORCH_CUDA_ARCH_LIST=8.0 CHITU_SETUP_JOBS=4 MAX_JOBS=4 pip install --no-build-isolation . - teste e verificação: Executar
torchrun --nproc_per_node 1 test/single_req_test.py进行基本测试
启动推理服务的具体方法是：
- 准备模型文件并确定存放路径
- 使用torchrun命令启动服务，指定模型路径和端口：
torchrun --nproc_per_node 1 chitu/serve.py serve.port=21002 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1 - 通过curl发送测试请求：
curl localhost:21002/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "你好，Chitu 是什么？"}]}'
如果仅需要单次测试，可以直接运行single_req_test.py脚本而无需启动完整服务。
Essa resposta foi extraída do artigoChitu (Red Rabbit): uma estrutura de raciocínio de modelo de linguagem grande e de alto desempenho lançada pela equipe da TsinghuaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 如何安装和测试Chitu的推理服务？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch