安装Chitu推理服务可分为以下步骤：
- コードを取得：使用git命令克隆仓库
git clone --recursive https://github.com/thu-pacman/chituをクリックし、カタログに入る。 - 依存関係のインストール実施
pip install -r requirements-build.txt安装基础依赖包，还需单独安装flash-attn优化组件 - コンパイルとインストール：设置GPU架构参数后编译，如
TORCH_CUDA_ARCH_LIST=8.0 CHITU_SETUP_JOBS=4 MAX_JOBS=4 pip install --no-build-isolation . - テストと検証走る
torchrun --nproc_per_node 1 test/single_req_test.py进行基本测试
启动推理服务的具体方法是：
- 准备模型文件并确定存放路径
- 使用torchrun命令启动服务，指定模型路径和端口：
torchrun --nproc_per_node 1 chitu/serve.py serve.port=21002 models=DeepSeek-R1 models.ckpt_dir=/data/DeepSeek-R1 - 通过curl发送测试请求：
curl localhost:21002/v1/chat/completions -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "你好，Chitu 是什么？"}]}'
如果仅需要单次测试，可以直接运行single_req_test.py脚本而无需启动完整服务。
この答えは記事から得たものである。Chitu (Red Rabbit): 清華チームが発表した高性能大規模言語モデル推論フレームワークについて
無断転載を禁じます：AI生産性ツール " 如何安装和测试Chitu的推理服务？
日本語 
简体中文 
English 
Deutsch 
Português do Brasil