当前位置：首页 » AI答疑

Chitu是清华大学PACMAN团队推出的高效大语言模型推理框架

2025-08-29

1.1 K

Chitu框架的核心背景与定位

Chitu（赤兔）是由清华大学PACMAN团队研发的下一代大语言模型推理框架。作为专为生产环境设计的开源工具，它主要解决企业在实际部署大模型时面临的两个关键挑战：计算资源消耗过高和硬件适配性的问题。该框架名称取自中国古代名马’赤兔’，象征着其追求高效和速度的技术目标。

在A800 GPU上运行DeepSeek-671B模型的测试中，Chitu相比业界流行的vLLM框架展现出显著优势：不仅GPU使用量减少一半，推理速度还提高了300%。这使得它特别适合需要平衡性能与成本的中大型AI项目。