异构计算架构适配方案
对于国产芯片等非NVIDIA平台，Chitu提供以下适配方法:
- 编译优化: durch Änderung der
TORCH_CUDA_ARCH_LIST参数匹配目标芯片的计算能力版本 - 算子重写: Ersatz
kernels/目录下的CUDA内核为OpenCL/Metal实现 - 精度调整：在编译时指定
ENABLE_FP16=OFF关闭不支持的精度模式 - Optimierung des SpeichersAnpassungen
infer.memory_fraction参数适应不同的显存管理机制
实施步骤：(1)在目标设备上运行device_query.py确认计算能力(2)参考docs/custom_hardware.md修改CMAKE配置(3)使用--build-only参数重新编译。目前已知对昇腾910B的适配需额外安装CANN工具包。
Diese Antwort stammt aus dem ArtikelChitu (Red Rabbit): Ein hochleistungsfähiges Reasoning-Framework für große Sprachmodelle vom Tsinghua-TeamDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 如何在不同计算架构(如国产芯片)上实现大模型的高效推理？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil