异构计算架构适配方案
对于国产芯片等非NVIDIA平台，Chitu提供以下适配方法:
- Compile Optimization: by modifying the
TORCH_CUDA_ARCH_LIST参数匹配目标芯片的计算能力版本 - 算子重写: Replacement
kernels/目录下的CUDA内核为OpenCL/Metal实现 - Precision Adjustment：在编译时指定
ENABLE_FP16=OFF关闭不支持的精度模式 - Memory Optimization: Adjustments
infer.memory_fraction参数适应不同的显存管理机制
实施步骤：(1)在目标设备上运行device_query.py确认计算能力(2)参考docs/custom_hardware.md修改CMAKE配置(3)使用--build-only参数重新编译。目前已知对昇腾910B的适配需额外安装CANN工具包。
This answer comes from the articleChitu (Red Rabbit): A High-Performance Large Language Modeling Reasoning Framework Launched by Tsinghua TeamThe
May not be reproduced without permission:AI productivity tools " 如何在不同计算架构(如国产芯片)上实现大模型的高效推理？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil