异构计算架构适配方案
对于国产芯片等非NVIDIA平台，Chitu提供以下适配方法:
- 编译优化: modificando o
TORCH_CUDA_ARCH_LIST参数匹配目标芯片的计算能力版本 - 算子重写: Substituição
kernels/目录下的CUDA内核为OpenCL/Metal实现 - Ajuste de precisão：在编译时指定
ENABLE_FP16=OFF关闭不支持的精度模式 - Otimização de memória: Ajustes
infer.memory_fraction参数适应不同的显存管理机制
实施步骤：(1)在目标设备上运行device_query.py确认计算能力(2)参考docs/custom_hardware.md修改CMAKE配置(3)使用--build-only参数重新编译。目前已知对昇腾910B的适配需额外安装CANN工具包。
Essa resposta foi extraída do artigoChitu (Red Rabbit): uma estrutura de raciocínio de modelo de linguagem grande e de alto desempenho lançada pela equipe da TsinghuaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 如何在不同计算架构(如国产芯片)上实现大模型的高效推理？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch