海外访问：www.kdjingpai.com

Ctrl + D 收藏本站

当前位置：首页 » AI答疑

如何在不同计算架构(如国产芯片)上实现大模型的高效推理？

2025-08-29

1.1 K

异构计算架构适配方案

对于国产芯片等非NVIDIA平台，Chitu提供以下适配方法:

编译优化：通过修改TORCH_CUDA_ARCH_LIST参数匹配目标芯片的计算能力版本
算子重写：替换kernels/目录下的CUDA内核为OpenCL/Metal实现
精度调整：在编译时指定ENABLE_FP16=OFF关闭不支持的精度模式
内存优化：调整infer.memory_fraction参数适应不同的显存管理机制

实施步骤：(1)在目标设备上运行device_query.py确认计算能力(2)参考docs/custom_hardware.md修改CMAKE配置(3)使用--build-only参数重新编译。目前已知对昇腾910B的适配需额外安装CANN工具包。

本答案来源于文章《Chitu（赤兔）：清华团队推出的高性能大语言模型推理框架》

相关文章

未经允许不得转载：AI生产力工具 » 如何在不同计算架构(如国产芯片)上实现大模型的高效推理？

相关推荐