环境限制说明
HRM默认依赖CUDA扩展，但可通过以下方案在AMD/Intel显卡上运行：
alternative
- 方案1：CPU模式
- 安装PyTorch的CPU版本：pip install torch –cpu
- 修改代码中所有.cuda()调用为.cpu()
- 设置环境变量：export CUDA_VISIBLE_DEVICES=-1
注：推理速度降低约10倍
- 方案2：ROCm转换
- 安装PyTorch的ROCm版本
- 使用torch.compile()启用自动优化
- 重写CUDA内核为HIP代码
- 方案3：云服务代理
- 通过ONNX Runtime部署到Azure ML
- 使用TensorRT-LLM转换模型
性能对比
| 设备 | 相对速度 | memory footprint |
|---|---|---|
| RTX 4090 | 100% | 8GB |
| AMD MI250 | 85% | 11GB |
| Intel Xeon | 12% | 32GB |
This answer comes from the articleHRM: Hierarchical Reasoning Model for Complex ReasoningThe
May not be reproduced without permission:AI productivity tools " 如何在非NVIDIA显卡环境下使用HRM进行推理？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil