硬件要求
要安装和使用FlashMLA,首先需要确保硬件环境满足要求:
- GPU:必须使用NVIDIA Hopper架构GPU,如H800 SXM5
- 其他:标准服务器硬件配置即可
软件环境
软件方面的要求包括:
- 操作系统:支持Linux系统(推荐Ubuntu 20.04或以上)
- CUDA版本:12.6或以上
- PyTorch版本:2.0或以上
- Python版本:3.8或以上
安装前的准备
在安装前需要:
- 确保安装了Git
- 验证CUDA是否可用:可使用命令
python -c "import torch; print(torch.cuda.is_available())"
本答案来源于文章《FlashMLA:优化Hopper GPU的MLA解码内核(DeepSeek 开源周第一天)》