Requisitos de hardware
要安装和使用FlashMLA,首先需要确保硬件环境满足要求:
- GPU:必须使用NVIDIA Hopper架构GPU,如H800 SXM5
- 其他:标准服务器硬件配置即可
ambiente de software
软件方面的要求包括:
- 操作系统:支持Linux系统(推荐Ubuntu 20.04或以上)
- CUDA版本:12.6或以上
- PyTorch版本:2.0或以上
- Python版本:3.8或以上
安装前的准备
在安装前需要:
- 确保安装了Git
- 验证CUDA是否可用:可使用命令
python -c "import torch; print(torch.cuda.is_available())"
Essa resposta foi extraída do artigoFlashMLA: Otimizando kernels de decodificação MLA para GPUs Hopper (DeepSeek Open Source Week Day 1)O