Requisitos de hardware
Para instalar e usar o FlashMLA, primeiro você precisa garantir que seu ambiente de hardware atenda aos requisitos:
- GPU: deve usar a GPU de arquitetura NVIDIA Hopper, como a H800 SXM5
- Outro: a configuração de hardware de servidor padrão é suficiente
ambiente de software
Os requisitos de software incluem:
- Sistema operacional: compatível com Linux (recomenda-se o Ubuntu 20.04 ou superior)
- Versão CUDA: 12.6 ou superior
- Versão do PyTorch: 2.0 ou superior
- Versão do Python: 3.8 ou superior
Preparação antes da instalação
Necessário antes da instalação:
- Certifique-se de que o Git esteja instalado
- Verifique se o CUDA está disponível: você pode usar o comando
python -c "import torch; print(torch.cuda.is_available())"
Essa resposta foi extraída do artigoFlashMLA: Otimizando kernels de decodificação MLA para GPUs Hopper (DeepSeek Open Source Week Day 1)O
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Quais ambientes de hardware e software são necessários para instalar o FlashMLA?
