A configuração de hardware recomendada para a Etapa 3 é de 4 GPUs A800/H800 com 80 GB de memória de vídeo para obter o desempenho ideal. No entanto, ele também suporta a execução em um único ambiente de GPU, mas a inferência será relativamente lenta.
Os pesos do modelo são fornecidos nos formatos bf16 e block-fp8, o último dos quais reduz os requisitos de memória de vídeo e permite que o modelo seja executado em hardware com recursos limitados. Os desenvolvedores podem escolher o formato de peso apropriado de acordo com suas condições de hardware.
Para implantações de produção, recomenda-se uma configuração com várias GPUs para melhorar o rendimento e a capacidade de resposta. Para fins de desenvolvimento ou teste, um único ambiente de GPU também pode atender aos requisitos básicos.
Essa resposta foi extraída do artigoEtapa 3: geração eficiente de macromodelos de código aberto para conteúdo multimodalO
