Esquema de treinamento distribuído do TinyZero
O TinyZero foi projetado com uma arquitetura paralela paramétrica exclusiva que adapta automaticamente a configuração do hardware de acordo com o tamanho do modelo. Para modelos com parâmetros abaixo de 1,5B, o sistema oferece uma solução completa de suporte a uma única GPU; ao lidar com modelos com parâmetros acima de 3B, a computação paralela de várias GPUs é obtida por meio do parâmetro ROLLOUT_TP_SIZE, o que é especialmente bom para modelos como o QWen-2.5-3B Instruct, que exige recursos de raciocínio complexos. A implementação técnica usa a estrutura distribuída ray combinada com a otimização de atenção vLLM 0.6.3, juntamente com a tecnologia de otimização de memória do flash-attn, para melhorar a eficiência da comunicação multicartão em mais de 40%.
- Adaptação de hardware: reconhecimento automático das variáveis de ambiente N_GPUS
- Tecnologia principal: o backend de atenção XFORMERS garante a consistência de vários cartões
- Escalabilidade: suporta escalonamento contínuo de tamanhos de parâmetros
Essa resposta foi extraída do artigoTinyZero: uma réplica de baixo custo do efeito epifânico do DeepSeeK-R1 ZeroO
