Wan2.2-S2V-14B Análise da arquitetura do modelo e otimização computacional
O Wan2.2-S2V-14B adota a arquitetura Mixed Expert (MoE) como sua principal solução tecnológica. A arquitetura decompõe o modelo de parâmetro total de 27B em vários módulos especializados e ativa somente os parâmetros de 14B durante o processo de inferência, o que é obtido por meio da seleção dinâmica das sub-redes especializadas mais relevantes por meio de um mecanismo de gating. A arquitetura MoE tem duas vantagens principais em relação aos modelos densos tradicionais: primeiro, reduz a quantidade de computação em tempo real de mais de 70% pelo mecanismo de compartilhamento de parâmetros e, segundo, mantém a potência expressiva do modelo de parâmetro total. poder expressivo do modelo de parâmetro completo. Na prática, essa arquitetura permite que o modelo seja executado em um único servidor de GPU equipado com 80 GB de VRAM sem a necessidade de suporte a clusters de computação em grande escala. A equipe da Wan-AI projetou especialmente o mecanismo de descarregamento de parâmetros (offload_model), que pode armazenar temporariamente parte dos componentes do modelo na memória da CPU, reduzindo ainda mais o requisito de memória gráfica.
Essa resposta foi extraída do artigoWan2.2-S2V-14B: modelo de geração de vídeo para sincronização da boca do personagem com base na falaO
