O Goku é um modelo de geração multimodal de última geração com uma arquitetura de tecnologia central baseada na transformação de fluxo. O modelo alcança a interação dinâmica entre marcadores de imagem e vídeo por meio de uma formulação inovadora de transformação de fluxo, que melhora significativamente a coerência e os detalhes do conteúdo gerado. A técnica de transformação de fluxo permite que o modelo estabeleça transições suaves entre quadros de vídeo no espaço latente, o que resolve o problema do salto de quadros, comum nos métodos tradicionais.
Como um modelo co-gerativo, o Goku tem a capacidade de processar imagens estáticas e vídeos em movimento. Esse design rompe as limitações dos geradores unimodais tradicionais e permite que o modelo compartilhe as representações de recursos subjacentes de imagens e vídeos, melhorando assim a eficiência da utilização de dados. Dados experimentais mostram que, em testes de benchmark padrão, a qualidade de geração de vídeo do Goku supera o modelo de linha de base em 231 TP3T, especialmente em recursos de granulação fina, como expressões de personagens e texturas de objetos.
Os aplicativos do setor demonstram que a arquitetura federada da tecnologia é especialmente adequada para cenários que exigem transformações entre modalidades, como a transformação de pôsteres de mercadorias (imagens) em anúncios dinâmicos (vídeos). Um mecanismo de compartilhamento de parâmetros dentro do modelo garante a eficácia da migração de conhecimento entre diferentes tarefas de geração.
Essa resposta foi extraída do artigoGoku: gera vídeos detalhados e consistentes, ideais para a criação de comerciais com personagens e objetos detalhados.O
