O Seed Diffusion atinge uma velocidade de inferência revolucionária por meio da decodificação paralela, com uma capacidade de processamento de 2.146 caracteres (tokens) por segundo, 5,4 vezes mais rápido do que um modelo autorregressivo tradicional do mesmo tamanho. Esse avanço se deve ao método de geração exclusivo do modelo de difusão: em vez da saída sequencial palavra por palavra, ele é processado em paralelo como um todo.
Ao mesmo tempo em que mantém a geração em alta velocidade, o desempenho do modelo é comparável ao de modelos autorregressivos do mesmo tamanho em vários benchmarks de revisão de código, como o LiveCodeBench e o Bigcode Bench. Esse desempenho de alta velocidade o torna particularmente adequado para cenários de desenvolvimento que exigem iteração rápida, proporcionando aos desenvolvedores uma experiência de geração de código quase em tempo real.
Essa resposta foi extraída do artigoDifusão de sementes: validação de modelos de linguagem de alta velocidade para arquiteturas de última geraçãoO