O Seed Diffusion demonstra desempenho superior em vários benchmarks de revisão de código autorizados:
- O desempenho é comparável ao de modelos autorregressivos do mesmo tamanho em benchmarks como LiveCodeBench, Bigcode Bench, Mbpp e Human Eval
- Na tarefa de edição de código, o modelo de difusão supera o modelo autorregressivo tradicional devido à sua propriedade de perspectiva global
- Particularmente hábil em lidar com tarefas que exigem raciocínio estruturado, como renomeação de variáveis, refatoração de funções etc., e pode garantir a consistência global das modificações
Isso se deve principalmente ao seu mecanismo de treinamento em dois estágios: primeiro, aprender a capacidade de completar códigos por meio do treinamento de difusão de máscaras e, depois, aprimorar a racionalidade global por meio do treinamento de difusão de edições.
Essa resposta foi extraída do artigoDifusão de sementes: validação de modelos de linguagem de alta velocidade para arquiteturas de última geraçãoO