O modelo Seed Diffusion aprende o conhecimento estruturado a priori do código por meio da inovadora técnica "Constraint Order Diffusion" para obter uma compreensão mais profunda das dependências lógicas de uma linguagem de programação. Essa técnica permite que o modelo reconheça os principais princípios de programação, como "as variáveis precisam ser declaradas antes de serem usadas".
O modelo adota uma estratégia de treinamento em duas fases: treinamento de difusão baseado em máscara para desenvolver a capacidade local de preenchimento de contexto e, em seguida, treinamento de difusão baseado em edição para fortalecer o julgamento global de razoabilidade do código. Essa abordagem de treinamento proporciona ao modelo uma excelente capacidade de refatoração de código e mantém a consistência geral ao renomear variáveis ou fazer alterações lógicas.
Essa resposta foi extraída do artigoDifusão de sementes: validação de modelos de linguagem de alta velocidade para arquiteturas de última geraçãoO