O Story2Board resolve os três principais gargalos técnicos das ferramentas tradicionais por meio de um projeto arquitetônico inovador:
- Técnicas potenciais de ancoragem de painéisEstabelecimento de um ponto de referência de característica de caractere no espaço potencial garante que a geração subsequente esteja sempre ancorada nesse conjunto de características. Isso contrasta com as ferramentas normais de desenho de IA que criam recursos do zero para cada geração.
- Controle dinâmico da atençãoCaracterização de personagens: aprimora automaticamente a retenção das principais características dos personagens (por exemplo, penteado/roupa) ao gerar novos quadros, ajustando o peso do mecanismo de atenção do modelo do transformador.
- Fusão de recursos entre quadrosQuando a cena muda drasticamente, a tecnologia RAVM cria um canal de transferência de recursos entre vários quadros para evitar mudanças repentinas de caracteres.
Testes empíricos mostram que, sob as mesmas condições de palavras-chave, a precisão de retenção de traços de caráter do Story2Board é 60-80% maior do que a de modelos de uso geral, como o Stable Diffusion, que é particularmente adequado para a criação de narrativas longas que exigem um gerenciamento rigoroso dos caracteres.
Essa resposta foi extraída do artigoStory2Board: geração de scripts coerentes de tela dividida a partir de histórias em linguagem naturalO