O fluxo de trabalho completo para gerar um vídeo é dividido em cinco etapas:
- Preparação de documentos de instrução: em
./game_demo/instructions.txt
Insira instruções explícitas (personagem + ação + elementos da cena) no - Execução do raciocínio MLLM: Implementação
python inference_MLLM.py --instruction "具体指令"
Gerar uma representação de ação - decodificação de vídeo: através de
python inference_Decoder.py
Conversão de representações intermediárias em arquivos de vídeo - Exibir saídaOs resultados gerados são salvos no
./outputs
catálogo - Atualização de statusAlterações no status da função são registradas de forma síncrona no
state.json
Documentos
Dica especial:
1. quanto mais detalhado for o comando, mais preciso será o efeito gerado (por exemplo, "Sousuke dirige um carro antigo roxo na praia ao anoitecer").
2. as instruções de interação de personagens precisam especificar o relacionamento entre as duas partes (por exemplo, "Kiki pacientemente ensina Pazuzu a controlar a vassoura").
Essa resposta foi extraída do artigoAnimeGamer: uma ferramenta de código aberto para gerar vídeos de anime e interações de personagens com comandos linguísticosO