Story2Board: geração de scripts coerentes de tela dividida a partir de histórias em linguagem natural

O Story2Board é uma estrutura de IA sem treinamento que converte automaticamente uma história de texto escrita em linguagem natural em um conjunto de storyboards visuais coerentes e expressivos. O Story2Board resolve o problema de que as ferramentas tradicionais de desenho de IA muitas vezes têm dificuldade em manter a consistência das imagens dos personagens e dos estilos de cena ao gerar imagens sucessivas, garantindo que o protagonista mantenha a mesma aparência em imagens diferentes e, ao mesmo tempo, levando em conta a composição, as mudanças de fundo e o ritmo narrativo das imagens, para gerar uma história visual cinematográfica. A ferramenta usa uma técnica chamada "Latent Panel Anchoring" (ancoragem de painel latente) para direcionar os traços do personagem e "Mutual Attention Value Blending" (mistura de valores de atenção mútua) para misturar elementos visuais em diferentes quadros, melhorando significativamente a narrativa e a coerência da história sem modificar o modelo de IA subjacente. Isso melhora significativamente a coerência e o efeito narrativo do storyboard sem modificar o modelo de IA subjacente. Para cineastas, roteiristas e criadores de conteúdo, essa é uma ferramenta útil para visualizar rapidamente ideias textuais.

Lista de funções

• Conversão de texto em scripts de pontuaçãoDescrição: A história em linguagem natural inserida pelo usuário é automaticamente analisada em prompts específicos (Prompts) adequados para cada quadro por meio de um modelo de linguagem em larga escala (LLM).
• Manutenção da consistência da funçãoO Latent Panel Anchoring é usado para garantir que o mesmo personagem em uma história mantenha uma aparência e uma identidade consistentes em todos os quadros sucessivos.
• Aumento da coerência da cenaA tecnologia RAVM (Reciprocal Attention Value Mixing) mescla suavemente as características visuais das diferentes imagens, resultando em transições de cena mais naturais e em uma narrativa mais coerente.
• Não é necessário treinamento de modelosComo uma estrutura de "treinamento conforme o uso", os usuários não precisam treinar novamente ou ajustar qualquer modelo de IA e podem se basear diretamente nos modelos Vincennes de última geração existentes, como FLUXO.1-dev) usado nele.
• Descrição flexível do cenárioSuporte a descrições independentes do quadro de referência e dos quadros subsequentes: o usuário tem controle preciso sobre o conteúdo de cada quadro da tela dividida, incluindo os movimentos, as expressões e o ambiente de fundo do personagem.
• Resultados reproduzíveisAs imagens geradas e as palavras-chave específicas usadas para gerá-las são salvas juntas no diretório de saída, facilitando o acesso do usuário e a reprodução dos resultados.

Usando a Ajuda

O Story2Board é uma ferramenta de linha de comando que gera uma série de imagens em tela dividida ao inserir um texto que descreve uma história. Veja abaixo o procedimento detalhado de instalação e uso.

Preparação ambiental

Antes de usá-lo, você precisa configurar seu ambiente de tempo de execução. A recomendação oficial é usar o Conda para criar um ambiente Python autônomo para evitar conflitos com bibliotecas dependentes de outros projetos.

1. Instalando o Conda
   Se você ainda não tiver o Conda instalado, acesse o site oficial do Anaconda para fazer o download e instalá-lo.
2. Clonagem do depósito do projeto
   Abra seu terminal e use o comando git para clonar o código do Story2Board localmente.

   git clone https://github.com/DavidDinkevich/Story2Board.git
   

3. Vá para o diretório do projeto

   cd Story2Board
   

4. Criar e ativar um ambiente Conda
   Use o seguinte comando para criar um arquivo chamado story2board e especifique a versão 3.12 do Python.

   conda create -n story2board python=3.12
   

   Depois que o ambiente tiver sido criado com sucesso, ative-o:

   conda activate story2board
   

5. Instalação de bibliotecas dependentes
   As bibliotecas de dependência exigidas pelo projeto estão documentadas na seção requirements.txt arquivo. Use o pip para instalá-lo.

   pip install -r requirements.txt
   

   chamar a atenção para algoSe você tiver uma placa de vídeo NVIDIA e quiser usar CUDA para aceleração, é recomendável seguir as instruções no site do PyTorch e instalar uma versão do PyTorch compatível com a versão do driver da sua placa de vídeo e, em seguida, executar o comando acima pip install comando. Isso garante que a versão CUDA do PyTorch corresponda corretamente.

Como usar

No centro do Story2Board está um sistema chamado main.py Script Python. Você precisará executá-lo na linha de comando com alguns argumentos necessários que descrevem a história que deseja gerar.

Descrição dos parâmetros principais

• --subjectPersonagem principal: Designe o personagem principal da história. Essa descrição é fundamental porque será usada para garantir que o personagem seja consistente em todas as subtramas. Por exemplo, "um garoto sorridente" ou "uma raposa com pelo brilhante e olhos cintilantes".
• --ref_panel_promptDescrição da tela de referência: Uma descrição da tela de referência. Essa é a tela inicial da história e é o ponto de referência para a caracterização em todas as telas subsequentes. A descrição precisa incluir a cena e as ações do personagem.
• --panel_promptsDescrição de outras telas divididas subsequentes: Uma descrição de outras telas divididas subsequentes. Você pode fornecer uma ou mais descrições, cada uma correspondendo a uma nova cena da subtrama. Nessas descrições, não é necessário mencionar as características detalhadas do protagonista repetidamente, apenas descrever suas novas ações e novas cenas.
• --output_dirEspecifica o caminho onde as imagens e os registros gerados são salvos.

Etapas de uso

1. Conceituação de sua história
   Em primeiro lugar, pense em uma história simples e identifique a imagem do personagem principal. Divida a história em algumas imagens principais.
2. Escrevendo uma linha de comando
   Abra o terminal e verifique se você ativou story2board ambiente. Em seguida, escreva o comando no seguinte formato:

   python main.py --subject "你的主角描述" \
   --ref_panel_prompt "参考画面的描述" \
   --panel_prompts "第1个后续画面的描述" "第2个后续画面的描述" "第3个后续画面的描述" \
   --output_dir "保存结果的文件夹路径"
   

exemplo concreto

Vamos dar uma olhada em um exemplo concreto de uma história fornecida oficialmente com uma raposa mágica.

protagonistas::fox with shimmering fur and glowing eyes (Uma raposa com pelo brilhante e olhos brilhantes).

Storyboards:

1. quadro de referênciaA raposa entrou em uma floresta crepuscular e pisou em um caminho de pedras cobertas de musgo.
2. Tela 2A raposa pulou sobre uma árvore caída com um cânion nublado abaixo.
3. Tela 3:: A raposa está empoleirada em um arco quebrado de pedra antiga com vinhas e musgo prateado pendurados ao redor, com o Crepúsculo ao fundo.
4. Tela 4Fox assiste a uma chuva de meteoros na beira de um lago brilhante que reflete perfeitamente as estrelas.

Com base nessas telas, você pode escrever os seguintes comandos:

python main.py \
--subject "fox with shimmering fur and glowing eyes" \
--ref_panel_prompt "stepping onto a mossy stone path under twilight trees" \
--panel_prompts "bounding across a fallen tree over a mist-covered ravine glowing faintly with constellations" "perched atop a broken archway of ancient stone, vines and silver moss hanging down, the twilight sky glowing behind him" "watching a meteor shower from the edge of a luminous lake that reflects the stars perfectly" \
--output_dir outputs/magical_fox_story

3. Exibir resultados
   Depois de executar o comando, o programa baixará automaticamente os modelos de IA necessários e começará a gerar imagens. Esse processo pode levar algum tempo, dependendo do desempenho de seu hardware.
   Depois de fazer isso, você pode adicionar o outputs/magical_fox_story As imagens de tela dividida geradas encontram-se na pasta. Entre elas, a primeira é uma imagem de referência, enquanto as imagens subsequentes continuam a imagem do personagem principal, mas mostram cenas e ações diferentes. Também está salvo na pasta um registro das palavras-chave detalhadas usadas para gerar cada imagem, o que facilita a análise e a reprodução.

Com esse processo, você pode usar o Story2Board para visualizar rapidamente qualquer história escrita e criar um script de tela dividida coerente e expressivo.

cenário do aplicativo

1. Pré-produção de filmes e animações
   Diretores e roteiristas podem usar o Story2Board para converter rapidamente cenas-chave de seus roteiros em subtramas visuais. Isso ajuda as equipes a unificar o entendimento da composição, da atmosfera e do movimento dos personagens da cena com antecedência, economizando muito tempo e custo dos tradicionais subtramas desenhados à mão.
2. Criação de conteúdo de publicidade e marketing
   Os profissionais de criação publicitária podem usar essa ferramenta para gerar rapidamente uma série de imagens visuais a partir de um roteiro publicitário ou de uma história de marketing para propostas internas ou comunicações com clientes, proporcionando uma apresentação mais intuitiva do efeito criativo.
3. Design de conceitos de jogos e novelas
   Os autores de romances ou designers de jogos podem inserir uma descrição textual do enredo para gerar arte conceitual de personagens ou ilustrações de cenas importantes, ajudando os leitores ou as equipes de desenvolvimento a imaginar melhor o mundo da história.
4. Educação e apresentação
   Os professores ou palestrantes podem pegar conteúdos narrativos complexos ou histórias históricas e apresentá-los visualmente por meio de roteiros com escopo vívido, tornando o conteúdo do ensino ou da apresentação mais vívido e fácil de entender.

QA

1. Que tipo de modelos de IA o Story2Board usa?
   Ele é uma estrutura sem treinamento que pode ser usada com modelos avançados de conversão de texto em imagem. De acordo com sua documentação oficial, ele usa atualmente o seguinte modelo básico por padrão FLUX.1-dev.
2. Há algum custo adicional para usar essa ferramenta?
   O projeto Story2Board em si é de código aberto e gratuito. No entanto, ele se baseia em um modelo gráfico vicentino poderoso, que requer hardware de computador de alto desempenho (especialmente placas gráficas e memória) quando executado localmente. Se ele for executado em uma plataforma baseada em nuvem, poderá incorrer em custos de recursos computacionais correspondentes.
3. A consistência dos caracteres das imagens geradas é sempre garantida como 100%?
   A ferramenta melhora muito a consistência dos caracteres por meio de técnicas como "ancoragem de painel latente", que é muito mais eficaz do que as ferramentas comuns de texto para gráficos. Entretanto, em cenários muito complexos ou que mudam drasticamente, pequenas inconsistências ainda podem ocorrer ocasionalmente. Fornecer uma solução clara e concreta --subject As descrições são fundamentais para garantir a consistência.
4. É necessário ter conhecimento de programação para usá-lo?
   Você precisará de algum conhecimento básico de operações de linha de comando para colocá-lo em funcionamento. O processo inclui a clonagem do repositório de código, a instalação de dependências e a execução de scripts Python. Mas você não precisa entender o código ou os algoritmos por trás dele, basta seguir as etapas na Ajuda.
5. Quanto tempo leva para gerar uma imagem dividida?
   O tempo de geração depende de sua configuração de hardware (principalmente o desempenho da GPU), da resolução da imagem e da complexidade da história. Em uma placa de vídeo de consumo bem configurada, a geração de um script dividido contendo de 4 a 5 imagens pode levar alguns minutos.