MoviiGen 1.1

O MoviiGen 1.1 é uma ferramenta de IA de código aberto desenvolvida pela ZuluVision que se concentra na geração de vídeos de alta qualidade a partir de texto. Ela suporta resoluções de 720P e 1080P e é especialmente adequada para a produção de vídeos profissionais que exigem efeitos visuais cinematográficos. Os usuários podem gerar vídeos com dinâmica natural e estética consistente a partir de descrições de texto simples. O MoviiGen1.1 fornece ponderação de modelo e código de inferência com base na estrutura PyTorch, que é fácil de implantar e usar. Sua abertura e alto desempenho o tornam ideal para criadores e desenvolvedores de vídeo para uma ampla gama de aplicações em produção de filmes e televisão, publicidade e geração de conteúdo criativo.

Lista de funções

• Suporta a geração de vídeo de alta resolução 720P e 1080P; recomenda-se 1080P e proporção de aspecto 21:9 (1920×832) para obter resultados com qualidade de cinema.
• Fornece a função de texto para vídeo para gerar vídeos de alta qualidade, descrevendo cenas, assuntos e ações.
• Inclui um modelo estendido para palavras-chave, ajustado com base no Qwen2.5-7B-Instruct para melhorar os detalhes e a geração de descrições de texto.
• Pesos de modelo de código aberto e código de inferência para dar suporte à implantação local e ao desenvolvimento personalizado.
• Oferece suporte à geração de vídeo de nível profissional para produção de filmes e TV, publicidade e criação de conteúdo criativo.
• Suporte ao plug-in FastVideo para otimizar o desempenho da geração de vídeo.
• Compatível com o PyTorch 2.4.0 e superior, fácil de integrar aos ambientes de desenvolvimento existentes.

Usando a Ajuda

Processo de instalação

Para usar o MoviiGen 1.1, os usuários precisam primeiro concluir a configuração do ambiente e a instalação do modelo. Veja a seguir as etapas detalhadas:

1. armazém de clones
   Execute o seguinte comando no terminal para obter o código-fonte do MoviiGen 1.1:

   git clone https://github.com/ZulutionAI/MoviiGen1.1.git
   cd MoviiGen1.1
   

2. Instalação de dependências
   Certifique-se de que o Python 3.10 ou superior esteja instalado em seu sistema e que o PyTorch 2.4.0 ou posterior esteja instalado. Execute o seguinte comando para instalar as dependências:

   pip install -r requirements.txt
   

   Além disso, o plug-in FastVideo precisa ser instalado de acordo com as instruções oficiais, que podem ser encontradas na página do GitHub do FastVideo.

3. Modelos para download
   Os modelos do MoviiGen 1.1 estão hospedados no Hugging Face. Use o huggingface-cli Faça o download do arquivo do modelo:

   pip install "huggingface_hub[cli]"
   huggingface-cli download ZuluVision/MoviiGen1.1 --local-dir ./MoviiGen1.1
   

   O modelo é compatível com a arquitetura T2V-14B e é baixado e armazenado no ./MoviiGen1.1 Catálogo.

4. Ambiente de verificação
   Certifique-se de que o hardware da GPU seja compatível (recomenda-se 20 GB ou mais de memória de vídeo para vídeo 1080P). Verifique se o PyTorch reconhece a GPU corretamente:

   python -c "import torch; print(torch.cuda.is_available())"
   

   exportações True Indica que a configuração do ambiente foi bem-sucedida.

Uso

A função principal do MoviiGen 1.1 é gerar vídeo por palavras-chave de texto. Abaixo está o procedimento específico de operação:

1. geração de vídeo básico

Os usuários podem gerar vídeos executando scripts de inferência. Exemplo de comando:

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步，背景是繁忙的都市街道，阳光洒在地面，镜头缓慢移动，展现明亮色彩。"

• --ckpt_dirEspecifica o caminho do arquivo do modelo.
• --promptTexto: Insira o texto que descreve a cena, sugerindo de 100 a 200 palavras, incluindo a cena, o assunto, a ação, o estilo estético e o movimento da câmera.

2. ampliação do modelo com dicas

O MoviiGen 1.1 oferece um modelo de extensão de palavras-chave baseado no Qwen2.5-7B-Instrua o ajuste fino para aprimorar os detalhes das descrições de texto. Ative esse recurso:

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步。" --use_prompt_extend --prompt_extend_model ZuluVision/MoviiGen1.1_Prompt_Rewriter

A extensão da palavra-chave enriquece automaticamente a descrição, por exemplo, adicionando detalhes da cena, efeitos de iluminação, etc., para melhorar a qualidade do vídeo gerado.

3. formato de prompt recomendado

Para obter melhores resultados, o prompt precisa conter os seguintes elementos:

• Descrição da cenaPor exemplo, "A smoke-filled detective's office with blinds casting sharp shadows" (Um escritório de detetive cheio de fumaça com persianas projetando sombras nítidas).
• parte principalComo em "The tired detective sat sat behind the table" (O detetive cansado sentou-se atrás da mesa).
• movimentoComo em "acender um cigarro e exalar uma baforada de fumaça".
• estilo estéticoPor exemplo, "Alto contraste em preto e branco, estilo filme noir dos anos 1940".
• mudança de câmera: como em "tomada média estática, com foco no detetive".
  Exemplo de palavras do prompt:

Em um escritório de detetive enfumaçado, com persianas que projetam sombras nítidas, o detetive cansado senta-se atrás de sua mesa, acende um cigarro e exala uma nuvem de fumaça. A imagem é em preto e branco com alto contraste, no estilo do filme noir dos anos 1940. A câmera é um plano médio estático, focalizando o detetive e criando uma atmosfera deprimente.

4. configurações de saída

• resolução (de uma foto): 720P e 1080P são suportados por padrão, sendo que 1080P (1920×832) é recomendado para resultados com qualidade de cinema.
• tempo de geraçãoGPU de alto desempenho (por exemplo, RTX 4090, 20 GB de RAM) é recomendada.
• caminho de saídaO vídeo gerado é salvo por padrão na pasta ./MoviiGen1.1/output outros caminhos podem ser especificados no script de inferência.

5. otimização do desempenho

• Plug-in FastVideoInstalado para acelerar a geração de vídeo, consulte a documentação do FastVideo para obter informações sobre a configuração.
• Otimização da memória de vídeoSe a memória de vídeo for insuficiente, tente gerar um vídeo de 720P para reduzir os requisitos de memória.
• arquivo de loteGeração em lote de várias palavras-chave: suporta a geração em lote de várias palavras-chave e a modificação de scripts de inferência para percorrer várias palavras-chave.

advertência

• Garanta uma conexão estável com a Internet para fazer o download de modelos e dependências.
• A geração de vídeo de alta resolução tem altos requisitos de hardware e recomenda-se uma GPU de alto desempenho.
• A qualidade das palavras do prompt afeta diretamente os resultados da geração, e é recomendável tentar mais estilos de descrição diferentes.
• Verifique regularmente o repositório do GitHub para obter atualizações dos modelos e códigos mais recentes.

cenário do aplicativo

1. produção de filmes e televisão
   O MoviiGen 1.1 é adequado para gerar trailers de filmes, curtas-metragens ou clipes de cenas. Os usuários podem gerar rapidamente vídeos com efeitos de iluminação profissionais com descrições de texto detalhadas, reduzindo os custos tradicionais de filmagem.
2. Publicidade criativa
   As equipes de publicidade podem usar o MoviiGen 1.1 para gerar vídeos promocionais de produtos. Por exemplo, insira cenas e ações que descrevam um produto de marca para gerar rapidamente material publicitário de alta qualidade e economizar tempo de produção.
3. desenvolvimento de jogos
   Os desenvolvedores de jogos podem usar o MoviiGen 1.1 para gerar transições animadas ou vídeos de fundo ambiental que suportam alta resolução e estilos personalizados para atender às necessidades narrativas do jogo.
4. Educação e treinamento
   Os educadores podem gerar vídeos instrucionais que mostram imagens em movimento de cenas históricas ou experimentos científicos para aumentar o apelo e a intuitividade do conteúdo.

QA

1. O MoviiGen 1.1 é gratuito?
   Sim, o MoviiGen 1.1 é uma ferramenta de código aberto, e os pesos do modelo e o código de inferência estão disponíveis gratuitamente para download e uso pelos usuários no GitHub e no Hugging Face.
2. Que hardware é necessário para gerar vídeo 1080P?
   Recomenda-se uma GPU com pelo menos 20 GB de memória de vídeo (por exemplo, NVIDIA RTX 4090). Configurações inferiores podem ser usadas para gerar vídeo de 720P, mas o suporte à GPU ainda é necessário.
3. Como otimizar a qualidade do vídeo gerado?
   Use palavras-chave detalhadas com descrições de cena, assunto, ação e estilo. Ative o Cue Expansion Model para aprimorar ainda mais os detalhes. Certifique-se de que o hardware seja compatível com a geração de 1080P para obter os melhores resultados.
4. Há suporte para Windows e Linux?
   Sim, o MoviiGen 1.1 é compatível com Windows e Linux e será executado com o Python 3.10+ e o PyTorch 2.4.0+ instalados.
5. Quanto tempo leva para gerar um vídeo?
   Dependendo do hardware e da resolução, o vídeo de 1080p pode levar de minutos a horas, enquanto o de 720p é mais rápido. Use uma GPU de alto desempenho e o plug-in FastVideo para reduzir o tempo.