ShortGPT: uma estrutura de IA para geração automática de vídeos curtos

O ShortGPT é uma estrutura de inteligência artificial de código aberto para automatizar a criação de conteúdo de vídeo. Sua principal função é simplificar todo o processo de produção de vídeo, incluindo a elaboração de roteiros, a coleta de imagens, a síntese de fala, a geração de legendas e a edição de vídeo. A estrutura compreende e executa comandos de edição por meio de modelagem de linguagem em larga escala (LLM), pode localizar automaticamente imagens e videoclipes da Internet e integrar recursos semelhantes a outros recursos. ElevenLabs ou a tecnologia Microsoft EdgeTTS' para gerar narração com som natural. O ShortGPT foi projetado para ajudar os criadores de conteúdo, especialmente aqueles que administram canais automatizados em plataformas como YouTube e TikTok, a produzir vídeos em massa de forma rápida e eficiente. Ele oferece diferentes mecanismos de trabalho projetados para vídeos curtos e longos, bem como um módulo de recursos dedicado à tradução e à dublagem de vídeos existentes.

Lista de funções

• Estrutura de edição automatizadaSimplifique o processo de criação de vídeo com uma linguagem de edição de vídeo orientada para o Modelo de Linguagem Grande (LLM).
• dublagem multilíngueIntegração com o ElevenLabs e o Microsoft Edge: o TTS oferece suporte à síntese de fala em mais de 30 idiomas para gerar narração com som natural.
• Acesso ao material on-linePode buscar automaticamente imagens de vídeo em sites como o Pexels ou pesquisar imagens no Bing Images para fornecer material visual para o conteúdo de vídeo.
• Geração automática de legendasGeração automática e adição de legendas aos vídeos produzidos.
• Tradução e dublagem de vídeosTradução: fornece um mecanismo de tradução especializado que transcreve o conteúdo de um vídeo (por meio de um arquivo ou link do YouTube), traduz-o, redubla-o no idioma de destino e, por fim, gera uma versão multilíngue completamente nova do vídeo.
• Scripts e dicasA estrutura tem uma grande variedade de scripts e dicas incorporados que podem ser usados diretamente para diferentes tarefas de edição de vídeo automatizada.
• Opções de personalizaçãoOs usuários podem personalizá-lo de acordo com suas necessidades, como escolher um idioma de narração ou adicionar sua própria marca d'água ao vídeo.
• Persistência de dadosUse o TinyDB para garantir que as variáveis e configurações do processo de edição automatizada sejam preservadas ao longo do tempo.

Usando a Ajuda

O ShortGPT é uma poderosa estrutura de automação de vídeo com IA que você pode usar de duas maneiras principais: executando-o no Google Colab ou localmente por meio de um ambiente Docker. O Google Colab é oficialmente recomendado para iniciantes ou usuários que não desejam configurar um ambiente complexo em seu próprio computador.

Método 1: usar o Google Colab (recomendado)

Essa é a maneira mais fácil e rápida de fazer isso sem instalar nenhuma dependência localmente.

1. Abra o notebook do Colab.: Primeiro, você precisa de uma conta do Google. Em seguida, acesse o link oficial do Google Colab fornecido diretamente:https://colab.research.google.com/drive/1_2UKdpFqxCqWaAcZb3rwMVQqtbisdE?usp=sharing.
2. Execução sequencial de unidades de códigoQuando abrir a página, você verá uma série de células de código. Você só precisa percorrer cada célula por vez, de cima para baixo. Clique no botão "Play" à esquerda de cada célula ou selecione a célula e use as teclas de atalho Shift+Enter para executar.
3. Configuração da chave de APIObservação: Durante a execução, o programa solicitará que você insira algumas chaves de API, como OpenAI, ElevenLabs, etc. É necessário registrar a conta desses serviços e obter a chave com antecedência e, em seguida, preencher a caixa de entrada correspondente.
4. Iniciando a interface da WebQuando todas as células tiverem sido executadas com êxito, será gerado um link público para a interface do Gradio. Ao clicar nesse link, você poderá usar a GUI do ShortGPT em seu navegador.

Método 2: Executar localmente com o Docker

Se quiser executar o ShortGPT em seu próprio computador com um nível mais alto de controle, você pode usar o Docker. Essa abordagem requer um conhecimento básico da linha de comando e do Docker.

1. Instalação do DockerPrimeiro, certifique-se de ter o Docker instalado em seu computador. Você pode baixar uma versão para seu sistema operacional (Windows, macOS ou Linux) no site do Docker e concluir a instalação.
2. Faça o download do arquivo de projeto ShortGPT:
   • Abra a ferramenta de linha de comando (Terminal).
   • Clone o repositório do projeto usando o git:

     git clone https://github.com/RayVentura/ShortGPT.git
     

   • Vá para o catálogo de projetos:

     cd ShortGPT
     

3. Configuração de variáveis de ambiente:
   • No diretório raiz do projeto, localize um arquivo chamado .env.example do documento.
   • Faça uma cópia desse arquivo e renomeie-o .env.
   • show (um ingresso) .env preencha-o com sua própria chave de API, por exemplo OPENAI_API_KEY responder cantando ELEVENLABS_API_KEY.
4. Criação e execução de contêineres do Docker:
   • No diretório raiz do projeto, execute o seguinte comando para criar a imagem do Docker. Esse processo pode levar algum tempo, pois requer o download e a instalação de todas as dependências.

     docker build -t short_gpt_docker:latest .
     

   • Quando a compilação estiver concluída, use o seguinte comando para executar o contêiner:

     docker run -p 31415:31415 --env-file .env short_gpt_docker:latest
     

5. Acesso à interface da WebDepois que o contêiner for executado com êxito, abra o navegador e visite o site http://localhost:31415. Você poderá ver a mesma interface do Gradio que a versão do Colab e começar a criar vídeos.

Função principal Fluxo de operações

O ShortGPT divide as diferentes tarefas de criação de vídeo em três mecanismos principais:

• ContentShortEngine (mecanismo de vídeo curto)Vídeo: Projetado para criar vídeos curtos no YouTube ou no estilo TikTok. Seu fluxo de trabalho é geralmente o seguinte: Receba um tópico ou roteiro -> Gere áudio de narração -> Procure automaticamente clipes de vídeo ou imagens de fundo correspondentes -> Componha a filmagem e o áudio em um vídeo curto -> Adicione legendas automaticamente -> Por fim, ele pode até gerar metadados, como o título e a descrição do vídeo.
• ContentVideoEngine (Mecanismo de vídeo longo)Usado para criar vídeos de duração padrão. Tem um processo semelhante ao do Short Video Engine, mas se concentra mais em lidar com scripts mais longos, gerar áudio mais longo e alinhar filmagens e legendas de vídeo em uma linha do tempo mais longa.
• ContentTranslationEngine (Mecanismo de tradução de vídeo)Recurso de dublagem: Esse é um recurso muito especial. Você pode fornecer um arquivo de vídeo existente ou um link do YouTube e ele reconhecerá automaticamente o conteúdo de voz no vídeo, o converterá em texto, traduzirá o texto para um idioma de destino de sua escolha, sintetizará uma nova dublagem nesse idioma e, por fim, gerará uma versão do vídeo com a nova dublagem e as legendas traduzidas.

Na interface da Web, você pode escolher o mecanismo a ser usado de acordo com suas necessidades e inserir as informações apropriadas (por exemplo, tema do vídeo, idioma, estilo de dublagem etc.) de acordo com as instruções e, em seguida, iniciar a tarefa e aguardar que a IA conclua o vídeo.

cenário do aplicativo

1. Automatização do conteúdo de mídia social
   Para os usuários que precisam publicar continuamente vídeos curtos em plataformas como YouTube Shorts, TikTok ou Instagram Reels, eles podem usar o ShortGPT para configurar um tema e permitir que ele automatize todo o processo de geração de script, coleta de material, dublagem e edição para automatizar a produção do conteúdo, economizando muito tempo e mão de obra.
2. Distribuição de conteúdo multilíngue
   Se um criador de vídeo quiser promover seu conteúdo em diferentes idiomas, ele poderá usar o ContentTranslationEngine. Basta fornecer um link para o vídeo original, e o ShortGPT gera automaticamente o vídeo em vários idiomas, como espanhol, francês ou japonês, com as locuções e legendas apropriadas para expandir rapidamente o público.
3. Crie rapidamente vídeos informativos
   Para cenários que exigem a produção de um grande número de explicações de conhecimento, apresentações de produtos ou vídeos de transmissão de notícias, os criadores podem fornecer apenas a transcrição e usar o ShortGPT para combiná-la automaticamente com o material visual e gerar a narração, transformando rapidamente o conteúdo textual em um vídeo rico em informações.
4. Localização de conteúdo de vídeo
   As empresas ou instituições de ensino geralmente precisam localizar materiais de treinamento ou vídeos promocionais quando fazem promoção global. O ShortGPT pode ser usado como uma ferramenta eficiente para traduzir e adequar esses materiais de vídeo ao idioma do mercado-alvo, reduzindo o custo e a complexidade da localização.

QA

1. O ShortGPT é gratuito?
   O ShortGPT em si é uma estrutura de código aberto, portanto, o uso do software é gratuito. No entanto, ele precisa chamar alguns serviços de API de terceiros durante a operação, como o OpenAI (modelo GPT) para geração de scripts e o ElevenLabs para síntese de fala, que podem cobrar uma taxa. No entanto, ele também suporta o uso do serviço de voz gratuito EdgeTTS da Microsoft.
2. É necessário saber programar para usar o ShortGPT?
   Não necessariamente. Se você usar o método oficialmente recomendado pelo Google Colab, basicamente não precisará escrever código, basta clicar em Executar e preencher algumas informações necessárias. Se você optar por instalar localmente via Docker, será necessário algum conhecimento básico de operações de linha de comando.
3. Quais são os idiomas suportados pelo ShortGPT?
   Ele oferece suporte a uma grande variedade de idiomas. Com a ajuda de serviços de síntese de fala, como o ElevenLabs e o EdgeTTS, o ShortGPT oferece suporte a dublagens e criação de conteúdo em mais de 30 idiomas, incluindo inglês, espanhol, francês, alemão, chinês, japonês, coreano, hindi e outros.
4. Há problemas de direitos autorais com as imagens de vídeo geradas?
   O ShortGPT obtém seus vídeos e imagens principalmente de sites que oferecem filmagens gratuitas, como o Pexels. O conteúdo dessas plataformas geralmente permite o uso comercial e não comercial, mas os usuários ainda são aconselhados a verificar os contratos de licenciamento de filmagens específicas antes de usá-las para evitar possíveis riscos de direitos autorais.