Rembg-Fuse: Plug-in de remoção de plano de fundo de vídeo para o software de edição de vídeo Da Vinci

O Rembg-Fuse é um plug-in gratuito e de código aberto que integra a funcionalidade da ferramenta de codificação de IA "rembg" ao software de edição de vídeo profissional DaVinci Resolve (Da Vinci). Para uso dos usuários de criação de vídeo do DaVinci, esse plug-in resolve a necessidade de remover rapidamente o fundo do vídeo no processo de edição. Ele reconhece e separa automaticamente o tema do plano de fundo usando um modelo de IA, sem a necessidade de técnicas complexas de mascaramento ou de tela verde. O Rembg-Fuse é um plug-in do Fuse baseado em script Python, o que significa que sua implementação é relativamente leve e é compatível com as versões gratuita e de estúdio do DaVinci, reduzindo a barreira de entrada para os usuários. Os criadores podem invocá-lo facilmente para processar filmagens de vídeo diretamente na página Fusion do Da Vinci, assim como fariam com qualquer outro nó de efeitos.

Lista de funções

• Remoção de fundo orientada por IAReconhecimento automático e remoção de fundos de vídeo e imagem usando vários modelos de IA, como a U-2-Net pré-treinada.
• Integração no fluxo de trabalho do Da VinciComo um plug-in do Fuse, ele pode ser perfeitamente incorporado às páginas do Da Vinci's Fusion, permitindo que os usuários digitem sem sair do software de edição.
• Suporte a vários modelos de processamentoVários modelos de chaveamento estão incorporados, incluindo o versátil u2netLeve u2netpA mais nova e avançada tecnologia para segmentação de retratos. u2net_human_seg e para o estilo anime isnet-anime etc. Os usuários podem escolher o modelo mais adequado de acordo com o tipo de material.
• Compatibilidade entre plataformasSuporte para o software da Vinci em execução nos sistemas Windows, macOS e Linux.
• Compatível com as versões gratuita e de estúdioO plug-in pode ser instalado e usado independentemente de o usuário estar usando a versão gratuita do Da Vinci ou a versão paga do Studio (Studio).
• Código aberto e gratuitoO projeto é de código aberto sob a licença MIT e é gratuito para os usuários usarem, modificarem e distribuírem.

Usando a Ajuda

O Rembg-Fuse atua como uma ponte entre o poderoso rembg O recurso de codificação foi introduzido no software Da Vinci para permitir que os criadores de vídeo trabalhem com planos de fundo em um clique. Veja abaixo o processo detalhado de instalação e uso.

I. Preparação do ambiente de instalação

Antes de usar esse plug-in, você precisa se certificar de que tem um ambiente Python instalado em seu computador, pois o plug-in depende do Python para ser executado.

1. Instalação do Python:
   • Visite o site da Python www.python.org.
   • Baixe e instale a versão mais recente do Python 3.
   • Durante o processo de instalação, certifique-se de marcar "Add Python to PATH" (Adicionar Python ao PATH) ou algo semelhante para garantir que seu sistema reconheça os comandos Python.

II. instalação de plug-ins

A instalação do plug-in é dividida em duas etapas: primeiro, a colocação dos arquivos do plug-in no diretório especificado e, em seguida, a instalação das bibliotecas de dependência principal exigidas pelo plug-in.

Etapa 1: Coloque o arquivo do plug-in

1. Baixar plug-ins: visite a página do GitHub do Rembg-Fuse https://github.com/Akascape/Rembg-FuseClique no ícone verde Code e, em seguida, selecione o botão Download ZIP Faça o download do arquivo zip do projeto.
2. Descompacte o arquivoExtraia o arquivo zip baixado.
3. Localizando o catálogo de plug-insVocê precisa encontrar o diretório em que o software da Vinci armazena o plug-in do Fuse. Os caminhos para diferentes sistemas operacionais são os seguintes:
   • Windows (computador): C:\ProgramData\Blackmagic Design\DaVinci Resolve\Fusion\Fuses
   • macOS: /Library/Application Support/Blackmagic Design/DaVinci Resolve/Fusion/Fuses talvez ~/Library/Application Support/Blackmagic Design/DaVinci Resolve/Fusion/Fuses
   • Linux: ~/.local/share/DaVinciResolve/Fusion/Fuses
4. Reprodução de documentosExtraia o arquivo descompactado Rembg é copiada em sua totalidade para o caminho acima.

Etapa 2: Instalar as dependências do núcleo (rembg)
Esta etapa serve para instalar as principais bibliotecas de IA que fazem com que o plug-in funcione rembg. Você pode optar por instalá-lo automática ou manualmente.

• Opção A: Instalação automática (recomendada para iniciantes)
  1. Depois de copiar para a pasta Fuses diretório Rembg encontre um arquivo chamado rembg_manager.py do documento.
  2. Execute esse arquivo diretamente do Python. Você pode clicar duas vezes nele (se o seu sistema estiver configurado corretamente) ou abrir uma ferramenta de linha de comando (como CMD ou Terminal) e digitar python e arraste o arquivo para a janela e pressione Enter para executá-lo.
  3. Após a execução, uma interface gráfica simples será exibida, de acordo com os prompts da interface para concluir o rembg e a instalação dos modelos de IA necessários.
• Opção B: Instalação manual
  Se você estiver familiarizado com operações de linha de comando ou se a instalação automática falhar, poderá optar por instalá-la manualmente.
  1. Abra as ferramentas de linha de comando do sistema (por exemplo, Windows' CMD talvez PowerShellO MacOS/Linux Terminal).
  2. Execute o seguinte comando para instalar rembg Cooperativa:

     pip install rembg
     

  3. Se o seu computador tiver uma placa de vídeo NVIDIA e você quiser usar a aceleração de GPU para obter velocidades mais rápidas, poderá instalar a versão compatível com CUDA:

     pip install rembg[gpu]
     

  4. Download de modelos de IA: rembg Um modelo será baixado automaticamente na primeira vez em que for usado. Você também pode fazer o download prévio de todos os modelos necessários executando um script Python simples. Criar um .py digite o seguinte e execute-o:

     import rembg
     # 依次下载你需要的模型，将 model_name 替换为实际模型名
     # 例如 u2net, u2netp, isnet-general-use 等
     rembg.new_session("u2net")
     rembg.new_session("isnet-general-use")
     

III - Uso de plug-ins no Da Vinci

Após concluir todas as etapas de instalação acima, você poderá usá-lo no software Da Vinci.

1. Ativar Da Vinci.Abra o software DaVinci Resolve e vá para um projeto.
2. Mudar para a página do FusionNa barra de navegação inferior, clique na seção Fusion Página.
3. Abrir o menu de nósNa área de edição do nó, pressione a tecla de atalho Shift + Spacebar(barra de espaço) para abrir o menu de seleção da ferramenta de nó.
4. Pesquisar e adicionar nósNa caixa de pesquisa que é exibida, digite Rembg Faça uma pesquisa e você verá o plug-in Rembg-Fuse. Selecione-o e clique em Add Adicionar ao gráfico de nós.
5. nó de conexão:
   • Coloque seu nó de clipe de vídeo (geralmente o nó MediaIn1), conecte-se às saídas Rembg A entrada do nó.
   • comandante-em-chefe (militar) Rembg A saída do nó, conectada ao nó de saída final (MediaOut1).
   • Nesse ponto, você pode ver a tela processada na janela do player.
6. Parâmetros de ajuste:
   • decidir sobre um candidato Rembg Após o nó, o lado direito do Inspector（O painel (Inspector) exibe as opções de configuração do plug-in.
   • As opções mais importantes são Model(Modelos), você pode selecionar diferentes modelos de IA para processar a imagem no menu suspenso. Por exemplo, para processar um retrato, selecione u2net_human_seg Pode ser possível obter bordas mais limpas. Ao lidar com objetos genéricos, a funçãou2net talvez isnet-general-use É uma boa escolha.
   • Depois de selecionar o modelo, o plug-in iniciará o processamento automaticamente. A velocidade de processamento depende do desempenho de seu computador e da complexidade do modelo selecionado.

Com as etapas acima, você poderá obter facilmente um autokeying de alta qualidade em seu próprio processo de edição de vídeo.

cenário do aplicativo

1. Crie rapidamente vídeos de demonstração de produtos
   Para profissionais de marketing de comércio eletrônico ou de mídia social que precisam gravar vídeos de apresentação de seus produtos. Usando o Rembg-Fuse, você pode remover rapidamente o fundo da filmagem sem construir uma tela verde física e substituí-lo por um fundo de cor sólida ou uma cena dinâmica mais atraente que permita que o objeto do produto se destaque mais.
2. Entrevistas de personalidade e produção de cursos on-line
   Ao produzir vídeos de entrevistas ou conteúdo educacional on-line, os criadores podem separar suas imagens de ambientes domésticos ou de escritório desorganizados e sobrepô-las a um discurso, uma interface de software ou um cenário de estúdio virtual para aprimorar a sensação profissional e a densidade de informações do vídeo.
3. Composição de efeitos visuais (VFX)
   Na produção de curtas-metragens ou projetos de filmes pessoais, quando é necessário colocar os personagens ou objetos filmados em uma cena virtual, o Rembg-Fuse pode ser usado como uma ferramenta de pré-processamento para gerar rapidamente material sem fundo para composição de efeitos visuais mais complexos na pós-produção.
4. Criação de conteúdo de mídia social
   Para blogueiros de vídeos curtos e criadores de conteúdo, esse plug-in pode simplificar muito o processo criativo. Eles podem se colocar facilmente na frente de qualquer plano de fundo desejado e criar conteúdo de vídeo mais interessante e criativo sem a necessidade de equipamentos e locais de filmagem profissionais.

QA

1. Qual é a diferença entre esse plug-in e o keying de tela verde profissional?
   O Rembg-Fuse baseia-se em algoritmos de IA para reconhecimento do tema, com a vantagem de que não há necessidade de preparação prévia (por exemplo, construção e iluminação de uma tela verde) e qualquer filmagem de vídeo pode ser processada diretamente. Ele funciona bem na maioria dos casos, mas pode não funcionar tão bem quanto o keying de tela verde cuidadosamente encenado para bordas muito finas (por exemplo, cabelo) ou para cenas em que o tema é muito próximo em cor ao fundo. O keying de tela verde tem bordas mais nítidas em condições ideais, mas o investimento inicial e os requisitos são maiores.
2. Por que sinto que há atraso ou lentidão no processamento de vídeos?
   O AI keying é uma tarefa computacionalmente intensiva, e a velocidade de processamento depende muito do desempenho do hardware do seu computador, especialmente da CPU e da GPU.rembg[gpu]) ou se o desempenho da placa de vídeo for fraco, a velocidade de processamento será mais lenta. Recomenda-se ativar o recurso Render Cache no Da Vinci para permitir que o software pré-processe clipes em segundo plano para uma reprodução suave.
3. Todos os tipos de vídeos são adequados para esse plug-in?
   Esse plug-in funciona melhor em vídeos em que o tema tem um contorno claro e é um pouco distinguível do plano de fundo. Se o tema do vídeo estiver se movendo muito rápido, resultando em uma imagem borrada, ou se o tema for muito semelhante ao plano de fundo em termos de cor ou textura, o modelo de IA poderá não reconhecê-lo com precisão, resultando em imperfeições ou tremulações nas bordas do keying.
4. Esse plug-in requer uma conexão com a Internet para ser usado?
   É necessária uma conexão com a Internet para a instalação inicial e o download dos modelos de IA. Após o download dos arquivos de modelo para o seu computador local, a operação diária do plug-in é totalmente off-line e não requer conexão com a Internet.