RAIN: Captura em tempo real de expressões humanas reais para gerar fluxos de vídeo de imagens de anime

O RAIN (Real-time Animation Of Infinite Video Stream) é um projeto de código-fonte aberto desenvolvido para permitir a geração em tempo real de efeitos de animação para fluxos de vídeo infinitos. Desenvolvido por Pscgylotti, o projeto fornece uma solução para geração de vídeo em dispositivos de usuários comuns. Usando as mais recentes técnicas de aprendizagem profunda, o RAIN é capaz de gerar fluxos de vídeo contínuos com base em imagens carregadas pelo usuário, adequadas para produção de animação, efeitos de vídeo e outros campos.

A RAIN produz animação em tempo real em dispositivos de consumo.

Lista de funções

• Gerar vídeos animados em tempo real
• Suporte para geração de vídeo em dispositivos de usuários
• Fornece uma variedade de modelos e pesos pré-treinados
• Suporte para aceleração do TensorRT
• Fornecer a interface do aplicativo Gradio
• Suporta vários ajustes de parâmetros de geração de vídeo

Usando a Ajuda

Processo de instalação

1. Certifique-se de que o Python >= 3.10 esteja instalado.
2. Instale o PyTorch (versão recomendada >= 2.3.0), que pode ser baixado do site oficial do PyTorch.
3. Clone o repositório do projeto RAIN:

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. Instale as dependências necessárias para o raciocínio:

   pip install -r requirements_inference.txt

Processo de uso

1. Faça o download de modelos e pesos pré-treinados:
   • Baixe os pesos originais da RAIN do Google Drive ou do Huggingface Hub e coloque-os no arquivoweights/torch/Catálogo.
   • Faça o download dos outros arquivos de modelo necessários e coloque-os nos diretórios apropriados (por exemploweights/onnx/）。
2. Inicie o aplicativo Gradio:

   python gradio_app.py

Abra seu navegador e acessehttp://localhost:7860/Carregue o retrato da parte superior do corpo de qualquer personagem de anime, ajuste os parâmetros e inicie a transformação do rosto.

3. Ajuste os parâmetros de geração de vídeo:
   • Na interface do Gradio, vários parâmetros podem ser ajustados conforme necessário para obter o melhor efeito de animação.
   • É dada atenção especial ao ajuste dos parâmetros relacionados aos olhos para garantir a composição facial ideal.

Funções detalhadas

• Gerar fluxos de vídeo em tempo realRAIN é capaz de gerar fluxos de vídeo contínuos em tempo real com base em imagens carregadas pelo usuário, adequadas para a produção de animações e efeitos de vídeo.
• Suporte para imagens carregadas pelo usuárioOs usuários podem carregar qualquer imagem e o RAIN gerará um fluxo de vídeo correspondente com base na imagem.
• Fornece uma variedade de ajustes de parâmetros de geração de vídeoO usuário pode ajustar os parâmetros de geração para obter o melhor efeito de animação.
• Suporte para aceleração do TensorRTAceleração do TensorRT: Ao ativar a aceleração do TensorRT, o RAIN pode concluir a compilação do modelo em um período de tempo mais curto, aumentando a velocidade de inferência.
• Modelos pré-treinados disponíveis para downloadOs usuários podem baixar modelos pré-treinados de várias plataformas para facilitar um início rápido.
• Compatível com várias estruturas de aprendizagem profundaRAIN suporta uma variedade de estruturas de aprendizagem profunda, como PyTorch, o que facilita o desenvolvimento secundário.

Requisitos de hardware

• A execução de uma demonstração de inferência completa normalmente requer cerca de 12 GiB de RAM do dispositivo.
• O modelo de síntese requer cerca de 8 GiB de RAM do dispositivo quando executado sozinho.

Projetos de referência

O projeto RAIN se baseia em vários projetos de código aberto, como AnimateAnyone, Moore-AnimateAnyone, Open-AnimateAnyone etc., combinando as vantagens desses projetos para obter uma geração eficiente de animação em tempo real.