As etapas a seguir são necessárias para instalar o MultiTalk:
1. preparação ambiental
- Crie um ambiente virtual Python 3.10 usando o Conda:
conda create -n multitalk python=3.10
- Ativar o ambiente:
conda activate multitalk
2. instalação da dependência principal
- Instale o PyTorch 2.4.1 e os componentes de suporte:
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1
- Instale a biblioteca de aceleração xformers:
pip install -U xformers==0.0.28
3. outras dependências
- Componentes necessários:
pip install ninja psutil packaging flash_attn
- Biblioteca de processamento de áudio:
conda install -c conda-forge librosa
4. downloads de modelos
Os pesos de pré-treinamento são obtidos por meio do Hugging Face, incluindo o modelo de vídeo 480P, o modelo de reconhecimento de fala chinês etc. para garantir o caminho correto do download.
Essa resposta foi extraída do artigoMultiTalk: uma ferramenta orientada por áudio para gerar vídeos de conversas com várias pessoasO