DH live：在30/40系显卡流畅实时交互的AI数字人

DH_live 是一个基于少样本学习的实时直播数字人项目，旨在为用户提供流畅互动的直播体验。该项目支持 NVIDIA 30 和 40 系列显卡，能够以 25+ fps 的速度实时运行。用户可以通过简单的步骤创建和使用数字人，实现音频驱动的视频生成和实时互动。

功能列表

• 实时性能：支持 NVIDIA 30 和 40 系列显卡，提供流畅的实时互动体验。
• few-shot 学习：系统能够从少量示例中学习，生成逼真的响应。
• 视频准备：使用 data_preparation 脚本准备视频数据。
• 音频驱动：支持通过音频文件驱动数字人，生成同步视频。
• 实时麦克风输入：支持通过麦克风进行实时操作。

使用帮助

环境创建与模型文件解压

1. 创建虚拟环境并激活：

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. 安装依赖：

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. 解压模型文件：
   • Linux:

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows: 使用 7zip 或 WinRAR 解压 checkpoint 文件。

视频准备

1. 使用 data_preparation.py 脚本准备视频：

   python data_preparation.py YOUR_VIDEO_PATH
   

   结果将存储在 ./video_data 目录中。

使用音频文件运行

1. 确保音频文件为 .wav 格式，采样率为 16kHz，16 位单声道。
2. 运行 demo 脚本：

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

实时运行

1. 使用麦克风进行实时操作：

   python demo_avatar.py
   

常见问题

• 模型文件解压失败：请确保所有分卷文件完整并正确解压。
• 音频文件格式不正确：请使用符合要求的 .wav 文件。

DH live 一键安装包

此处内容已经被作者隐藏，请输入验证码查看内容

验证码：

请关注本站微信公众号，回复“验证码”，获取验证码。在微信里搜索“AI生产力应用”或者“Artificial9527”或者微信扫描右侧二维码都可以关注本站微信公众号。