GitHub：video-retalking AI对口型 项目部署

前言

    我们提出了VideoReTalking，这是一个新的系统，可以根据输入音频编辑现实世界中正在说话的头部视频的面部，即使有不同的情绪，也可以产生高质量和唇同步的输出视频。我们的系统将这一目标分解为三个连续的任务:

    (1) 具有规范表情的人脸视频生成
     (2) 音频驱动的对口型和
     (3) 用于改善照片真实感的面部增强

给定一个正在说话的头部视频，我们首先使用表情编辑网络根据相同的表情模板修改每一帧的表情，从而产生具有规范表情的视频。这个视频和给定的音频一起，被输入到对口型网络，生成一个对口型视频。最后，我们通过身份感知人脸增强网络和后期处理来提高合成人脸的照片真实感。我们对所有三个步骤都使用基于学习的方法，我们的所有模块都可以在没有任何用户干预的情况下按顺序处理。

源代码下载

受外网限制，部分依赖库无法远程git，导致程序报错，我把整个项目代码以及关联模型全部拷贝到了百度网盘里，此版本为2023年3月14日发布，3.65G大小，请先下载：百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/s/1SwisWrQYXA26Z76y9DdA0A?pwd=9u5e

实验环境

矩池云 - 专注于人工智能领域的云服务商矩池云是一家专注于人工智能领域的GPU云服务商。提供稳定的人工智能云服务器、人工智能教学实训环境、高速网盘等服务，支持公有云、私有云、专有云、硬件直采等专业级人工智能解决方案。https://matpool.com/

NVIDIA RTX A2000（仅供参考）

​

搜索：Pytorch1.9.1

​

​

用你的Xshell和FTP远程连上就可以使用了

​

如果没有这两个远程工具的可以下载

百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/s/1lK5slEaKi5VaQgFR_KcRmQ?pwd=qsha

使用步骤

1. 导入项目

① 连接FTP，将百度网盘压缩包上传至/home下

​

② 使用Xshell，运行以下命令

unzip /home/video-retalking.zip -d /home # 解压缩
rm -f /home/video-retalking.zip # 删除压缩包
cd /home/video-retalking # 进入项目

2. 安装依赖

bash /public/script/switch_pip_source.sh # 切换成阿里源
conda install ffmpeg # 安装依赖
conda install -c https://conda.anaconda.org/conda-forge dlib # 安装依赖
pip install -r requirements.txt # 安装依赖

​

3. 运行项目

每次运行耗时3分钟(和显卡有关)

# 运行项目
python3 inference.py \
  --face examples/face/1.mp4 \
  --audio examples/audio/1.wav \
  --outfile results/1_1.mp4

​​首次运行比较慢，会下载一些依赖库相关文件，如果嫌慢可以跟据网址手动下载​

我的百度网盘里也提供了下载好的文件，如果使用的是文章中演示的云服务器环境，可直接使运行以下命令使用：

unzip /home/config.zip -d /home # 解压缩
cp -r /home/config/facexlib /root/miniconda3/envs/myconda/lib/python3.8/site-packages/ # 复制
cp -r /home/config/torch /root/.cache/ # 复制
rm -f /home/config.zip # 删除压缩包
rm -r /home/config # 删除文件

再次运行项目即可

# 运行项目
python3 inference.py \
  --face examples/face/1.mp4 \
  --audio examples/audio/1.wav \
  --outfile results/1_1.mp4

运行结果在results下：

播放视频https://opentalker.github.io/video-retalking/static/videos/Results_in_the_wild.mp4#t=0.001

参考文章

• video-retalking：GitHub
• video-retalking：arXiv
• video-retalking：Paper