wav2lip

wav2lip官网,github,AI虚拟主播数字人嘴型同步模型

简介

最近两年，数字人受到越来越多人的关注。数字人可分为3D和2D。3D的话比较出名的是虚幻引擎的meta human，背后的技术涉及到blendshape等等。而本文将介绍两个比较知名的2D数字人算法，分别是SadTalker和Wav2Lip。另外，最近泰勒斯威夫特说中文的视频很火，据说背后用到的算法之一是GeneFace++，不过限于篇幅和它的前提知识比较多，本文暂时不讲。

wav2lip官网: https://github.com/Rudrabha/Wav2Lip

论文：

《A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild

http://cdn.iiit.ac.in/cdn/cvit.iiit.ac.in/images/Projects/Speech-to-Lip/paper.pdf

2D数字人根据输入类型的不同，还可以进一步分为视频+音频，wav2lip和geneface属于这一类，这一类算法只生成新的口型，另一类的输入是图片+音频，sadtalker属于这一类，这一类不仅生成新的口型，还生成头部运动，复杂度较高。
Wav2Lip技术原理