蒙娜丽莎Rap的秘密！这个AI算法绝不能错过！(2)

更贴心的是，完整项目代码已公开于 AI Studio，大家动动手指即可体验：
https://aistudio.baidu.com/aistudio/projectdetail/3156519?ref=baiduai2
下面给大家拆解下技术原理和具体的操作步骤，手把手教你实现苏轼念诗，蒙娜丽莎唱 Rap 或者任何你心仪的 Idol 说情话( ω )。
这是一个输入一段语音，使目标人物图片、视频的唇形，根据语音进行自动匹配并运动起来的任务。因此，我们需要准备一段音频和一段人像/动漫人物视频，将音频和视频输入 Wav2lip 模型中，经过 Wav2lip 模型预测后，便会输出一段目标人物/动漫人物说出输入音频的视频，至此，「千万级」配音视频就完成啦~

PaddleGAN 的唇形迁移能力——Wav2lip
Wav2lip 模型实现唇形与语音精准同步突破的关键在于：
采用了唇形同步判别器，以强制生成器持续产生准确而逼真的唇部运动。
此外，通过在鉴别器中，使用多个连续帧而不是单个帧，并使用视觉质量损失（而不仅仅是对比损失）来考虑时间相关性，从而改善了视觉质量。

万能的 Wav2lip 模型适用于任何人脸、任何语音、任何语言！对任意视频都能达到很高的准确率，都可以实现无缝地与原始视频融合，无论是视频效果还是语音效果都很逼真。
与此同时，PaddleGAN 针对 Wav2Lip 模型进行了高清优化，使唇形拟合更细腻，更加逼真。