Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词！

丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI
当电影用另一种语言配音时，演员的面部动作、口型在新的语言下会非常违和。
不信你看，当章子怡的《卧虎藏龙》被配音成英语后：
00:04
现在，最新的技术可以帮大家免除这种“尴尬”：
使用Deepfake来操纵演员的嘴唇和面部表情，使之匹配新语言配音。效果非常逼真！从口型看起来就像演员刚刚学会了一门外语，然后重新拍了一版一样。
影帝罗伯特·德尼罗在《双面劫匪》里有模有样地“说”起了德语：
00:09
德语、日语、西班牙语的《阿甘正传》：
00:08
如果你没看过这两部电影，会怀疑它们其实都不是原声吗？
Deepfake的“用武之地”又多一个
事情是这样的，电影《双面劫匪》的导演在看了它的外国版后非常震惊，表示与人物口型对不上的配音毁了电影里不少精心制作的场景。
要知道，在对电影进行其他语言版本的配音时，为了使对话更接近演员的唇部动作，有时甚至会大幅改变人物对话。
该导演说：“当时我非常伤心。你在一句台词词或一个表演上做一个小的改变，就可能对故事节奏中的一个角色产生大的改变，进而对整个电影产生影响。”
最后，他实在受不了在自己的电影里看“变味儿”的外国配音，表示还是别配了，听原声看字幕得了，开始“盯”上了最新的Deepfake技术。

图片
他开始研究并参加了一个AI配音项目，该项目由德国马克斯-普朗克研究所的一位教授领导。（该研究所出过18个诺贝尔科学奖获得者）
他们的这项AI配音工作比传统的Deepfake复杂得多。需要捕捉一个场景中演员的面部表情和动作，以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型，将演员的面部和头部与配音者的嘴唇动作结合起来。
由这位导演和他参与创立的Flawless公司最终从该项目汲取了灵感，和制片厂讨论决定将该技术应用到多种语言版本的电影中。