五分钟示范“教会”演员说外语，还可无缝切换语种，这家AI配音公司刚获2000万美元A轮融资(2)

在技术细节方面，Deepdub没有公开太多，或许可以用在GitHub上大火的Mocking Bird做参考。
只需要五秒钟，就可以克隆任意的中文语音，再用同一音色合成其他语音内容，实现从语音到文本再到语音的过程。
模型结构主要由说话人编码器（Speaker encoder）、合成器（Synthesizer）和声码器（Vocoder）组成。

其中说话人编码器（绿色）负责提取说话人语音的特征向量，学习音色。
然后再执行传统的TTS（Text-to-Speech）环节：
在合成器（蓝色）中把语音特征融入指定文本，以梅尔频谱为中间变量，将生成的语音频谱传给声码器（红色）。
最后使用深度自回归模型WaveNet作为声码器，用频谱生成最终的语音。
不过，Deepdub虽没有透露自己的技术细节，但是他们声称已经在这个学术研究领域处于领先地位。
这么说也是有些可信度的，从他们的产品、获得的投资和兄弟创始人背景中也能看出来：
弟弟Nir Krakowski有25年的专业研发经验，哥哥Ofir Krakowski还曾在以色列空军机器学习部门任职……
AI配音赛道多家竞速
当然，看上这块市场的也不止Deepdub一家，只是策略上有些不同。
Deepdub走的是修改音频的路，视频内容原封不动。他们打算将用这轮融资的钱扩充团队的营销、研究和工程部门，并且正在和好莱坞谈合作。
英国公司Papercup采取的方法和Deepdub类似，也是专注于音频，通过机翻重新部署原演员的声音，使用合成声，保持视频不变。
而另一家Flawless在音频上还依靠配音演员，但是会编辑视频中的人脸和口型，看起来更像是在说目标语言。
像其他的，还有亚马逊等科技巨头也在做相关的研究，但是现在还没有产品出来。
这么看来，或许我们将来真的可以造出视频界的“巴别塔”，在网剧这块做到无障碍交流。
又或者，某些个别演员真的不用背台词了？