五分钟示范“教会”演员说外语,还可无缝切换语种,这家AI配音公司刚获2000万美元A轮融资(2)
2023-05-21 来源:飞速影视
在技术细节方面,Deepdub没有公开太多,或许可以用在GitHub上大火的Mocking Bird做参考。
只需要五秒钟,就可以克隆任意的中文语音,再用同一音色合成其他语音内容,实现从语音到文本再到语音的过程。
模型结构主要由说话人编码器(Speaker encoder)、合成器(Synthesizer)和声码器(Vocoder)组成。
![五分钟示范“教会”演员说外语,还可无缝切换语种,这家AI配音公司刚获2000万美元A轮融资](http://fs.qqfile.top/re/aHR0cHM6Ly9pbWFnZXBwaGNsb3VkLnRoZXBhcGVyLmNuL3BwaC9pbWFnZS8xODAvMjkxLzY2Ni5qcGc1)
其中说话人编码器(绿色)负责提取说话人语音的特征向量,学习音色。
然后再执行传统的TTS(Text-to-Speech)环节:
在合成器(蓝色)中把语音特征融入指定文本,以梅尔频谱为中间变量,将生成的语音频谱传给声码器(红色)。
最后使用深度自回归模型WaveNet作为声码器,用频谱生成最终的语音。
不过,Deepdub虽没有透露自己的技术细节,但是他们声称已经在这个学术研究领域处于领先地位。
这么说也是有些可信度的,从他们的产品、获得的投资和兄弟创始人背景中也能看出来:
弟弟Nir Krakowski有25年的专业研发经验,哥哥Ofir Krakowski还曾在以色列空军机器学习部门任职……
AI配音赛道多家竞速
当然,看上这块市场的也不止Deepdub一家,只是策略上有些不同。
Deepdub走的是修改音频的路,视频内容原封不动。他们打算将用这轮融资的钱扩充团队的营销、研究和工程部门,并且正在和好莱坞谈合作。
英国公司Papercup采取的方法和Deepdub类似,也是专注于音频,通过机翻重新部署原演员的声音,使用合成声,保持视频不变。
而另一家Flawless在音频上还依靠配音演员,但是会编辑视频中的人脸和口型,看起来更像是在说目标语言。
像其他的,还有亚马逊等科技巨头也在做相关的研究,但是现在还没有产品出来。
这么看来,或许我们将来真的可以造出视频界的“巴别塔”,在网剧这块做到无障碍交流。
又或者,某些个别演员真的不用背台词了?
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号