腾讯云智能推出“自助式”AI数智人生产24小时定制数字分身(3)

陈磊表示，腾讯云智能专注做厚aPaaS数智人平台，以API接口形式向合作伙伴开放“产、销、服”一体化服务，支持合作伙伴开发更多适用于垂直行业、垂直场景的数智人SaaS服务。目前，已经有数十家合作伙伴依托平台，向行业提供数智人直播SaaS、知识口播SaaS应用，覆盖医疗、传媒、金融多个行业。
作为腾讯云智能的生态集成伙伴，医微讯创始人、CEO潘耿表示，腾讯云智能数智人生产及运营能力的开放，助力我们为客户打造了适用于医疗行业的数字人服务。微媒数字会议CEO天狐表示，微媒将全力和云智能共创数字分身解决方案，形成可持续发展的品牌营销生态，为企业与个人进行IP打造。
“皱纹级”形象还原，“音素级”音色复刻
腾讯自2018年开始投入数智人研发和服务，是国内最早投入数字人领域的企业之一，已发布数百篇相关技术顶会、期刊论文、专利近百份。
在技术解读分享中，腾讯优图实验室研究总监汪铖杰表示，2D小样本技术的背后是3D技术。“小样本数智人从直观上感受是2D视频，背后其实是3D人像在做支撑。从‘文本/音频’信息到‘3D人像驱动’再到‘2D人像视频’的模式，通3D人脸结构的先验信息引入，使数智人口型、表情更到位，让小样本数智人形象实现‘皱纹级’还原。”
另一方面，“小（样本）"的背后是"大”。基于自监督机制的通用多模态模型经过大规模数据训练，可以将语音、文本与人像的表情、口型进行关联。“3分钟”的训练视频正是基于这个模型，学习每个人个性化的发音和口型特征。
汪铖杰表示，虽然小样本数智人使用门槛、成本都大幅降低，但他们希望能“用跑车的性能，服务家用轿车的用户”，通过综合运用多项视觉AI技术，提升小样本数智人品质，其中就包括高精度人像分割、光照优化、人像美化、视线矫正等。他举例称，当录制视频出现较暗、较朦等情况，小样本数智人可以通过光照优化技术进行亮度提升，也能通过高精度的人像美化提升皮肤质感。
在声音复刻方面，基于腾讯自研的新一代小样本音色定制技术，依托深度学习的声学模型及神经网络声码器，小样本数智人改善了传统声学模型语音韵律单一，语调平淡的问题，让语音合成更加精细化。例如，一段文字中哪里该读重音、哪里情绪有变化等因素，都会经由AI训练识别，复现个人音色以及表达风格，最终实现接近本人的自然表达。
此外，通过构建大规模高质量音色数据的预训练基底模型，未来小样本数智人还将支持用户只录制普通话，即可合成英文及方言语音。