网易互娱AILab新技术全球首个落地的舞蹈动画合成系统(4)

这些普适的编舞规则可以总结为：
风格相契合，即音乐和舞蹈动作所传达出来的情绪和氛围应该是相似的；节奏相匹配，即音乐的节奏点和舞蹈的节奏点应该是同步的，并且这些节奏点出现的模式一般呈现明显的规律性和周期性； 结构相呼应，即音乐和动作的组织结构应该是一致的，如重复的音乐段落（主歌、副歌等）对应的舞蹈动作段落一般也是重复的，重复的音乐小节对应的舞蹈动作小节一般是镜像对称的。
基于这些编舞学规则、并结合已有方案的优缺点，网易互娱 AI LAB 的研究者提出了一种全新的基于音乐的舞蹈合成系统——ChoreoMaster。该系统能够以稳定、可解释、可控的方式持续输出符合落地标准的高质量舞蹈动作，是业界首个 production-ready 的舞蹈合成工具。

ChoreoMaster 的技术方案如上图所示，包含两个模块：面向编舞的音乐 - 舞蹈 Embedding（左）和面向编舞的舞蹈动作合成（右）。其中，音乐 - 舞蹈 Embedding 模块利用深度学习技术，从高质量音乐 / 舞蹈数据库中构建音乐 - 舞蹈在风格、节奏契合度方面的度量，用于定量描述音乐片段和舞蹈片段之间的风格匹配度和节奏匹配度；而舞蹈动作合成模块则对传统的图优化框架进行扩展，在动作图构建和优化目标函数中融入风格、节奏和结构方面的编舞学规律。下面分别对这两个模块进行简单介绍。
面向编舞的音乐 - 舞蹈 Embedding
该模块的目标是将音乐和舞蹈的风格相契合和节奏匹配度这两条主观性规律转化成可计算的客观定量表达。因此，该模块整体是一个跨模态 Embedding 架构，包含 Style（风格）和 Rhythm（节奏）两个分支，分别用于将音乐 / 动作片段从各自的模态空间映射为同一低维空间（32 维）的 Style Embedding 和同一低维空间（8 维）的 Rhythm Embedding。网络结构如下图所示。