网易互娱AILab新技术全球首个落地的舞蹈动画合成系统(8)

在优化目标方面：
以 Style Embedding 和 Rhythm Signature 之间的距离来度量音乐和舞蹈小节之间的匹配度，即 HMM（隐马尔可夫模型）中的 data term；以动作图边上保存的过渡代价来定义 HMM 的 transition term；音乐和舞蹈的结构一致性规律则被转化成了重复（repeat）和镜像（mirror）两种约束，并松弛为惩罚项融入了 HMM 的目标函数中。两种约束都只会发生在内容非常相似的音乐小节之间。当检测到两个音乐小节内容一致时，如果这两个小节属于不同的音乐章节（也叫乐句，phrase），则这两个小节对应的舞蹈动作应该是重复的，如重复的主歌、副歌对应的动作也是重复的；如果这两个小节属于相同的音乐章节，则这两个小节对应的舞蹈动作应该是互相镜像的，如左手一个慢动作、右手一个慢动作。
最后，通过三组对比实验来直观感受一下风格、节奏和结构这三条编舞规律对合成结果的影响。
更多实现细节和结果展示请参见项目主页：https://netease-gameai.github.io/ChoreoMaster/