网易互娱AILab新技术全球首个落地的舞蹈动画合成系统(7)

面向编舞的舞蹈动作合成

为了保证系统的鲁棒性、可解释性和可控性，ChoreoMaster 选择了图优化框架来实现舞蹈动作的合成。与之前的图优化方案不同的是，ChoreoMaster 在音乐舞蹈合成场景下，对「基于图的动作合成（graph-based motion synthesis）」框架做了充分的扩展，将风格、节奏和结构方面的编舞学规律融入到了动作图构建和图优化目标函数中。前文已经简单介绍过基于图优化的舞蹈合成思路，这里重点列举一下 ChoreoMaster 的不同点。
在动作图构建方面：
（1）对舞蹈动作以小节（meter）为单位进行切分，而不是以节拍（beat）为单位进行切分，也就是说动作图的每个节点对应了一个完整的舞蹈动作小节，这样可以保证合成的舞蹈动作中每个小节内部组织方式的合理性；
（2）在计算动作图节点之间的过渡代价时，除了传统的连续性代价，还引入了以 32 维 Style Embedding 进行度量的风格兼容性代价，这样可以有效避免合成的舞蹈动作中出现突兀的风格跳变。如下图中展示的一样，如果只有动作连续性的代价，可爱风动作很容易过渡到性感风或炫酷风动作；

（3）采用了一些数据增广手段，对动作图的节点数进行扩充，扩充方式包括左右镜像（下图左），上下半身融合（下图右）和小节重组。其中，小节重组指的是从「1234」和「abcd」两个小节，生成两个新的小节「12cd」和「ab34」，前提是「1234」和「abcd」的 Rhythm Signature 一致、Style Embedding 非常接近，并且「12」和「cd」、「ab」和「34」可以平滑地拼接在一起。上下半身融合和小节重组生成的新数据，全部都进行了人工校验。