网易互娱AILab新技术全球首个落地的舞蹈动画合成系统(2)

从左到右分别为 AI Choreographer、DanceNet3D 和 ChoreoMaster 输入 hip hop 乐曲后的生成效果
历经两年多的潜心研发，网易互娱 AI LAB 的研发团队提出了符合实际生产环境应用要求的 AI 舞蹈动画合成方案 ChoreoMaster。该方案的亮点在于：除了能够快速稳定地输出一段符合编舞美学、符合多种舞种风格、连贯自然的舞蹈动画以外，还灵活支持丰富的约束方式来指导算法按照用户期望的方向合成舞蹈动画，如可替换或删除指定片段、预设舞蹈轨迹和限制舞蹈范围等。
网易互娱 AI LAB 的研究者们从打造实际生产力工具的角度对 AI 舞蹈合成问题进行了新的思考。作为一款美术资源生产工具，美术同事对舞蹈动画合成系统有两方面的期待。首先，必须能够持续、稳定地输出符合落地质量标准的舞蹈动作资源；其次，合成的过程必须具备足够的可解释性和可控性，能以最直观的方式让用户快速获得期望的结果。
已有方案
虽然目前学术界已经有大量关于「基于音乐的舞蹈合成问题」的研究工作，但并没有一个已有算法框架能符合上述两方面的期待。从技术原理上划分，目前的方案可以被分成两个流派：基于传统图优化的方案和基于深度生成模型的方案。
基于传统图优化的方案构建于「基于图的动作合成（graph-based motion synthesis）」框架。其思路为对已有舞蹈动作数据进行切割分，形成大量舞蹈动作片段，并构建一个关于舞蹈动作片段的动作图（motion graph），图的每个节点对应一个舞蹈动作片段，图的每条有向边标记了两个邻接节点之间的过渡代价。这个过渡代价度量了一个动作片段是否能平滑地衔接在另一个动作片段后面。通过定义一个关于音乐片段和舞蹈动作片段匹配度的经验函数，基于音乐的舞蹈动画合成问题就转化成了在动作图中寻找一条与输入音乐匹配度尽量高、同时内部过渡代价尽量小的路径（walk）。该优化问题可以用标准的隐马尔可夫模型（HMM）进行建模，并使用 Viterbi 或 Beam-Search 算法高效求解。这套图优化框架具备优雅、完备的理论保障，能够以鲁棒、可解释、可控的方式合成平滑的动作，也因此成为了图形学领域处理动作合成问题的标准解决方案。