网易互娱AILab新技术全球首个落地的舞蹈动画合成系统(3)

然而，目前基于图优化的方法生成的舞蹈动作远远达不到专业美术的审美标准。一方面，基于浅层人工特征定义的音乐 - 舞蹈匹配度并不能真实地刻画音乐和舞蹈的内在关联；另一方面，一段完整的舞蹈也远远不止将一批舞蹈动作片段平滑地拼接在一起那么简单，即使每个片段都非常美观。专业美术在看了这些方法合成的结果后，都会给出「动作拼凑感强」、「音乐动作契合度差」、「缺乏编舞合理性」等反馈。
在深度学习技术兴起后，深度生成模型在图像、语音、文本等诸多领域的任务中取得了令人瞩目的成绩，也很自然地被应用到了基于音乐的舞蹈合成任务中。从生成模型的角度来看，基于音乐的舞蹈合成任务属于经典的针对时序数据的跨模态翻译问题，前文展示的 DanceNet3D 和 AI Choreographer 方案都遵循这一思路。得益于深度人工神经网络在特征提取和表征方面的强大能力，只要数据充足并且训练充分，这类方法都可以在一定程度上学习到音乐和舞蹈之间的一些深层次关联。
然而，与其他领域面临的问题一样，基于深度生成模型的方法想要在实际生产环境落地还有很长的路要走。首先，人工神经网络属于众所周知的黑盒模型，其合成的结果几乎没有任何的可解释性和可控性。其次，从机器学习的角度来说，人工神经网络理解数据本质属性的方式是将其投影到低维隐空间。在这个投影过程中，属于高频分量的动作细节往往会被当成不重要的噪音而被故意丢弃。由于丢失了这些高频信息，深度生成模型合成的舞蹈动作很容易表现得很「呆滞」，甚至有些时候连流畅性都难以保证，更不要说达到专业美术的预期。最后，高质量三维舞蹈动作数据的生产成本要远远高于图像、语音、文字等形式的数据，可供训练的高质量音乐 - 舞蹈数据非常有限。舞蹈本身又是一门比较复杂的艺术形式，这导致了目前所有的深度生成模型的泛化性都很受限，模型在处理训练数据集之外的音乐时，效果难以保证，很容易输出奇怪的结果。
ChoreoMaster 方案
在尝试了多种方案，但合成的结果屡屡不尽如人意之后，网易互娱 AI LAB 的研究团队开始从舞蹈艺术角度对结果进行审视，并系统性地学习了编舞学（Choreography）这门独立学科。研究者们从编舞学庞杂的主观经验性规律中，总结出了一些普适规则。在与专业美术持续不断的迭代中，大家发现只要合成的舞蹈能够遵循这些规律，就能达到美术的质量要求，甚至能够获得专业编舞老师的认可。