Intel想用6个深感相机实现全身追踪(8)

利用之前采集到的多视角训练数据，他们研发了一款小型机器学习网络（采用关节推理原理），分成六部分，其中大部分是卷曲神经网络。首先他们将图像中的动作数据进行缩小和精简，加上头显和手柄的位置信息，然后再次放大，生成估计的热量图以及关节位置信息和最初估计的头显和手柄位置信息。
通过参考头显和手柄位置，目标超出相机视野的身体部位也可以追踪，另外参考目标与地面的位置，还能够分析他是否跳离地面。小型网络可在i7 CPU上运行，刷新率达200 fps。
模型优化

橘色为点云
为了确保准确性，该方案还需要对模型进行优化，方式是将点云数据与模型对齐，找到差别最小的节点，然后分析这些节点与模型之间的相互影响，以此来生成优化的骨骼追踪数据。
未优化的模型通常不够准确，人的动作局限在小范围中，因此他们使用机器学习来优化模型。优化后，追踪更加稳定，
Krejov及团队在研究方案时，采用了HTC Vive头显，优势是它内置头部追踪功能，更能优化单一相机的追踪方案。
躯干追踪部分，该方案采用了模型拟合和机器学习技术，可追踪腰部，让你在VR中玩呼啦圈，还能够追踪腿和脚，让你在VR中踢球、跨栏、跑步、跳舞等，这样就省去了VR跑步机等VR控制器。
为了验证这项技术，Krejov和团队编写了一款Unity插件，让他们将估计模型放进游戏里。接着他们使用Final IK的现成反向运动方案，将游戏中的人物与估计模型叠加。