Intel想用6个深感相机实现全身追踪(5)

点云对应不同的红黄蓝和xyz值

合成数据缺少噪点
Krejov提出的动作识别方案需要收集RGB和深度图像数据（每颗像素有各自对应的深度值），生成点云，这样每一个样本各代表了人体表面的一点。与真实数据相比，合成的训练数据缺少了噪点等特性，这些噪点是很难模仿合成的。但是真实数据需要人工标记，因此在时间、成本和准确性上都有局限。
为了采集动作数据，美国卡内基梅隆大学曾研发全景式三角测量法，即先估计手上关节的平面位置图，接着制作成手的3D模型，然后再重新投射到2D平面上，反复优化。OpenPose就是基于这种方案，Krejov的科研团队曾使用OpenPose来标记平面图像。
在全景式三角测量法基础上，Krejov提出了多视角捕捉的概念，这就需要使用更多摄像机，不过好处是能够采集到更准确的数据。
摄像头同步和校准

据悉，他的方案使用了6个RealSense深感相机，多个相机就需要考虑时间同步的问题，还需要将它们校准到同一坐标空间。使用三角测量法时，可以采用软件同步的方式，但是对于容积重建这种更复杂的任务来说，为减少伪影的出现，就不得不考虑同步摄像头触发装置的方法。
Krejov的多视角捕捉法，需要将六台摄像机等距摆放在追踪目标周围。他表示，你也可以使用更多相机，甚至为每台相机设定需要捕捉的专属节点。