如何打造基于摄像头的感知定位解决方案？DeepMotion给出了答案(10)

这张图是我们的整个系统架构，实践中它们的关系比较复杂。我尽量把它呈现出来，希望能给大家解释清楚。
这里面主要有两件事情，分别是高精定位和环境感知。
在高精定位中，整个系统会有IMU和GPS信号输入。通过摄像头获取图像，进而通过感知模块把地图元素给抽取出来。地图元素和高精地图做比，再结合GPS和IMU信号，得出高精度的定位坐标。
当有了高精定位以后，我们可以把地图在当前视野里进行一个反投。可以把地图的投影看作是一种mask，mask中标记出地图元素应该出现在当前视野中的哪些位置。之后再结合摄像头和激光雷达，就能够做到更好的环境感知。
这里会出现鸡和蛋的问题。环境感知希望地图投影给它一个mask，能够让它做得更准。但为了得到地图投影，又需要知道当前车辆的位置和姿态。而定位本身又依赖于环境感知部分从当前图片中抽取的地图元素。
因此在实操中，这是一个迭代的过程。在t 1的时刻，即使这时还没有高精定位的位置，也会根据前一时刻t的位置来做一个预测。这个预测的位姿会用来做地图投影。在有了地图投影之后，把投影输入到环境感知模块中，再进行t 1时刻地图元素的抽取，进而去改进t 1时刻的高精定位。
在实操中会发现地图投影并不需要是非常准确的位姿。地图投影本身只是提供图像中的一个大概的目标区域，来告知感知模组哪里有需要识别的环境语义标识。

高精定位本质上就是一个优化问题，我们有GPS观测、惯导观测以及地图和图像中地图元素检测结果之间匹配状况的关系。这里有多重约束，不同约束会对应车辆位姿的不同部分，比如GPS是对position（位置）的约束，IMU会约束车辆的orientation（朝向）和时序上的位置变化。而地图与图像的比对会对位置和朝向的6-DOF（自由度）都会有约束。
实操中最难的是如何根据在车辆行进过程中去自适应调整不同的约束在整个优化cost中的权重。举个例子，在过隧道的时候，我们完全不应该去相信GPS信号，需要直接忽略它了cost。此外在实际上也会考虑到传感器本身置信度，比如IMU的噪音漂移等情况。这就需要去预测这几个信号之间可信度的时序变化，并对此进行建模，从而帮助不断调整不同约束在融合中的权重。