如何打造基于摄像头的感知定位解决方案？DeepMotion给出了答案(11)

最后，深度学习对图像处理的帧率可能不够高。但操控车辆的时候，往往需要更高帧率的位姿输出。这里就涉及到在图像间进行姿态插值，利用IMU信号来得到更高频的输出，这些也是实际中所需要考虑的问题。

对于环境感知来说，毋庸置疑，大家首先会考虑使用RGB的图像信息，也会把Lidar的空间数据放进感知系统中，同时比较重要的是会把高清地图在当前帧的投影也输入到神经网络中。因此我们神经网络有三种不同信号的输入。
对于神经网络的输出，一方面是比较标准的像素级图像的语义分割，同时我们还会恢复一个非常稠密的深度图。在这个稠密的深度图恢复过程中，我们用到了高精地图对路平面的估计，也用到了Lidar点云以及图像的信息，使得最终的数据是一个比较稠密的深度图。神经网络会同时输出空间和语义这两方面的信息。这是一个在比较底层的特征融合，体现在网络本身的结构和权重的优化过程中。
每帧数据都有了这两方面的信息以后，可以建立一个local（本地）的空间坐标系。在这个坐标系中，路平面、车辆、交通标识等都可以用一种真3D的模式得到表现。这也为后续车辆的控制和决策提供了非常直观的输入。

最后我们总结一下，从DeepMotion出发，有两个观点。
1.我们认为应该重新思考高精地图在整个自动驾驶环节中的地位。就是以高精地图为核心，提供更好的环境感知与高精定位。