GAITC2022智媒专题论坛丨王亦洲：主动跟踪算法研究(3)

这里可以看到一个例子，要真正实现主动目标跟踪，其实会有很多不同的挑战。比如，在录制一些比较惊险刺激的特技镜头时，摄影师不仅要让相机对准演员，还要同步适应复杂的地形环境，调动四肢跟随演员移动，其技术难度可能要比演员表演特技还要高。并且这整个过程，从感知到动作都需要做到十分快速精准执行。然而，这对于现阶段的机器人而言，几乎是一件不可能的完成的任务。
那么，要真正实现复杂场景下的主动目标，我们的模型需要适应多样的工作环境（包括不同的天气、光照条件）；还要克服障碍物遮挡（也就是避障），比如遇到障碍物的时候，要找到最短路径绕过障碍物；也要克服动态干扰物的影响，避免混淆。因此，我们就考虑训练一个端到端的模型，输入图像，直接输出动作。感知和决策可以同步优化，互相适应，对应的中间表示也会更加紧凑。
要训练这种端到端的感知-决策网络，当前流行的有两种方法，一种是模仿学习，一种是强化学习。模仿学习样本效率会高一些，但是仍然需要收集专家数据进行训练，而且不可避免的存在数据分布的偏差，模型的泛化性会比较差。对于跟踪模型来说，模型的泛化能力是至关重要的。因此我们采用强化学习，我们只需要设计一个简单的奖赏函数，机器人在环境中自主探索，就可以在试错中学习技能。
但是，如果让智能体在真实场景中交互试错，他的代价是十分高昂的。因此，我们构建UnrealCV虚拟环境，用于机器人的自主学习。我们可以从中获取高逼真的视觉观测，精准的ground truth，以及进行实时的交互，包括多智能体的交互。这个项目已经开源了大家感兴趣都可以用。
这是我们构建的虚拟环境，有室内和室外的。经常一些同学或同僚问在虚拟环境中做的东西到真实环境怎么样，这个问题非常好。有些人认为，虚拟环境中的训练的模型肯定不如真实环境。但是我认为此环境和彼环境没有本质的区别。虚拟环境未必一定比真实环境简单。比如，我们真实世界的重力加速度是9.8米每秒方左右，但是虚拟世界当中我闷可以让重力加速度是任意的，可以是月球的，也可以是火星的。地球上十级台风已经很大了，在真实环境中可能没法做实验。但是虚拟环境中，我们可以模拟二十级台风。还有各种摩擦系数、光照条件、极端气候等全都能够模拟，你说虚拟环境一定是真实环境的子集吗？重要的是，从一个环境中训练的模型到另一个环境中都要进行迁移学习进行调整。从一个虚拟环境到另一个虚拟环境、从虚拟到真实，从真实到另一个真实都需要调整，方法其实是一样的。