实录|旷视研究院详解COCO2017人体姿态估计冠军论文（PPT 视频）(5)

介绍下我们网络。

Online Hard Keypoints Mining，从这张图可以看出我们是怎么去做Hard Keypoints Mining的。COCO有17个点，我们输出17个heatmap，把每个heatmap计算loss之后再回传。Online Hard Keypoints Mining是相当于把每一个headmap计算之后，按照关节点为粒度做平均，把17个loss排序，把最难的那一部分的keypoints回传，剩下的简单的一部分，不回传loss或者是把loss置为0。
在比赛中也主要就是用了类似策略。简单分析一下：如果是17个点，在二分之一的位置回传loss比较好。

右边这个表说明了普通的L2 loss和Online Hard Keypoints Mining的loss各有什么区别。最后可以看出前面用普通的L2 loss，后面用Online Hard Keypoints Mining的loss会更科学点。
因为前面其实是在宏观上对所有关节点做预测，后面的loss是把前面没有解完或者不好的关节点用作学习。这种情况下他们就各有分工，也会解得比较好。
下面讲一讲设计RefineNet。