CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法

机器之心发布
机器之心编辑部
近日，计算机视觉顶会 CVPR 2020 接收论文结果公布，从 6656 篇有效投稿中录取了 1470 篇论文，录取率约为 22%。本文介绍了暗物智能研究院和蒙纳士大学等被 CVPR 2020 接收的一篇论文《Blockwisely Supervised Neural Architecture Search with Knowledge Distillation》。
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。但是，现有的 NAS 解决方案的有效性和效率还不明确，最近的一些工作表明，许多现有的 NAS 解决方案甚至不优于随机网络搜索。NAS 方法的无效性可能归因于不准确的网络结构评估。具体来说，为了加快 NAS 的速度，最近的工作提出了利用共享网络参数在一个大的搜索空间中同时对不同的候选网络结构进行不充分训练，但这导致了不正确的网络结构评级，进一步加剧了 NAS 方法的无效性。来自暗物智能研究院和蒙纳士大学、中山大学的研究者们联合提出了一种新的神经网络搜索方法，解决了上文提到的目前 NAS 方法面临的两个最大问题：效率和有效性问题。区别于现有（RL，Darts，One-shot）的神经网络搜索算法，作者基于知识蒸馏的思想，引入教师模型来引导网络结构搜索的方向。
利用来自教师模型不同深度的监督信息，将原本端到端的网络搜索空间在深度上分块，实现对网络搜索空间独立分块的权重共享训练，大大降低了权重共享带来的干扰。在不牺牲权重共享的高效率的同时，也保证了对候选子模型的评估准确性，同时通过算法实现对搜索空间中所有候选结构的遍历。相关研究以「Blockwisely Supervised Neural Architecture Search with Knowledge Distillation」为题被计算机视觉顶会 CVPR 2020 接收。