CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(2)

论文链接：https://arxiv.org/abs/1911.13053代码链接：https://github.com/changlin31/DNA背景神经网络搜索简介解决神经网络搜索问题通常包括两个迭代步骤，即搜索和评估。搜索步骤是选择值得评估的适当网络结构，而评估步骤是对搜索步骤选择的网络结构的最终性能进行估计和评级。评估步骤在神经网络搜索解决方案中最为重要，因为缓慢的评估会导致神经网络搜索的计算成本过高，搜索效率低下，而不准确的评估会导致神经网络搜索的无效性。权重共享神经网络搜索的无效性对候选网络结构最精确的数学评估是从无到有地训练它到收敛并测试它的性能，然而，由于巨大的成本，这是不切实际的。例如，在 ImageNet 上训练单个 ResNet50 大小的网络可能需要超过 10 GPU 天。
为了加快评估速度，最近的工作（DARTS，ProxylessNAS，One-shot，SinglePO，FBNet）提出不要将每个候选网络从零开始全面训练到收敛，而是使用权重共享的方式来同时训练不同的候选网络的网络参数。然而，共享的最优网络参数不一定表示子网（即候选结构）的最优网络参数，甚至相关性很低，因为子网没有得到公平和充分的训练，且共享同一网络参数的子网太多，导致子网无法完全训练收敛。这样的训练导致无法准确评估候选模型，不准确的评估导致了现有 NAS 的无效性。方法分块搜索空间FairNAS 和 PC-NAS 提出，当搜索空间很小，并且所有候选模型都经过充分和公平的训练时，评估可能是准确的。为了提高评价的准确性，作者在深度上将超网划分为更小的子空间块，并使其相互独立的训练，以此来缩小每个块的搜索空间，减少共享权重的子网数量。
引入中间层监督使分块独立训练为使分块搜索空间能独立的进行训练，作者引入现有训练完成的模型的中间层特征图来监督网络结构搜索搜索。设 Y_i 为监督模型（即教师模型）的第 i 个块的输出特性图，