CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(3)

为超网的第 i 个块的输出特性图。采用 L2 范数作为损失函数，以 K 表示 Y 中神经元的数目，方程中的损失函数可以写为

, 值得注意的是，对于每个块，作者使用教师模型的第（i-1）个块的输出 Y_(i-1) 作为超网的第 i 个块的输入。如此可以有效的将超网的各模块独立开，且能以并行的方式加快超网训练速度。深度和宽度可变的搜索空间搜索空间虽独立切分进行训练，但不同分块之间在搜索阶段仍可以随意组合，这样就可以保证搜索空间大小总体不变，而训练时的子模型空间大大减小。在特定的约束条件下（计算量或参数量），为了更好地模仿教师，需要根据相应教师模块的学习难度自适应地分配每个模块的模型复杂度。这使得超网在深度和宽度（层数和通道数）上的可变性尤为重要。先前工作采用的方法，例如引入不必要的 Identity 操作，分步进行宽度和操作的搜索等，有诸多问题。得益于独立分块的搜索空间，本文作者提出在每个阶段独立地训练具有不同通道数或层数的多个小块，以确保通道数和层数的可变性。
高效的遍历验证和搜索典型的 NAS 搜索空间包含大约10^17 个子模型，这使得在训练完成后很难对所有子模型进行验证（evaluation）。在以往的 NAS 方法中，随机抽样、进化算法、强化学习、贪心算法等方法被用来从训练的超网中抽取部分子模型进行验证。考虑到的分块蒸馏，作者提出了一种新的方法来根据所有子模型的分块性能来估计它们的总体性能，并使用搜索算法巧妙地遍历所有子模型来选择满足约束条件（计算量或参数量）的性能最好的子模型。作者使用分块蒸馏任务的验证损失来衡量子模型的分块性能，并将各分块的子模型按性能排序。之后，采用优化的深度优先遍历，搜索出符合约束的最佳模型。主要算法流程如图 1 所示，详细算法请参见论文。