CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(4)

图 1. 超网的蒸馏训练流程实验模型性能作者使用 EfficientNet-B7 作为教师模型，在 224×224 输入尺寸下，在 ImageNet 数据集上做超网训练和结构搜索。8 GPU 条件下，在庞大的 ImageNet 数据集上训练超网仅需 1 天，每个模块都增加为三种可选深度或宽度时，训练过程变为 3 天。验证和搜索过程共需 3 至 4 小时。对于搜索出的结构，作者将其进行权重初始化，并在没有教师模型监督的情况下，在 ImageNet 数据集进行重新训练。结果见表 1 与图 2。

表1: ImageNet 结果对比。

图2: ImageNet 精度-参数量对比图。
本文的 DNA 模型明显的超过了其他最新的 NAS 模型的表现。在 350M 的 FLOPs 限制条件下搜索，本文的 DNA-a 达到了 77.1% 的 Top-1 精度，精度稍低的 SCARLET-a 的参数量超出了其 2.5M（60%）。为了与 EfficientNet-B0 进行公平的比较，作者分别以 399M 计算量和 5.3M 参数量搜索得到了 DNA-b 和 DNA-c，两者的表现都远远超过 B0（1.1% 和 1.5%）。此外，DNA-d 在 6.4M 参数量和 611M 计算量下达到了 78.4% 的 Top-1 精度。当使用与 EfficientNet-B1 相同的输入尺寸（240×240）进行测试时，DNA-d 达到 78.8% 的 Top-1 精度，与 EfficientNet-B1 同样精确，但比 B1 小 1.4M。