CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(5)

（模型结构的详细信息，请参见论文附录）为测试模型的泛化性能，作者在 Cifar-10 和 Cifar-100 数据集上验证了模型迁移学习的能力，同样超出了现有 NAS 模型。结果见表 2。

表2: 迁移学习结果对比。
模型排序为了证明分块蒸馏神经网络搜索算法确实提高了模型评估的准确性，作者与 SPOS（Single Path One-shot）搜索方法在模型结构的排序上做了对比。如图 3，结果表明，本文方法（蓝色）在模型排序相关性上远超 SPOS 方法（橙色）。

图3: DNA-SPOS模型排序对比图。
训练过程可视化为了证明超网蒸馏训练的有效性和稳定性，作者做了训练过程中损失函数、搜索出的最佳模型性能以及超网与教师网络的特征图对比。如图 4，图 5 所示，最佳模型的性能随训练损失的降低而稳定上升，相似的特征图证明蒸馏训练使超网有效地拟合了教师模型。