CVPR2020｜暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(6)

图4: 训练过程损失-最佳模型精度图。

图5: 训练过程教师网络-超网特征图对比。
教师模型对比与分析通过对比使用不同教师模型搜索得到的网络结构，作者发现 DNA 方法得到的网络结构精度不受限于教师模型的精度，可以在相同模型大小超过教师模型的精度。如表 3 所示，DNA-B0 精度超过 EfficientNet-B0 1.5%，DNA-B7 经过模型大小的扩展，精度超过 EfficientNet-B7 2.1%（此处 EfficientNet-B7 采用与蒸馏时相同的 224×224 输入尺度）。

表3: 教师模型对比。
在算法落地方面，据了解，本方法已应用于暗物智能科技自研 AutoML 平台，支持在目标任务场景自动构建高精度模型。此外该 AutoML 平台实现了 AI 模型从开发到部署的全自动化流程，配合模型的自动化超参调优，为企业开发、运用 AI 能力全面降低门槛。