CVPR2020|暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法(5)
2023-05-01 来源:飞速影视
(模型结构的详细信息,请参见论文附录)为测试模型的泛化性能,作者在 Cifar-10 和 Cifar-100 数据集上验证了模型迁移学习的能力,同样超出了现有 NAS 模型。结果见表 2。
![CVPR2020|暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法](http://fs.qqfile.top/re/aHR0cHM6Ly9waWNzMy5iYWlkdS5jb20vZmVlZC8xZjE3OGE4MmI5MDE0YTkwMGU4ZWZlMmViNzIwNTgxNGIyMWJlZTRiLmpwZWdAZl9hdXRvP3Rva2VuPTk5ZGFiNDhkNzZmODk1MTkxNzg0NTk2ZTU1ZDI0YTk40)
表2: 迁移学习结果对比。
模型排序为了证明分块蒸馏神经网络搜索算法确实提高了模型评估的准确性,作者与 SPOS(Single Path One-shot)搜索方法在模型结构的排序上做了对比。如图 3,结果表明,本文方法(蓝色)在模型排序相关性上远超 SPOS 方法(橙色)。
![CVPR2020|暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法](/images/loading.gif)
图3: DNA-SPOS模型排序对比图。
训练过程可视化为了证明超网蒸馏训练的有效性和稳定性,作者做了训练过程中损失函数、搜索出的最佳模型性能以及超网与教师网络的特征图对比。如图 4,图 5 所示,最佳模型的性能随训练损失的降低而稳定上升,相似的特征图证明蒸馏训练使超网有效地拟合了教师模型。
![CVPR2020|暗物智能提出基于知识蒸馏的分块监督神经网络搜索算法](/images/loading.gif)
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号