华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天｜CVPR2020(3)

由于已经得到大量带超网共享参数的结构，每次都集合所有网络梯度进行更新会相当耗时，可以借鉴SGD的思想进行min-batch更新。使用个不同的网络进行参数更新，编号为。计算如公式3，使用小批量网络来接近所有网络的梯度，能够极大地减少优化时间，做到效果和性能间的平衡。
结构优化
对于结构的优化过程，使用NSGA-III算法的non-dominated排序策略进行。标记为个不同的网络，为希望优化的个指标，一般这些指标都是有冲突的，例如参数量、浮点运算量、推理时延和准确率，导致同时优化这些指标会比较难。

首先定义支配(dominate)的概念，假设网络的准确率大于等于网络，并且有一个其它指标优于网络，则称网络支配网络，在进化过程网络可被网络代替。利用这个方法，可以在种群中挑选到一系列优秀的结构，然后使用这些网络来优化超网对应部分的参数。
尽管non-dominated排序能帮助选择的更好网络，但搜索过程仍可能会存在小模型陷阱现象。由于超网的参数仍在训练，所以当前轮次的模型不一定为其最优表现，如果存在一些参数少的小模型但有比较高的准确率，则会统治了整个搜索过程。因此，论文基于NSGA-III提出pNSGA-III，加入准确率提升速度作为考虑