华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天｜CVPR2020(4)

假设优化目标为模型参数和准确率，对于NSGA-III，会根据两个不同的指标进行non-dominated排序，然后根据帕累托图进行选择。而对于pNSGA-III，额外添加考虑准确率的增长速度的non-dominated排序，最后结合两种排序进行选择。这样，准确率增长较慢的大模型也能得到保留。如图2所示，pNSGA-III很明显保留的模型大小更广，且准确率与NSGA-III相当。
CARS算法的连续优化

CARS算法的优化包含两个步骤，分别是网络结构优化和参数优化，另外，在初期也会使用参数warmup。
Parameter Warmup，由于超网的共享权重是随机初始化的，如果结构集合也是随机初始化，那么出现最多的block的训练次数会多于其它block。因此，使用均分抽样策略来初始化超网的参数，公平地覆盖所有可能的网络，每条路径都有平等地出现概率，每种层操作也是平等概率，在最初几轮使用这种策略来初始化超网的权重。Architecture Optimization，在完成超网初始化后，随机采样个不同的结构作为父代，为超参数，后面pNSGA-III的筛选也使用。在进化过程中生成个子代，是用于控制子代数的超参，最后使用pNSGA-III从中选取个网络用于参数更新。Parameter Optimization，给予网络结构合集，使用公式3进行小批量梯度更新。Search Time Analysis