华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天｜CVPR2020(5)

CARS搜索时，将数据集分为数据集和验证集，假设单个网络的训练耗时为，验证耗时，warmup共周期，共需要时间来初始化超网的参数。假设进化共轮，每轮参数优化阶段对超网训练周期，所以每轮进化的参数优化耗时，为mini-batch大小。结构优化阶段，所有个体是并行的，所以搜索耗时为。CARS的总耗时如公式5。
实验
实验设置
supernet Backbones超网主干基于DARTS的设置，DARTS搜索空间包含8个不同的操作，包含4种卷积、2种池化、skip连接和无连接，搜索normal cell和reduction cell，分别用于特征提取以及下采样，搜索结束后，根据预设将cell堆叠起来
Evolution Details在DARTS中，每个中间节点与之前的两个节点连接，因此每个节点有其独立的搜索空间，而交叉和变异在搜索空间相对应的节点中进行，占总数的比例均为0.25，其余0.5为随机生成的新结构。对于交叉操作，每个节点有0.5的概率交叉其连接，而对于变异，每个节点有0.5的概率随机赋予新操作。
CIFAR-10的实验
Small Model Trap

图3训练了3个不同大小的模型，在训练600轮后，模型的准确率与其大小相关，从前50轮的曲线可以看出小模型陷阱的原因：
小模型准确率上升速度较快小模型准确率的波动较大在前50轮模型C一直处于下风，若使用NSGA算法，模型C会直接去掉了，这是需要使用pNSGA-III的第一个原因。对于模型B和C，准确率增长类似，但由于训练导致准确率波动，一旦模型A的准确率高于B，B就会被去掉，这是需要使用pNSGA-III的第二个原因
NSGA-III vs. pNSGA-III如图2所示，使用pNSGA-III能避免小模型陷阱，保留较大的有潜力的网络