华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天｜CVPR2020(2)

首先初始化一个有大量cells和blocks的超网(supernet)，超网通过几个基准操作(交叉、变异等)产生进化算法中的个体(子网)，使用Non-dominated 排序策略来选取几个不同大小和准确率的优秀模型，然后训练子网并更新子网对应的超网中的cells，在下一轮的进化过程会继续基于更新后的超网以及non-dominated排序的解集进行。另外，论文提出一个保护机制来避免小模型陷阱问题。
方法
论文使用基因算法(GA)来进行结构进化，GA能提供很大的搜索空间，对于结构集，为种群大小。在结构优化阶段，种群内的结构根据论文提出的pNSGA-III方法逐步更新。为了加速，使用一个超网用来为不同的结构共享权重，能够极大地降低个体训练的计算量
Supernet of CARS
从超网中采样不同的网络，每个网络可以表示为浮点参数集合以及二值连接参数集合，其中0值表示网络不包含此连接，1值则表示使用该连接，即每个网络可表示为对完整的浮点参数集合是在网络集合中共享，如果这些网络结构是固定的，最优的可通过标准反向传播进行优化，优化的参数适用于所有网络以提高识别性能。在参数收敛后，通过基因算法优化二值连接，参数优化阶段和结构优化阶段是CARS的主要核心
参数优化
参数为网络中的所有参数，参数，为mask操作，只保留对应位置的参数。对于输入，网络的结果为，为-th个网络，为其参数
给定GT ，预测的损失为，则的梯度计算如公式1

由于参数应该适用于所有个体，因此使用所有个体的梯度来计算的梯度，计算如公式2，最终配合SGD进行更新