华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天｜CVPR2020(6)

Search on CIFAR-10将CIFAR分为25000张训练图和25000张测试图，共搜索500轮，参数warmup共50轮，之后初始化包含128个不同网络的种群，然后使用pNSGA-III逐渐进化，参数优化阶段每轮进化训练10周期，结构优化阶段根据pNSGA-III使用测试集进行结构更新
Search Time analysis对于考量模型大小和准确率的实验，训练时间为1分钟，测试时间为5秒，warmup阶段共50轮，大约耗费1小时。而连续进化算法共轮，对于每轮结构优化阶段，并行测试时间为，对于每轮的参数优化阶段，设定，大约为10分钟，大约为9小时，所以为0.4 GPU day，考虑结构优化同时要计算时延，最终时间大约为0.5 GPU day
Evaluate on CIFAR-10

在完成CARS算法搜索后，保留128个不同的网络，进行更长时间的训练，然后测试准确率。
Comparison on Searched Block

CARS-H与DARTS参数相似，但准确率更高，CARS-H的reduction block包含更多的参数，而normal block包含更少的参数，大概由于EA有更大的搜索空间，而基因操作能更有效地跳出局部最优解，这是EA的优势