NeurIPS2020｜：新型自动数据增强方法解读(4)

由于早期训练使用的策略是共享策略，与搜索过程完全解耦，因此共享权重只需训练一次即可用于后续的全部搜索，显著提升了搜索效率。我们将这一权重共享思想称为“Augmentation-wiseWeight Sharing”。
于是当前问题转化为：如何选取具有代表性的共享策略？经过推导发现，一个均匀分布下的策略，可以使单独训练和共享训练的增强操作采样分布之间的KL散度最小。至此，我们便可以得到完整的AWS Auto-Aug搜索算法：

2.搜索空间与搜索策略为了与先前工作进行更公平的对比，我们选择了与其几乎一致的搜索空间（我们甚至在搜索空间中去掉了更强大的增强操作：Cutout与Sample Pairing）。对于搜索策略，由于我们提出的方法是通用的，任何启发式搜索算法均适用。实验中我们发现PPO强化学习算法（也是Google AutoAug使用的算法）已经有了足够好的表现。
实验结果
1.表现对比我们在3个最主流的图像分类数据集和4个主流模型上进了算法表现对比。结果如下，在各数据集、各模型上我们均取得了最优表现；尤其是在未使用额外数据的CIFAR-10上，在我们搜索得到的数据增强策略下，PyramidNet取得了新的SOTA性能（旧的SOTA性能为Adv. AA [2] 策略下的PyramidNet）：