NeurIPS2020｜：新型自动数据增强方法解读(2)

一个更理想的自动数据增强算法需要同时兼顾效率与可靠性。为实现这一点，我们观察了带有数据增强的训练过程。通过发现的一些性质，同时借由NAS领域的权重共享策略，我们提出了一种新型自动数据增强算法。
动机
1.数据增强的性质我们不妨先从另一项正则化手段入手：早停（Early Stopping），即在验证集误差开始显著上升时停止训练。早停非常符合直觉，其也许能体现过拟合带来的负面影响往往是在后期才显露出来的。因此，我们猜想数据增强也有类似性质：数据增强主要是在后期提升模型的泛化能力。为了验证这一点，我们在CIFAR10上使用Google AutoAug [1]对ResNet18在不同阶段进行了数据增强。即：我们始终训练300轮（epoch）模型，但只在开头或结尾的Naug轮里进行数据增强。结果如下图，蓝色实线代表在开头数个轮次的训练中带有数据增强，橙色虚线代表在末尾数个轮次的训练中带有数据增强。例如图中标出的蓝点表示在第1至第75个轮次里使用了数据增强，而在第76至第300个轮次里未使用。

由图可见数据增强确实在后期作用更加显著。例如均只在x轮采用数据增强，那么将x轮放在训练后期比放在前期会带来更大的提升；同时，为了达到相同的精度，在后期进行增强相比在前期进行增强，需要的轮数更少。
2.权重共享的思想既然数据增强在后期更加重要，我们大可利用这一点，尝试将前期不太重要的阶段“共享”起来，只聚焦在后期进行评估和搜索，来达到提升效率的目的。受NAS中权重共享思想的启发，我们提出了一个新的“代理任务”，它把模型的训练过程分为前期、后期两阶段。在前期，模型会在一个“共享策略”的增强下进行训练，得到“共享权重”；在后期我们才真正进行策略评估和搜索，模型会在当前正在被搜索的策略的增强下进行训练，得到最终的验证集性能并用于更新策略。
方法介绍
1.问题建模与搜索算法自动数据增强旨在自动搜索能使验证集性能最好的数据增强策略。原始任务需要反复从头训练模型，并以最终验证集准确度作为评估指标。这是一个典型的双层优化问题（ω表示分类器模型的权重，θ表示自动数据增强策略的权重）：