NeurIPS2020｜：新型自动数据增强方法解读

导读：在NeurIPS 2020上，商汤研究院工具链的搜索和决策团队提出了一项基于权重共享的新型自动数据增强方法。该工作以多项有启发性的实验现象为动机，第一次从权重共享角度思考自动数据增强，实现了既高效又有效的增强策略搜索算法。该方法在多个图像分类数据集上取得了优秀的表现，尤其在CIFAR-10数据集上刷新了当时的SOTA性能。
论文名称：Improving Auto-Augment via Augmentation-Wise Weight Sharing
背景与挑战
数据增强是深度学习中被广泛运用的一项正则化技术，其被用于提升数据分布的多样性。例如对图像数据，常用的操作有仿射变换、调整色相/饱和度/曝光、锐化等。最近一些自动数据增强算法被提出，其旨在自动搜索一些数据增强策略（通常可表示为各个操作的概率分布），使得在这些策略下进行训练的模型可以得到更好的性能表现。这些自动算法已经取得了显著的成果，在许多任务上远远超过了人工设计的增强策略。然而，这项技术仍然存在挑战：
1.速度：一个最直接的搜索方式是每次从头训练模型，以其最终的验证集性能为指标来评估增强策略并更新。这需要成千上万次的反复训练，开销巨大。只有Google最早的自动数据增强[1] 使用了这样的搜索方式。我们把这个搜索方式称为“原始任务”。
2.可靠性：后续许多自动增强算法选择牺牲可靠性来换取效率。这些算法大都采用了迭代近似的思想，设计了一项“代理任务”代替“原始任务”，即：只完整地训练一次模型；每隔一个或数个模型优化迭代步数，就选择一次指标来评估、更新数据增强策略。然而最近一些神经网络架构搜索（NAS）的工作指出，对训练早期的模型进行评估往往是不准确的（早期表现优秀的模型，在后期不一定仍然优秀）。这在我们的实验中也得到了验证。如下图，不同数据增强策略下的模型，在训练过程中的相对排名变化很大。