正则化和数据增强对模型的影响并不总是好的：The Effects of Regularization and Data Augmentation are Class Dependent

论文名：The Effects of Regularization and Data Augmentation are Class Dependent

发布时间：2022年4月

论文地址：https://arxiv.org/abs/2204.03632

代码地址：

原文摘要：正则化是一种基本技术，通过限制模型的复杂性来防止过度拟合并提高泛化性能。目前的深度网络严重依赖正则化器，如数据增强（DA）或权重衰减，并采用结构风险最小化，即交叉验证，以选择最佳的正则化超参数。在这项研究中，我们证明了DA或权重衰减等技术产生了一个复杂度降低的模型，该模型在不同类别中是不公平的。从交叉验证中发现的最佳DA或权重衰减量在某些类别上会导致灾难性的模型表现，例如，在Imagenet的resnet50上，仅通过在训练期间引入随机作物DA，"谷仓蜘蛛 "的分类测试精度就从68%下降到46%。更令人惊讶的是，这种性能下降也出现在引入无信息的正则化技术，如权重衰减。这些结果表明，我们对不断提高泛化性能的追求--在所有类别和样本上的平均值--使我们的模型和正则化器在某些类别上默默地牺牲了性能。这种情况在将模型部署到下游任务时可能变得很危险，例如，在Imagenet预训练阶段引入随机作物DA时，部署在INaturalist上的Imagenet预训练resnet50在类#8889上的表现从70%下降到30%。这些结果表明，设计没有类别依赖性偏差的新型正则器仍然是一个开放的研究问题。 通过www.DeepL.com/Translator（免费版）翻译