- 简介鲁棒性和资源效率是现代机器学习模型中两个非常理想的特性。然而，同时实现这两个特性仍然是一项挑战。本文中，我们将高学习率视为一种促进手段，使其能够同时具备对虚假相关性的鲁棒性和网络可压缩性。我们证明了大学习率还能产生理想的表示特性，例如使用不变特征、类别分离以及激活稀疏性。更重要的是，我们的研究结果表明，与其他超参数和正则化方法相比，大学习率在同时满足这些特性方面表现出色。除了展示大学习率在多种存在虚假相关性的数据集、模型和优化器上的积极效果之外，我们还提供了有力证据，表明先前在标准分类任务中观察到的大学习率的成功表现，很可能是因为其缓解了训练数据集中存在的隐藏或罕见的虚假相关性。
-
- 图表
- 解决问题论文试图解决现代机器学习模型在同时实现鲁棒性和资源效率方面的挑战。具体来说，它探讨了如何在不牺牲性能的前提下，通过高学习率训练模型，使模型具备对虚假相关性的鲁棒性和网络可压缩性。这是一个具有现实意义且尚未被充分探索的问题。
- 关键思路论文的关键思路是将高学习率作为促进模型鲁棒性和压缩性的关键因素。作者提出，使用高学习率不仅有助于模型忽略数据中的虚假特征，还能促使模型学习到更具判别性的稀疏表示。相比传统依赖正则化或特定架构设计的方法，该思路通过优化过程本身来提升模型质量，具有新颖性和实用性。
- 其它亮点1. 实验验证了高学习率在多个具有虚假相关性的数据集上（如Waterbirds、CelebA）均能提升模型的鲁棒性。 2. 发现高学习率还能促进模型的特征不变性、类别分离性和激活稀疏性等良好表示特性。 3. 指出先前高学习率在标准分类任务中表现优异的原因，可能与其缓解隐藏/罕见虚假相关性有关。 4. 与传统正则化方法（如L2、Dropout）相比，高学习率能够更一致地满足鲁棒性与压缩性等多目标需求。 5. 该工作为理解优化过程对模型泛化与鲁棒性的影响提供了新的视角，值得进一步理论分析与工程实践。
- 1. Understanding Deep Learning Requires Rethinking Generalization (Zhang et al., 2017) 2. Large Batch Training of Convolutional Networks (Keskar et al., 2017) 3. On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (Keskar et al., 2016) 4. Implicit Bias of Gradient Descent for Wide Convolutional Neural Networks (Chizat et al., 2019) 5. Learning from Failure: Training DenseNet with Redundant Filters for Improved Robustness and Efficiency (Zhang et al., 2021) 6. Spurious Correlations in Vision-and-Language Tasks: Challenges and Solutions (Zhou et al., 2022)
提问交流