在机器学习领域里，Dropout 是一个较为重要的方法，其可以暂时丢弃一部分神经元及其连接，进而防止过拟合，同时指数级、高效地连接不同网络架构。

2012 年，Hinton 等人在论文《Improving neural networks by preventing co-adaptation of feature detectors》中首次提出 Dropout 技术。在这之后，Dropout 的变体大量涌现，该方法也成为机器学习研究者常用的训练技巧。

我们知道，机器学习可以让很多人们的工作自动化，而机器学习本身的自动化程度也在不断提高。近日，卡内基梅隆大学在读博士 Hieu Pham、谷歌大脑研究科学家 Quoc V. Le 提出了一种自动学习 Dropout 的方法。研究者称，通过强化学习来学习 Dropout 的规律，AutoDropout 可以提高图像识别、语言理解和机器翻译的性能。该研究已被人工智能顶会 AAAI-2021 接收。

据介绍，AutoDropout 的主要贡献是一个新颖的结构化 Dropout 模式搜索空间。在这个搜索空间中，人们可以为每个模型架构和任务找到适合的 Dropout 模式。此外，该搜索空间还泛化了很多现有的 Dropout 模式。

论文链接：https://arxiv.org/pdf/2101.01761.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除