作者：Emmanuel Brempong Asiedu, Simon Kornblith, Ting Chen,等

简介：本文研究解码器去噪预训练技术。获取语​​义分割标签既昂贵又耗时。因此，预训练通常用于提高分割模型的标签效率。通常，分割模型的编码器被预训练为分类器，而解码器被随机初始化。在这里，作者认为解码器的随机初始化可能不是最理想的，尤其是当可用的标签示例很少时。作者提出了一种基于去噪的解码器预训练方法，该方法可以与编码器的监督预训练相结合。作者发现，在ImageNet数据集上，解码器去噪预训练大大优于仅编码器的监督预训练。尽管很简单，但解码器去噪预训练在标签高效语义分割方面取得了最先进的结果，并在 Cityscapes、Pascal Context、和ADE20K数据集上获得了可观的收益。

 

论文下载：https://arxiv.org/pdf/2205.11423

内容中包含的图片若涉及版权问题，请及时与我们联系删除