图像分割（Image Segmentation）是计算机视觉的经典问题之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。在前深度学习时代有大量的方法提出，比如分水岭、GraphCut等。随着深度学习的兴起，大量的算法提出如R-CNN、Mask-RCNN等。最近来自Snapchat、滑铁卢大学、UCLA等学者发布了深度学习图像分割最新综述论文<Image Segmentation Using Deep Learning: A Survey>，涵盖20页pdf196篇参考文献，调研了截止2020年提出的100多种分割算法，共分为10类方法。对近几年深度学习图像分割进行了全面综述，对现有的深度学习图像分割研究进行梳理使其系统化，并提出7方面挑战，帮助读者更好地了解当前的研究现状和思路。可作为相关领域从业者的必备参考文献。

    基于深度学习的二维图像分割算法的时间轴。橙色块表示语义块，绿色块表示实例块。

题目：Image Segmentation Using Deep Learning: A Survey

作者：Shervin Minaee, Member, IEEE, Yuri Boykov, Member, IEEE, Fatih Porikli, Fellow, IEEE, Antonio Plaza, Fellow, IEEE, Nasser Kehtarnavaz, Fellow, IEEE, and Demetri Terzopoulos, Fellow, IEEE

下载链接：https://arxiv.org/pdf/2001.05566.pdf

 

摘要

图像分割是图像处理和计算机视觉领域的一个重要课题，其应用领域包括场景理解、医学图像分析、机器人感知、视频监控、增强现实和图像压缩等。研究者们提出了各种图像分割算法。最近，由于深度学习模型在广泛的视觉应用中取得了成功，已经有大量的工作致力于开发使用深度学习模型的图像分割方法。在本次综述中，我们全面回顾了撰写本文时的论文，涵盖了语义级和实例级分割的广泛先驱工作，包括全卷积像素标记网络、编码器-解码器架构、基于多尺度和金字塔的方法、递归网络、视觉注意力模型和在对抗环境下的生成模型。我们调研了这些深度学习模型的相似性、优势和挑战，研究了最广泛使用的数据集，报告了性能，并讨论了该领域未来的研究方向。

 

引言

从早期的[1]领域开始，图像分割就一直是计算机视觉的一个基本问题(第8章)。它涉及到将图像(或视频帧)分割成多个片段和目标[2](第5章)，并在广泛的应用领域[3](第VI部分)中发挥着核心作用，包括医学图像分析(如肿瘤边界提取和组织体积测量)、自动驾驶车辆(如可导航表面和行人检测)、视频监控，增强现实等等。从最早的阈值化[3]、基于直方图的分组、区域生长[4]、k-means聚类[5]、分水岭[6]等算法，到更先进的主动轮廓[7]、图割[8]、条件和马尔科夫随机域[9]、稀疏[10]-[11]等算法，文献中已经出现了许多图像分割算法。然而，在过去的几年里，深度学习(DL)网络已经产生了新一代的图像分割模型，其性能有了显著的提高——通常在流行的基准测试中获得了最高的准确率——致使许多人认为的该领域的范式转变。例如，图1展示了一个著名的深度学习模型DeepLabv3[12]的样本图像分割输出。

图1: DeepLabV3[12]对样本图像的分割结果。

图像分割可以表示为带有语义标签的像素分类问题(语义分割)或单个对象的分割问题(实例分割)。语义分割是对所有图像像素进行一组对象类别(如人、车、树、天空)的像素级标记，因此通常比图像分类更难，因为后者预测整个图像的单个标签。实例分割进一步扩展了语义分割的范围，通过检测和描绘图像中每个感兴趣的对象(例如，对个人的分割)。

我们的调研涵盖了图像分割的最新文献，并讨论了到2019年提出的一百多种基于深度学习的分割方法。我们对这些方法的不同方面提供了全面的回顾和见解，包括培训数据、网络架构的选择、损失功能、培训策略以及它们的关键贡献。我们对所述方法的性能进行了比较总结，并讨论了基于深度学习的图像分割模型的几个挑战和未来可能的方向。

本综述论文的一些主要贡献可以总结如下:

  • 我们对基于深度学习的图像分割算法进行了全面的回顾和分析;
  • 概述了常用的图像分割数据集，分为2D和2.5D (RGB-D)图像;
  • 我们总结了综述的分割方法在流行基准上的性能;
  • 讨论了基于深度学习的图像分割的几个挑战和未来的研究方向。

该调研的其余部分组织如下: 第2节提供了流行的深度神经网络架构的概述，作为许多现代分割算法的主干。第3节全面概述了最重要的、最先进的、基于深度学习的细分模型。第四部分回顾了一些最流行的图像分割数据集及其特点。第5.1节回顾了评价基于深度学习的细分模型的流行指标。在5.2节中，我们报告了这些模型的定量结果和实验性能。在第6节中，我们将讨论基于深度学习的分割方法的主要挑战和未来的发展方向。最后，我们在第7节中提出我们的结论。

内容中包含的图片若涉及版权问题，请及时与我们联系删除