深度神经网络因其强大的性能，越来越多地应用于计算机视觉任务。然而，它们的训练需要大规模的标注数据集，而这些数据集的准备工作耗时费力。半监督学习（SSL）通过结合标注数据和未标注数据进行学习，提供了一种解决方案。
虽然大多数最先进的SSL方法采用确定性方法，但对其概率模型的探索仍然有限。研究这一领域非常重要，因为概率模型可以提供不确定性估计，这在实际应用中至关重要。例如，由于未标注数据中的潜在伪标签错误，SSL训练的模型可能不如监督学习训练的模型，且这些模型在实践中更容易做出错误预测。特别是在医学图像分析和自动驾驶等关键领域，决策者必须了解模型的局限性以及何时可能出现错误预测，这些洞察通常由不确定性估计提供。此外，当使用未标注样本进行训练时，不确定性还可以作为过滤不可靠伪标签的标准，从而有可能提高深度模型的性能。
本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。这种方法不仅缓解了以往方法中潜在的过拟合问题，而且在四项评估指标上都取得了优异的结果。与其经验设计的前辈不同，GBDL以完整的贝叶斯公式为基础，提供了理论上的概率基础。
鉴于MC dropout的局限性，我引入了NP-Match，这是一种用于大规模半监督图像分类的新概率方法。我们通过在不同挑战性环境下（如标准、不平衡和多标签半监督图像分类）的大量实验，评估了NP-Match的泛化能力。实验结果表明，NP-Match不仅与先前最先进的方法竞争力强，而且比基于MC dropout的模型更快地估计不确定性，从而提高了训练和测试的效率。
最后，我提出了NP-SemiSeg，一种用于半监督语义分割的新概率模型。这个灵活的模型可以与各种现有分割框架集成，以进行预测和估计不确定性。实验表明，NP-SemiSeg在准确性、不确定性量化和速度方面都优于MC dropout。

论文题目：Exploring Probabilistic Models for Semi-supervised Learning

作者：Jianfeng Wang

类型：2023年博士论文

学校：University of Oxford（英国牛津大学）

下载链接：

链接: https://pan.baidu.com/s/1pwQhoEpsGKFbs6Nx0pHvAw?pwd=x2hy

硕博论文汇总：

链接: https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

SSL 流程概述。与主动学习不同，SSL 不需要用户参与选择数据。所选数据用于扩大原始标记数据集，是否使用伪标签取决于所采用的训练策略（例如，伪标记策略或一致性策略）。

原始 NP 的概述。

GBDL 用于半监督体积医学图像分割，包括潜在表示学习 (LRL) 架构（绿色虚线框中）和带有 MC dropout 的常规 3D-UNet（红色虚线框中）。测试期间仅使用带有 MC dropout 的常规 3D-UNet。为简单起见，省略了配对 3D-UNet 编码器和解码器之间的快捷连接。

对 KiTS19 数据集中一些预测切片进行可视化，以适应不同的基于贝叶斯深度学习的方法。

NP-Match 概述。NP 模型显示在红色虚线框中，其输入特征向量来自卷积神经网络 (CNN) 中的全局平均池化层。为简单起见，图中省略了 CNN。

NP-SemiSeg 概述。小型 ConvNet 和注意力聚合器均由确定性路径和潜在路径共享。T、W 和 H 分别表示采样的潜在向量数量以及输入特征图的宽度和高度。

第二组可视化结果在 PASCAL VOC 2012（blender）上根据不同的训练协议得出。图中显示了预测结果及其对应的不确定性图。

第三组在不同训练协议下对 Cityscapes 的可视化结果。图中显示了预测及其对应的不确定性图。


微信群                  公众号

内容中包含的图片若涉及版权问题，请及时与我们联系删除