Diffusion for Out-of-Distribution Detection on Road Scenes and Beyond

最近，关于语义分割的超出分布（OoD）检测的研究主要集中在道路场景上——这是一个具有受限语义多样性的领域。在这项工作中，我们挑战了这个限制，并将这个任务的领域扩展到一般的自然图像。为此，我们介绍了以下内容：1.基于ADE20k数据集的ADE-OoD基准，其中包括来自不同领域的具有高语义多样性的图像；2.一种新颖的方法，使用扩散分数匹配进行OoD检测（DOoD），并且对于增加的语义多样性具有鲁棒性。ADE-OoD包括室内和室外图像，将150个语义类别定义为内部分布，并包含各种OoD对象。对于DOoD，我们在语义内部分布嵌入上训练了一个具有MLP架构的扩散模型，并在推理时基于分数匹配解释来计算像素级OoD分数。在常见的道路场景OoD基准测试中，DOoD表现与最先进的技术持平或更好，而不使用异常值进行训练或对数据领域进行假设。在ADE-OoD上，DOoD优于先前的方法，但仍有很大的改进空间。

本论文试图扩展语义分割的OoD检测领域，将其从仅限于道路场景的语义相对单一的领域扩展到自然图像领域。同时，论文提出了ADE-OoD基准和一种使用扩散分数匹配的OoD检测方法，旨在应对语义多样性增加的挑战。

论文提出的方法是在语义内分布嵌入上训练扩散模型，并在推理时基于分数匹配解释计算像素级的OoD分数。该方法不使用异常值进行训练，也不对数据领域做出任何假设，能够在常见的道路场景OoD基准上达到或超过现有技术的性能。

本论文引入了ADE-OoD基准，其中包含来自不同领域的高语义多样性图像，并定义了150个语义类别作为内分布，包含各种OoD对象。在常见的道路场景OoD基准上，DOoD的性能与现有技术相当或更好，而不使用异常值进行训练或对数据领域做出任何假设。论文还开源了代码。

最近相关的研究包括：1.《RoadTracer: Automatic Extraction of Road Networks from Aerial Images》；2.《Improving Road Connectivity Map with Aerial Imagery and OpenStreetMap》；3.《Learning to Map Vehicles into Bird's Eye View》。