DiffusionMTL: Learning Multi-Task Denoising Diffusion Model from Partially Annotated Data

最近，人们对从部分标注数据中学习多个密集场景理解任务的实际问题越来越感兴趣，其中每个训练样本仅标记了任务的一个子集。训练中任务标签的缺失导致预测质量低下且存在噪声，这可以从最先进的方法中观察到。为了解决这个问题，我们将部分标记的多任务密集预测重新制定为像素级去噪问题，并提出了一个新的多任务去噪扩散框架，称为DiffusionMTL。它设计了一种联合扩散和去噪范式，以模拟任务预测或特征映射中的潜在噪声分布，并为不同任务生成校正输出。为了利用去噪中的多任务一致性，我们进一步引入了多任务调节策略，它可以隐式地利用任务的互补性来帮助学习未标记的任务，从而提高不同任务的去噪性能。广泛的定量和定性实验表明，所提出的多任务去噪扩散模型可以显著提高多任务预测映射，并在两个不同的部分标记评估设置下优于三个具有挑战性的多任务基准的最先进方法。代码可在https://prismformore.github.io/diffusionmtl/上获得。

本论文旨在解决多任务场景理解中部分标注数据的问题，提出了一种新的多任务去噪扩散框架（DiffusionMTL）。

将部分标注的多任务密集预测重新定义为像素级去噪问题，并提出了联合扩散和去噪范式来生成不同任务的矫正输出。通过引入多任务条件策略，利用任务之间的互补性来提高去噪性能。

论文在三个具有挑战性的多任务基准测试下进行了广泛的定量和定性实验，证明了所提出的多任务去噪扩散模型可以显著改善多任务预测图，并在两种不同的部分标注评估设置下优于现有方法。代码可供下载。

近期的相关研究包括：Multi-Task Learning、Pixel-Level Prediction、Denoising Diffusion Probabilistic Models等。