Modeling Weather Uncertainty for Multi-weather Co-Presence Estimation

户外场景的图像可能是在各种天气条件下拍摄的。已经有很多研究表明，天气会影响计算机视觉算法的性能，因此需要妥善处理。然而，现有的算法将天气条件建模为离散状态，并使用多标签分类来估计它。事实上，在气象学中，天气是以连续和过渡状态进行建模的。我们考虑到了物理学上的多种天气状态，并将与物理相关的参数对图像外观学习的影响进行了建模。本文首先对天气的物理定义进行了全面的回顾，并探讨了如何将其描述为连续的机器学习和计算机视觉任务。我们提出了模型天气不确定性的方法，其中考虑了多种天气条件的概率和共存水平。我们使用高斯混合模型来封装天气不确定性，并基于先验后验学习提出了一种考虑不确定性的多天气学习方案。我们提出了一种新的多天气共存估计转换器(MeFormer)。此外，我们还提出了一个新的多天气共存估计(MePe)数据集，其中包括14个细粒度的天气类别和16,078个样本，用于评估传统的多标签天气分类任务和多天气共存估计任务。大规模实验表明，所提出的方法在传统的多标签天气分类任务和所提出的多天气共存估计任务上均具有最先进的性能和实质性的泛化能力。此外，模拟天气不确定性还有益于逆境天气语义分割。

论文提出了一种新的气象条件建模方法，旨在解决现有算法将气象条件建模为离散状态的问题，同时提高计算机视觉算法在不同天气条件下的性能。

论文提出了一种基于高斯混合模型的气象不确定性建模方法，同时提出了一种新的多气象共存估计变换器（MeFormer）和一个新的数据集（MePe）来评估该方法的性能。

论文的实验结果表明，该方法在传统的多标签气象分类任务和提出的多气象共存估计任务上均取得了最先进的性能和显著的泛化能力。此外，该方法还有助于恶劣天气语义分割。

最近的相关研究包括：\"Multi-Weather Outdoor Scene Recognition\"、\"Weather Classification Using Deep Convolutional Neural Networks\"、\"WeatherNet: Fine-Grained Classification of Weather Conditions with Fine-Grained Model Selection\"等。