SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images

本研究论文提出了一种创新的多任务学习框架，允许使用单个摄像头同时进行深度估计和语义分割。所提出的方法基于共享编码器-解码器架构，集成了各种技术，以提高深度估计和语义分割任务的准确性，同时不影响计算效率。此外，本文还采用了对抗训练组件，采用了Wasserstein GAN框架和评论家网络，以改进模型的预测。该框架在两个数据集——户外Cityscapes数据集和室内NYU Depth V2数据集上进行了全面评估，并在分割和深度估计任务中均优于现有的最先进方法。我们还进行了消融研究，分析了不同组件的贡献，包括预训练策略、评论家的包含、对数深度缩放的使用和高级图像增强，以更好地理解所提出的框架。附带的源代码可以在\url{https://github.com/PardisTaghavi/SwinMTL}上访问。

本论文旨在提出一种创新的多任务学习框架，利用单个相机实现深度估计和语义分割的并行处理。该论文试图解决如何同时提高深度估计和语义分割任务的准确性，同时保持计算效率的问题。

论文提出了一种共享编码器-解码器架构的方法，集成了各种技术来提高深度估计和语义分割任务的准确性，而不会影响计算效率。此外，论文还使用了对抗训练组件，采用了Wasserstein GAN框架和临界网络来改进模型的预测。

论文在两个数据集（室外Cityscapes数据集和室内NYU Depth V2数据集）上进行了全面评估，并在分割和深度估计任务中均优于现有的最先进方法。此外，论文还进行了消融研究，以分析不同组件的贡献，包括预训练策略、批评家的包含、对数深度缩放和高级图像增强等。

最近在这个领域中，还有一些相关的研究被进行，如《Monodepth2: Unsupervised Monocular Depth Estimation》和《Semantic Segmentation with Reverse Attention》。