Discrete Latent Perspective Learning for Segmentation and Detection

本文探讨了机器学习和计算机视觉中的透视不变学习挑战，旨在使网络能够理解来自不同角度的图像以实现一致的语义解释。传统方法依赖于耗时的多视角图像采集或有限的数据增强技术，我们提出了一个新颖的框架，即离散潜在透视学习（DLPL），用于利用传统的单视图图像进行潜在的多角度融合学习。DLPL包括三个主要模块：透视离散分解（PDD）、透视单应性变换（PHT）和透视不变注意力（PIA），它们共同工作以离散化视觉特征、变换视角和融合多角度语义信息。DLPL是一种通用的透视学习框架，适用于各种场景和视觉任务。广泛的实验表明，DLPL显著增强了网络在各种场景（日常照片、无人机、自动驾驶）和任务（检测、分割）中描绘图像的能力。

解决视角不变学习的问题，即让神经网络能够理解来自不同视角的图像并实现一致的语义解释。同时，该论文提出的方法使用常规的单视角图像进行潜在的多视角融合学习，避免了多视角图像的繁琐收集和数据增强技术的限制。

论文提出了一种新的框架，称为离散潜在视角学习（DLPL），用于潜在的多视角融合学习。该框架由三个主要模块组成：视角离散分解（PDD）、视角单应性变换（PHT）和视角不变注意力（PIA），它们一起将视觉特征离散化、转换视角并融合多视角语义信息。DLPL是一种通用的视角学习框架，适用于各种场景和视觉任务。

论文的实验结果表明，DLPL显著增强了网络在不同场景（日常照片、无人机、自动驾驶）和任务（检测、分割）中描绘图像的能力。此外，该论文还提供了开源代码和使用的数据集。

在这个领域中，最近的相关研究包括：《Multi-view Supervision for Single-View Reconstruction via Differentiable Ray Consistency》、《Learning to Learn from Multi-View Stereo (CVPR 2019)》等。