StixelNExT: Toward Monocular Low-Weight Perception for Object Segmentation and Free Space Detection

在这项工作中，我们提出了一种新的方法，用于从单眼图像中进行通用对象分割，消除了手动标记的训练数据的需求，并使得训练和适应变得快速、简单，所需数据量也很少。在训练过程中，我们的模型最初从LiDAR中学习，然后将其从系统中移除，使其仅在单眼图像上运行。该研究利用了 Stixel-World 的概念来识别其周围的中等级表示。我们的网络直接预测 2D 多层 Stixel-World，并能够识别和定位图像中的多个重叠对象。由于可比较的作品很少，因此我们将能力分为模块，并在实验部分介绍了一个自由空间检测。此外，我们介绍了一种改进的从 LiDAR 数据生成 Stixels 的方法，我们将其用作网络的基本真值。

本文试图解决从单目图像中进行通用对象分割的问题，消除了手动标记训练数据的需要，并使得使用最少数据进行快速、简单的训练和适应成为可能。

本文的关键思路是利用Stixel-World的概念来识别其周围环境的中等级别表示。作者的模型直接预测2D多层Stixel-World，能够识别和定位图像中的多个重叠对象。

本文的亮点包括使用LiDAR进行训练，提出了一种改进的从LiDAR数据生成Stixels的方法，并展示了自由空间检测的实验结果。作者还使用了开源数据集，并提供了开源代码，值得进一步研究。

最近在这个领域中，还有一些相关的研究，如《DeepLab V3+：Encoder-Decoder with Atrous Separable Convolution for Semantic Segmentation》、《Mask R-CNN》等。