ContextSeg: Sketch Semantic Segmentation by Querying the Context with Attention

本文介绍了一种名为ContextSeg的简单而高效的方法，用于解决计算机视觉中的草图语义分割问题，该问题涉及将预定义的部分标签分配给各个笔画。该方法分为两个阶段。在第一阶段中，为了更好地编码笔画的形状和位置信息，我们提出了在自编码器网络中预测额外的密集距离场，以增强结构信息学习。在第二阶段中，我们将整个笔画视为单个实体，并使用具有默认注意机制的自回归Transformer标记相同语义部分内的一组笔画。通过基于组的标记，我们的方法可以在做出其余笔画的决策时充分利用上下文信息。我们的方法在两个代表性数据集上与最先进的方法相比实现了最佳的分割精度，并得到广泛评估，证明了其卓越的性能。此外，我们还提供了关于解决训练数据中部分不平衡的见解，以及关于跨类别训练的初步实验，这可以启发未来在这个领域的研究。

本文解决的问题是对手绘图像进行语义分割，即将每个笔画分配到预定义的语义部分。这是一个已经被广泛研究的问题。

本文提出了一种两阶段的方法。第一阶段，使用自编码器网络来预测额外的密集距离场，以加强结构信息的学习。第二阶段，使用自回归Transformer来对同一语义部分内的笔画进行标记。通过组合标记，该方法可以充分利用上下文信息进行决策。

本文的方法在两个代表性数据集上实现了最佳的分割精度，并经过了广泛的评估。此外，本文还探讨了解决训练数据中部分不平衡的方法，以及跨类别训练的初步实验。本文的方法简单而有效，具有很高的实用价值。

最近的相关研究包括：SketchyScene，SketchParse，Sketchformer等。