Structured Click Control in Transformer-based Interactive Segmentation

点击点交互式分割由于其高效性已经得到广泛关注。然而，现有算法很难在多次点击后获得精确和稳健的响应。在这种情况下，分割结果往往变化很小，甚至比之前更差。为了提高响应的稳健性，我们提出了一种基于图神经网络的结构化点击意图模型，该模型通过用户点击的Transformer标记的全局相似性自适应地获取图形节点。然后，将聚合图形节点以获取结构化交互特征。最后，使用双交叉注意力将结构化交互特征注入视觉Transformer特征，从而增强对分割结果的点击控制。广泛的实验表明，所提出的算法可以作为改进基于Transformer的交互式分割性能的通用结构。代码和数据将在https://github.com/hahamyt/scc发布。

提高基于Transformer的交互式分割的鲁棒性

通过基于图神经网络的结构化点击意图模型，将点击交互特征注入视觉Transformer特征中，从而提高交互对分割结果的控制能力

论文提出的算法能够在多次点击后获得更精确和鲁棒的分割结果，实验结果表明该算法在Transformer-based交互式分割任务上具有通用性，作者将代码和数据集公开在GitHub上

最近的相关研究包括："Interactive Image Segmentation with First Click Attention"和"Click and Segment: Joint Object Selection and Segmentation with Point Supervision"