Enriching Information and Preserving Semantic Consistency in Expanding Curvilinear Object Segmentation Datasets

本文介绍了一种扩展曲线对象分割数据集的新方法，重点是增强生成数据的信息量和语义地图与生成图像之间的一致性。由于数据采集和注释的高成本，该领域的数据集通常规模较小。我们的方法通过利用曲线对象的多个文本特征生成曲线对象来丰富合成数据的信息量。通过结合原始数据集中每个样本的文本特征，我们获得了超越原始数据集分布的合成图像。这促使我们创建了基于文本生成的曲线对象分割（COSTG）数据集。COSTG不仅包括标准的语义地图，还包括曲线对象特征的一些文本描述，旨在超越传统数据集的限制。 为了确保合成语义地图和图像之间的一致性，我们引入了语义一致性保持控制网（SCP ControlNet）。这涉及到使用空间自适应归一化（SPADE）调整ControlNet，使其能够保留通常会在归一化层中被冲刷掉的语义信息。这种修改有助于更准确地合成语义图像。 实验结果表明，我们的方法在三种曲线对象（血管造影、裂纹和视网膜）和六个公共数据集（CHUAC、XCAD、DCA1、DRIVE、CHASEDB1和Crack500）上都取得了良好的效果。我们的方法生成的合成数据不仅扩展了数据集，而且还有效地提高了其他曲线对象分割模型的性能。源代码和数据集可在\url{https://github.com/tanlei0/COSTG}上获取。

本文旨在解决曲线对象分割数据集规模小的问题，提出了一种通过文本生成扩展曲线对象分割数据集的方法，并保证生成的数据信息丰富性和语义图像的一致性。

该方法通过曲线对象的多种文本特征生成合成数据，以扩展原始数据集的分布。同时，为了保证合成的语义图像与图像语义地一致性，引入了基于Semantic Consistency Preserving ControlNet (SCP ControlNet)的控制网络。

本文提出了一种通过文本生成扩展曲线对象分割数据集的方法，并提出了基于SCP ControlNet的控制网络以保证生成图像与语义地一致性。实验结果表明，该方法在三种曲线对象类型和六个公共数据集上的表现良好，生成的数据不仅扩展了数据集，还有效地提高了其他曲线对象分割模型的性能。

最近的相关研究包括：DeepVessel，基于深度学习的血管分割方法；U-Net，一种广泛使用的图像分割网络；以及基于GAN的合成数据扩展方法，如CycleGAN和StarGAN。