Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers

直接将图像转化为图形是一项具有挑战性的任务，它可以在单一模型中解决对象检测和关系预测。由于这项任务的复杂性，在许多领域中很难获得大型训练数据集，这使得训练大型网络具有挑战性。这种数据稀缺性需要建立与计算机视觉领域最先进的预训练策略类似的预训练策略。在这项工作中，我们引入了一组方法，使图像到图形转换器能够进行跨领域和跨维度的迁移学习。我们提出了(1)一种规则化的边缘采样损失，用于在不同领域中采样最优数量的对象关系(边缘)，(2)一种适用于图像到图形转换器的域自适应框架，用于对不同领域的特征进行对齐，以及(3)一种简单的投影函数，使我们能够在2D输入数据上预训练3D转换器。我们在跨领域和跨维度的实验中展示了我们的方法的实用性，在这些实验中，我们在2D卫星图像上预训练模型，然后将其应用于2D和3D中完全不同的目标领域。我们的方法在具有挑战性的基准测试中始终优于一系列基线，例如视网膜或整个大脑血管图提取。

本论文旨在解决图像到图形转换中的对象检测和关系预测问题，同时提出了一系列跨域和跨维度的迁移学习方法，以解决数据稀缺性导致的大型网络训练挑战。

论文提出了正则化边采样损失、图像到图形转换器的域自适应框架和简单的投影函数等方法，以实现跨域和跨维度的迁移学习，从而提高模型的性能。

论文在2D卫星图像上预训练模型，并将其应用于2D和3D的不同领域，如视网膜或整个大脑血管图提取等，实验结果表明该方法在多个基准测试中均优于基线方法。此外，论文还使用了多个数据集进行实验，并公开了代码供研究者使用。

在这个领域中，最近还有一些相关的研究，如《Graph Convolutional Networks for Learning with Few Labeled Data》、《Learning to Learn from Sparse Data: A Deep Learning Approach for High-Dimensional Sparse Data》等。