3D-TransUNet for Brain Metastases Segmentation in the BraTS2023 Challenge

由于脑肿瘤的外观和规模多样，因此对其进行分割是复杂的。脑转移瘤是最常见的脑肿瘤之一，是癌症的常见并发症。因此，对于脑转移瘤的有效分割模型必须熟练地捕捉局部细节以描绘小的肿瘤区域，同时还要整合全局上下文以理解更广泛的扫描特征。TransUNet模型将Transformer自注意力与U-Net的局部信息相结合，成为这项任务的一个有前途的解决方案。在本报告中，我们通过在Brain Tumor Segmentation（BraTS-METS）2023挑战数据集上训练3D-TransUNet模型来解决脑转移瘤分割问题。具体而言，我们探索了两种架构配置：仅编码器使用Transformer的Encoder-only 3D-TransUNet，以及仅解码器使用Transformer的Decoder-only 3D-TransUNet。对于Encoder-only 3D-TransUNet，我们注意到需要进行掩蔽自编码器预训练以更好地初始化Transformer编码器，从而加速训练过程。我们确定Decoder-only 3D-TransUNet模型应该在脑转移瘤分割方面提供更好的效果，这是由我们在训练集上进行的5折交叉验证所示。然而，我们使用的Encoder-only 3D-TransUNet模型已经取得了显著的结果，在测试集上的平均病变Dice分数为59.8％，在BraTS-METS 2023挑战中获得了第二名。

使用TransUNet模型对脑转移瘤进行分割，解决其外观和规模的多样性问题。

将Transformer的自注意力机制与U-Net的局部信息相结合，提出了TransUNet模型，同时探索了Encoder-only和Decoder-only两种模型结构。

使用BraTS-METS 2023数据集进行训练和测试，Encoder-only模型在测试集上取得了59.8%的平均Dice分数，获得了BraTS-METS 2023挑战赛的第二名。

最近的相关研究包括使用3D CNN的模型和使用注意力机制的模型，如Attention U-Net和DeepMedic。