Diff3Dformer: Leveraging Slice Sequence Diffusion for Enhanced 3D CT Classification with Transformer Networks

肺部疾病相关症状的表现因个体患者而异，突显了CT扫描中3D信息在医学图像分类中的重要性。虽然Vision Transformer在图像分类任务中表现优于卷积神经网络，但它们的有效性通常在足够大的2D数据集上得到证明，并且它们很容易在小型医学图像数据集上遇到过度拟合问题。为了解决这个限制，我们提出了一种基于扩散的3D Vision Transformer（Diff3Dformer），它利用扩散模型的潜在空间形成切片序列进行3D分析，并将聚类注意力融入ViT中以聚合3D CT扫描中的重复信息，从而在小型数据集上利用先进的Transformer进行3D分类任务。我们的方法在两种不同规模的3D肺部CT扫描小型数据集上展现出了改进的表现，超越了现有的3D方法和其他在COVID-19大流行期间出现的基于Transformer的方法，证明了它在不同数据规模下的鲁棒性和优越性。实验结果强调了我们提出的方法的优越性，表明它在实际场景中提高医学图像分类任务的潜力。

本论文旨在解决在医学图像分类中，小数据集上使用Vision Transformer容易出现过拟合问题的限制。

提出了一种基于扩散模型的3D Vision Transformer（Diff3Dformer）方法，利用扩散模型的潜在空间来形成3D CT扫描的切片序列，并将聚类注意力融入ViT中以聚合3D CT扫描中的重复信息，从而在小数据集上利用转换器的优势进行3D分类任务。

实验结果表明，Diff3Dformer方法在两个不同规模的小数据集上均表现出优异的性能，超过了现有的3D方法和其他Transformer-based方法，证明了其在不同数据规模下的鲁棒性和优越性。

最近的相关研究包括：'3D Medical Image Classification Based on Multi-View Attention Mechanism'、'3D CNN Based Transfer Learning for Pulmonary Nodule Malignancy Classification'、'A Deep Learning Framework for COVID-19 Detection Using Chest CT Scans'等。