Understanding differences in applying DETR to natural and medical images

Transformer-based detectors在自然图像的计算机视觉任务中已经取得成功。这些模型（如Deformable DETR）通过针对自然场景的典型特征进行复杂的工程策略优化。然而，医学影像数据具有极大的图像尺寸、更少和更小的感兴趣区域以及只能通过微小差异区分的物体类别等独特挑战。本研究评估了这些Transformer-based设计选择在代表这些不同医学影像数据特征的筛查乳腺X线摄影数据集中的适用性。我们的分析表明，自然图像领域的常见设计选择（如复杂的编码器架构、多尺度特征融合、查询初始化和迭代边界框细化）并不能改善，有时甚至会损害医学影像中的目标检测性能。相反，更简单、更浅的架构通常可以实现同等或更优秀的结果。这一发现表明，将Transformer模型适应于医学影像数据需要重新评估标准实践，可能导致更高效、更专业的医学诊断框架。

本文试图探讨将基于Transformer的目标检测算法应用于医学图像数据时所遇到的独特挑战，并验证是否需要重新评估标准实践以提高诊断效率。

本文的关键思路是，医学图像数据与自然图像数据的特征不同，因此需要重新评估标准实践，重新设计更高效和专业化的模型架构。

本文使用筛查乳腺X线摄影数据集进行实验，发现常见的自然图像领域的设计选择对医学图像领域的目标检测性能没有改善甚至会降低性能。相反，更简单和更浅的架构通常可以实现相同或更好的结果。本文的研究结果对于医学图像领域的目标检测算法设计具有重要的参考价值。

最近的相关研究包括：1. Deformable DETR: Deformable Transformers for End-to-End Object Detection（ICCV 2021）2. Transformer-Based Object Detection for Medical Imaging: A Survey（IEEE Journal of Biomedical and Health Informatics 2021）