Shifting Focus: From Global Semantics to Local Prominent Features in Swin-Transformer for Knee Osteoarthritis Severity Assessment

传统的影像诊断经常因为需要人工检查而遇到瓶颈，这可能导致延误和不一致性。虽然深度学习为自动化和提高准确性提供了途径，但计算机视觉中的基础模型通常强调全局上下文而忽略了对医学影像诊断至关重要的局部细节。为了解决这个问题，我们利用Swin Transformer通过分层框架识别图像中的扩展空间依赖关系的能力。我们的创新贡献在于优化局部特征表示，并将它们定向于分类器的最终分布。这种方法确保局部特征不仅得到保留，而且还富含任务特定信息，从而增强了它们在每个分层级别上的相关性和细节。通过实施这种策略，我们的模型展示了显著的鲁棒性和精度，这得益于对膝骨关节炎(KOA)级别分类的两个已建立基准的广泛验证。这些结果凸显了我们方法的有效性及其对医学影像诊断未来的有希望的影响。我们的实现可在https://github.com/mtliba/KOA_NLCS2024上获得。

本文旨在解决医学图像诊断中因手动检查而导致的延迟和不一致性问题，通过使用深度学习的自动化和增强精度的能力，提高医学图像诊断的效率和准确性。

本文采用Swin Transformer模型，通过分层框架识别图像中的扩展空间依赖关系，同时重点优化局部特征表示，使其朝向分类器的最终分布方向。这种方法不仅保留了局部特征，而且还丰富了任务特定信息，提高了局部特征在每个层次的相关性和细节。

本文实验设计充分，使用了两个已建立的膝骨关节炎（KOA）等级分类基准数据集进行了广泛验证。实验结果表明，本方法具有显著的鲁棒性和精度，这为医学图像诊断的未来提供了有希望的前景。此外，本文的实现代码已经开源。

近期在这个领域中，还有一些相关研究，如：'Dual-Path Multi-Scale Fusion Networks for Automated Knee Osteoarthritis Grading from Plain Radiographs'，'Interpretable Convolutional Neural Networks for Knee Osteoarthritis Severity Grading: A Visual Explanation with Heatmap'等。