Boosting Medical Image-based Cancer Detection via Text-guided Supervision from Reports

缺乏充足的专家级肿瘤注释会影响基于监督学习的医学影像的机会性癌症筛查的有效性。临床报告（具有丰富的描述性文本细节）可以提供“免费午餐”监督信息，并提供肿瘤位置作为一种弱标签来应对筛查任务，从而节省人工标注工作量，如果得到适当利用。但仅使用这种弱标签预测癌症可能非常具有挑战性，因为与整个三维医学扫描相比，肿瘤通常出现在较小的解剖区域中。弱半监督学习（WSSL）利用有限的体素级肿瘤注释，并将大量仅具有现成临床报告的医学图像并入其中，这可能在最小化专家注释工作量和优化筛查效果之间达到良好平衡。在本文中，我们提出了一种新的文本引导学习方法，以实现高度准确的癌症检测结果。通过将诊断和肿瘤位置文本提示整合到视觉语言模型（VLM）的文本编码器中，可以在VLM的潜在空间中有效地执行弱监督学习的优化，从而增强训练的稳定性。我们的方法可以利用大规模预训练的VLM来利用临床知识，以提高泛化能力，并产生可靠的伪肿瘤掩模以改进癌症检测。我们在一个大规模的癌症数据集上进行了广泛的定量实验，包括1,651名独立患者，验证了我们的方法可以将人类注释工作量降低至少70％，同时保持与竞争的完全监督方法（AUC值0.961与0.966）相当的癌症检测精度。

本文的问题是如何在医学图像上进行机器学习的肿瘤检测，通过利用临床报告中的文本信息来减少人工标注的工作量。

本文提出了一种基于文本引导的弱监督学习方法，将文本提示信息集成到视觉语言模型的文本编码器中，以有效地在VLM的潜在空间中进行弱监督学习优化，从而提高训练的稳定性。该方法可以利用大规模预训练的VLM来增强泛化能力，并生成可靠的伪肿瘤掩膜以改善癌症检测。

本文的亮点包括：通过利用临床报告中的文本信息来减少人工标注的工作量；提出了一种文本引导的弱监督学习方法；使用大规模预训练的VLM来增强泛化能力，并生成可靠的伪肿瘤掩膜以改善癌症检测。实验结果表明，本文的方法可以将人工标注工作量减少至少70％，同时保持与竞争的完全监督方法相当的癌症检测准确性。

最近在这个领域中，还有一些相关的研究，如《Weakly Supervised Deep Learning for Brain Disease Diagnosis Using MRI》、《A Weakly Supervised Learning Framework for Basal Cell Carcinoma Classification with Skin Lesion Images》等。