CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging

医学影像在诊断中扮演着至关重要的角色，放射学报告作为重要的文献资料。自动化报告生成已经成为缓解放射科医师工作量的关键需求。虽然机器学习已经为二维医学影像的报告生成提供了便利，但由于计算复杂性和数据稀缺性，将其扩展到三维医学影像尚未被探索。我们介绍了第一种针对胸部CT体积生成放射学报告的方法。鉴于缺乏可比较的方法，我们使用医学影像中先进的三维视觉编码器建立了一个基准，以展示我们的方法的有效性，该方法利用了一种新颖的自回归因果变换器。此外，我们认识到利用先前访问的信息的好处，我们增加了一个基于交叉注意力的多模式融合模块和分层记忆，使得纵向多模式数据的结合成为可能。访问我们的代码：https://github.com/ibrahimethemhamamci/CT2Rep

论文旨在解决如何自动生成3D医学影像的放射学报告，特别是针对胸部CT扫描。这是一个新问题，因为目前尚未有可比较的方法来生成3D医学影像的报告。

论文提出了一种基于自回归因果Transformer的方法，利用先进的3D视觉编码器来生成3D医学影像的放射学报告。同时，通过跨注意力的多模态融合模块和分层记忆，增加了纵向多模态数据的信息。

论文使用一个先进的3D视觉编码器来建立基线，证明了所提出方法的有效性。论文还开源了代码，并使用了公开数据集进行实验。值得深入研究的地方包括如何进一步利用纵向多模态数据来提高报告的质量。

最近的相关研究包括使用深度学习生成2D医学影像报告的方法，如基于CNN和LSTM的方法。