WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering

全切片成像已经成为癌症诊断和预后的常规方法。病理学家需要丰富的经验才能准确可靠地诊断全切片图像（WSI）。WSI巨大的大小和异质性特征使得病理学阅读工作流程非常耗时。本文提出了一个新的框架（WSI-VQA），通过生成式视觉问答来解释WSI。WSI-VQA通过以问答模式重新构建各种幻灯片级任务，显示了普适性，病理学家可以通过人机交互实现免疫组化分级、生存预测和肿瘤亚型。此外，我们建立了一个包含8672个幻灯片级问答对和977个WSI的WSI-VQA数据集。除了具有处理不同幻灯片级任务的能力外，我们的生成模型（命名为Wsi2Text Transformer（W2T））在医学正确性方面优于现有的判别模型，这揭示了我们的模型在临床场景中应用的潜力。此外，我们还将单词嵌入和WSI之间的共同关注映射可视化为诊断结果提供了直观的解释。数据集和相关代码可在https://github.com/cpystan/WSI-VQA上获取。

本论文旨在提出一种新的框架（WSI-VQA）来解释全切片图像，通过生成式视觉问答来完成各种切片级任务，包括免疫组化分级、生存预测和肿瘤亚型划分等。同时，为了解决全切片图像的巨大尺寸和异质性特征导致病理学阅读工作流程极其耗时的问题，提出了一种人机交互的方式。

论文提出了一种全新的框架，通过生成式视觉问答来解释全切片图像，实现各种切片级任务，并且在医学正确性上优于现有的判别模型，具有潜在的临床应用价值。

论文建立了一个包含8672个切片级问答对和977个全切片图像的数据集，并且提供了开源代码。同时，论文还通过可视化共同关注映射来直观解释诊断结果。此外，该框架的人机交互方式也是本文的亮点之一。

最近的相关研究包括使用深度学习方法来分析全切片图像，如基于卷积神经网络的方法和基于循环神经网络的方法。