Combining Graph Neural Network and Mamba to Capture Local and Global Tissue Spatial Relationships in Whole Slide Images

在计算病理学中，从千兆像素整张切片图像中提取空间特征是一项基本任务，但由于其巨大的尺寸，通常将WSI分割成更小的瓦片。该分析的一个关键方面是聚合这些瓦片的信息，以便在WSI级别上进行预测。我们介绍了一种模型，它将消息传递图神经网络（GNN）与状态空间模型（Mamba）相结合，以捕捉WSI中瓦片之间的局部和全局空间关系。该模型的有效性在预测早期肺腺癌（LUAD）患者的无进展生存方面得到了证明。我们将该模型与其他用于WSI中瓦片级信息聚合的最先进方法进行了比较，包括基于瓦片级信息汇总统计的聚合、基于多实例学习（MIL）的聚合、基于GNN的聚合和基于GNN-transformer的聚合。额外的实验显示了不同类型的节点特征和不同的瓦片采样策略对模型性能的影响。这项工作可以轻松扩展到任何基于WSI的分析。代码：https://github.com/rina-ding/gat-mamba。

如何在计算病理学中从千兆像素整张幻灯片图像中提取空间特征？如何在分割成较小的瓷砖后聚合信息以在整个幻灯片图像水平上进行预测？

论文提出了一种模型，将消息传递图神经网络（GNN）与状态空间模型（Mamba）相结合，以捕捉幻灯片图像中瓷砖之间的局部和全局空间关系。模型在早期肺腺癌（LUAD）患者中预测无进展生存方面表现出有效性。

论文比较了不同的瓷砖级信息聚合方法，展示了不同类型节点特征和不同瓷砖采样策略对模型性能的影响。代码已经开源。

最近的相关研究包括瓷砖级信息聚合方法的改进，例如多实例学习（MIL）和GNN变换器。