HoloHisto: End-to-end Gigapixel WSI Segmentation with 4K Resolution Sequential Tokenization

数字病理学中，基于深度学习的图像分割传统方法通常涉及两个阶段的过程：首先将高分辨率的全幻灯片图像（WSI）分割成较小的补丁（例如256x256、512x512、1024x1024），然后将它们重建到原始比例。这种方法通常难以捕捉WSI的复杂细节和广泛范围。本文提出了全面组织病理学（HoloHisto）分割方法，以实现对吉格像素WSI的端到端分割，其最大分辨率高达80,000×70,000像素。HoloHisto从根本上改变了WSI分割的范式，采用端到端学习方式，其中包括1）一个大的（4K）分辨率基本补丁，用于提高视觉信息的包含和高效处理，以及2）一种新颖的顺序标记机制，以适当地建模上下文关系并高效地模拟来自4K输入的丰富信息。据我们所知，HoloHisto是吉格像素分辨率WSI分割的第一个全面方法，支持直接I/O完整的WSI及其相应的吉格像素掩模。在HoloHisto平台下，我们揭示了一个随机的4K采样器，超越了超高分辨率，提供了比标准2D和3D补丁分别多31倍和10倍的像素，以促进计算能力的提高。为了促进高效的4K分辨率密集预测，我们利用顺序标记化，利用预训练的图像标记器将图像特征分组成离散的标记网格。为了评估性能，我们的团队创建了一个新的肾脏病理图像分割（KPIs）数据集，其中包括整个小鼠肾脏的WSI级肾小球分割。从结果来看，HoloHisto-4K相对于先前的最先进模型获得了显着的性能提升。

本文旨在提出一种新的方法，解决数字病理学中对超大规模病理图像进行端到端分割的问题。传统方法通常采用两阶段的方式，但是在处理超大规模图像时会遇到困难。

本文提出了一种名为HoloHisto的方法，采用端到端的学习方式，使用4K分辨率的基础补丁以及一种新的序列标记机制，来实现对超大规模病理图像的分割。

本文的亮点包括：提出了一种新的方法来解决数字病理学中超大规模病理图像的端到端分割问题；使用了一个新的4K采样器，可以比标准2D和3D补丁提供更多的像素；使用序列标记技术来实现高效的4K分辨率密集预测；通过一个新的数据集进行了实验验证，并取得了比之前最先进的模型更好的性能。

最近在这个领域中，还有一些相关的研究，包括：《DeepGlobe 2018: A Challenge to Parse the Earth through Satellite Images》、《Deep Learning in Histopathology: The Path to the Clinic》等。