Benchmarking Hierarchical Image Pyramid Transformer for the classification of colon biopsies and polyps in histopathology images

使用高质量的像素级标注对组织病理全切片图像进行神经网络训练是一项昂贵的过程，因为全切片图像的千亿像素分辨率。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需注释。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类任务中的应用。在评估TCGA学习特征在原始HIPT模型中的有效性后，我们使用两种不同的策略将结肠活检图像信息并入HIPT的预训练中：（1）从现有的TCGA权重微调HIPT，（2）从随机权重初始化预训练HIPT。我们比较了这些预训练方案在两个结肠活检分类任务中的性能：二元分类和多类分类。

本论文旨在探究使用自监督学习模型HIPT进行结肠活检和息肉分类的效果，并比较两种预训练策略的性能。

论文使用自监督学习模型HIPT进行结肠活检和息肉分类的预训练，并比较两种预训练策略的性能。

论文通过比较两种预训练策略的性能，发现fine-tuning HIPT可以显著提高二元分类任务的性能，但对于多类别分类任务，两种预训练策略的性能相当。实验使用了公共数据集，并提供了代码。

最近的相关研究包括使用自监督学习进行医学图像分类和结肠癌检测的研究。