Hard-Attention Gates with Gradient Routing for Endoscopic Image Computing

为了解决胃肠息肉大小评估中的过拟合问题并增强模型的泛化能力，我们的研究引入了特征选择门（FSG）或硬注意力门（HAG）以及梯度路由（GR）进行动态特征选择。该技术旨在通过促进稀疏连接来增强卷积神经网络（CNN）和视觉变换器（ViT），从而减少过拟合并增强泛化能力。HAG通过可学习的权重进行稀疏化，作为一种正则化策略来实现这一点。GR进一步通过双向前向传递独立于主模型优化HAG参数，以改善特征重新加权。我们的评估涵盖了多个数据集，包括CIFAR-100用于广泛影响评估以及专注于息肉大小估计的专业内窥镜数据集（REAL-Colon，Misawa和SUN），涵盖了超过370,000帧中的200多个息肉。结果表明，我们增强的HAG网络在与息肉大小相关的二元和三元分类任务中显著提高了性能。具体而言，在二元分类中，CNN的F1分数提高到了87.8％，而在三元分类中，ViT-T模型达到了76.5％的F1分数，优于传统的CNN和ViT-T模型。为了促进进一步的研究，我们发布了我们的代码库，其中包括CNN、多流CNN、ViT和增强型HAG的实现。该资源旨在标准化内窥镜数据集的使用，提供公共的训练-验证-测试拆分，以便进行可靠且可比较的胃肠息肉大小估计研究。代码库可在github.com/cosmoimd/feature-selection-gates上获得。

论文旨在通过引入Feature-Selection Gates (FSG) 或 Hard-Attention Gates (HAG) 以及Gradient Routing (GR)技术来解决胃肠息肉大小评估中的过拟合问题和提高模型的泛化能力。

论文的关键思路是通过引入HAG和GR技术来促进CNN和ViT的稀疏连接，从而减少过拟合并增强泛化能力。HAG通过可学习权重的稀疏化作为正则化策略实现这一目标。GR进一步通过独立于主模型的双向前向传递优化HAG参数，从而改善特征重新加权。

论文在多个数据集上进行了评估，包括CIFAR-100数据集和专门的内窥镜数据集，共涵盖超过370,000帧中的200多个息肉。实验结果表明，HAG增强的网络在息肉大小的二分类和三分类任务中均显著提高性能。此外，论文还发布了代码库，其中包括CNN、多流CNN、ViT和HAG增强变体的实现，以促进进一步的研究。

在这个领域中，最近的相关研究包括使用深度学习技术进行内窥镜图像分析的研究，如“EndoNet: Multi-Task Fused CNN for Automated Polyp Detection in Colonoscopy”，以及使用CNN进行图像分类的研究，如“Very Deep Convolutional Networks for Large-Scale Image Recognition”。