BayTTA: Uncertainty-aware medical image classification with optimized test-time augmentation using Bayesian model averaging

测试时数据增强（Test-time augmentation，TTA）是计算机视觉任务测试阶段广泛采用的技术。它涉及聚合多个输入数据的增强版本。在执行TTA之后，使用简单的平均公式结合预测是一种常见且直接的方法。本文介绍了一种新的优化TTA的框架，称为基于贝叶斯的TTA（Bayesian-based TTA），它基于贝叶斯模型平均（BMA）。首先，我们生成与通过TTA创建的输入数据的不同变化相关联的模型列表。然后，我们使用BMA将模型预测组合起来，加权计算它们各自的后验概率。这种方法允许考虑模型不确定性，从而提高相关机器学习或深度学习模型的预测性能。我们在包括皮肤癌、乳腺癌和胸部X射线图像以及CRISPOR和GUIDE-seq两个著名基因编辑数据集在内的各种公共数据上评估了BayTTA的性能。我们的实验结果表明，BayTTA可以有效地集成到用于医学图像分析的最先进的深度学习模型以及一些流行的预训练CNN模型，例如VGG-16、MobileNetV2、DenseNet201、ResNet152V2和InceptionRes-NetV2，从而提高它们的准确性和鲁棒性表现。

本论文旨在解决测试阶段中的数据增强（TTA）对于计算机视觉任务的影响问题，提出了一种基于贝叶斯模型平均（BMA）的TTA优化框架BayTTA，以提高机器学习或深度学习模型的预测性能和鲁棒性。

BayTTA框架通过生成不同的TTA数据变化的模型列表，并使用BMA将模型预测加权组合，以考虑模型不确定性，从而提高了模型的预测性能和鲁棒性。

该论文在多个公共数据集上进行了实验，包括三个医学图像数据集和两个基因编辑数据集，实验结果表明BayTTA框架可以有效地应用于医学图像分析和流行的预训练CNN模型中，如VGG-16、MobileNetV2、DenseNet201、ResNet152V2和InceptionRes-NetV2，从而提高了它们的准确性和鲁棒性。此外，该论文提供了开源代码。

在这个领域中，最近的相关研究包括：1. 'Test-Time Data Augmentation for Deep Learning' (2017)；2. 'Bayesian Model Averaging for Deep Learning' (2016)；3. 'A Comprehensive Study on Deep Learning for Image Captioning' (2020)。