SegSTRONG-C: Segmenting Surgical Tools Robustly On Non-adversarial Generated Corruptions -- An EndoVis'24 Challenge

准确地分割机器人辅助手术中的工具对于机器感知至关重要，因为它有助于包括增强现实反馈在内的许多下游任务。虽然当前基于前馈神经网络的方法在理想条件下表现出优异的分割性能，但这些模型已被证明对甚至微小的破坏都很敏感，从而严重影响模型的性能。这种脆弱性在外科手术环境中尤其成问题，因为预测可能用于决定高风险的决策。为了更好地理解模型在非对抗性破坏下的行为，先前的研究探索了引入人工破坏，如高斯噪声或对比度扰动到测试集图像中，以评估模型的稳健性。然而，这些破坏要么不具有照片逼真性，要么不具有模型/任务的普适性。因此，这些调查为了理解手术现实的破坏下模型的退化提供了有限的见解。为了解决这个限制，我们引入了SegSTRONG-C挑战赛，旨在促进对手术图像的未预见但合理的破坏具有鲁棒性的算法的开发，如烟雾、出血和低亮度。我们收集并发布无破坏的模拟内窥镜视频序列，供挑战参与者训练他们的算法，并在具有照片逼真的非对抗性破坏的视频序列上进行基准测试，以进行二元机器人工具分割任务。这个新的基准将使我们能够仔细研究神经网络对手术非对抗性破坏的稳健性，从而构成迈向更稳健的外科计算机视觉模型的重要第一步。在本文中，我们描述了数据收集和注释协议、已建立分割模型的基准评估以及基于数据增强的技术来增强模型的稳健性。

该论文旨在解决机器人辅助手术中工具的准确分割问题，以提高机器感知的性能和下游任务的效果。

该论文提出了SegSTRONG-C挑战赛，旨在促进算法对手术图像的非对抗性污染的鲁棒性，包括烟雾、出血和低亮度等，通过数据增强技术增强模型的鲁棒性。

该论文提供了一个新的基准测试，可以仔细研究神经网络对手术非对抗性污染的鲁棒性。论文描述了数据收集和注释协议、已有分割模型的基线评估，以及增强模型鲁棒性的数据增强技术。

最近的相关研究包括使用人工污染数据测试模型鲁棒性的先前工作，以及其他医学图像分割领域的研究，如基于深度学习的肺部结节分割。