What could go wrong? Discovering and describing failure modes in computer vision

深度学习模型虽然有效，但是很脆弱。即使经过精心训练，在面对超出分布范围的样本时，它们的行为往往难以预测。在这项工作中，我们的目标是提出一种简单而有效的解决方案，通过自然语言描述计算机视觉模型潜在的失败模式。给定一个预训练的模型和一组样本，我们的目标是找到准确描述模型表现不佳的视觉条件的句子。为了研究这个重要的主题并促进未来的研究，我们形式化了基于语言的错误可解释性（LBEE）问题，并提出了一组度量标准来评估和比较不同的方法。我们提出了在联合视觉和语言嵌入空间中操作的解决方案，并且可以通过语言描述表征由于训练期间未见过的对象或不利的视觉条件等原因引起的模型失败。我们尝试了不同的任务，例如在存在数据集偏差的情况下进行分类和在未知环境中进行语义分割，并展示了所提出的方法隔离了与特定错误原因相关联的非平凡句子。我们希望我们的工作能够帮助从业者更好地理解模型的行为，提高其整体安全性和可解释性。

如何通过自然语言描述计算机视觉模型的潜在失败模式，以提高模型的可解释性和安全性？

通过在联合视觉和语言嵌入空间中操作，找到能够准确描述模型在特定视觉条件下表现不佳的语句，从而实现基于语言的错误可解释性。

论文提出了语言基础错误可解释性（LBEE）的问题，并提出了一组度量标准来评估和比较不同方法。作者在分类和语义分割等任务上进行了实验，并展示了所提出方法隔离与特定错误原因相关的非平凡语句的能力。论文的亮点包括实验设计的合理性，使用的数据集的多样性和开源代码的可用性。

最近的相关研究包括《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》、《Visualizing and Understanding Convolutional Networks》等。