Clarify: Improving Model Robustness With Natural Language Corrections

在监督学习中，模型被训练从静态数据集中提取相关性。这经常导致模型依赖于高级误解。为了防止这种误解，我们必须提供超出训练数据的附加信息。现有方法包括形式的附加实例级监督，例如针对虚假特征的标签或来自平衡分布的附加标记数据。由于这些策略需要近乎原始训练数据规模的附加注释，因此对于大规模数据集来说，这些策略可能成本过高。我们假设有关模型误解的有针对性的自然语言反馈是一种更有效的附加监督形式。我们引入了Clarify，一种新颖的界面和方法，用于交互式纠正模型的误解。通过Clarify，用户只需要提供一个简短的文本描述来描述模型的一致性失败模式。然后，我们完全自动化地使用这些描述来通过重新加权训练数据或收集附加的有针对性数据来改善训练过程。我们的用户研究表明，非专业用户可以通过Clarify成功地描述模型的误解，在两个数据集中平均提高了最差组的准确性17.1％。此外，我们使用Clarify在ImageNet数据集中找到并纠正了31个新的困难子群体，将少数派分割的准确性从21.1％提高到28.7％。

提供一种高效的方法来纠正模型误解，避免模型依赖高级误解，从而改善模型的准确性。

通过用户提供的文本描述，使用Clarify接口自动纠正模型误解，从而改善训练过程，避免模型依赖高级误解。

Clarify是一个新颖的接口和方法，能够通过非专业用户提供的简短文本描述来改善模型准确性。实验结果表明，Clarify能够有效地改善模型的最差组准确性，同时在ImageNet数据集中发现并纠正了31个新的难以处理的子群。

近期的相关研究包括使用实例级监督的方法，如为虚假特征或平衡分布提供额外的标签数据。