Closing the Knowledge Gap in Designing Data Annotation Interfaces for AI-powered Disaster Management Analytic Systems

数据标注界面主要利用真实标签来引导标注者进行准确的回答。随着人工智能在特定领域的专业任务中越来越普及，帮助初学者识别其初步知识如何导致不准确的答案变得越来越重要，从而有助于确保大规模的高质量标注。为了研究这个问题，我们进行了一项形成性研究，涉及8位来自灾害管理领域的人员，每个人都具有不同水平的专业知识。目标是了解在分类与灾害相关的Twitter消息时，导致标注者之间产生分歧的主要因素，并分析他们各自的回答。我们的分析确定了导致专家和初学者标注者之间分歧的两个主要原因：1）缺乏上下文知识或对情况的不确定性，2）缺乏视觉或补充线索。基于这些发现，我们设计了一个上下文界面，它生成辅助工具，帮助初学者识别潜在的错误并提供所呈现的推文的隐藏上下文。总结性研究比较了上下文设计与数据标注UI中广泛使用的两种设计：高亮和基于推理的界面。我们发现这些设计在态度和行为数据方面存在显着差异。最后，我们得出了未来设计旨在缩小标注者知识差距的界面的启示。

如何帮助初学者在数据标注时避免错误并提高标注质量？

设计一种Context接口，为初学者提供隐藏的上下文信息，帮助他们识别潜在的错误。

通过实验比较了Context接口与Highlight和Reasoning-based接口的效果，发现Context接口能够显著提高初学者的标注质量。研究还分析了造成标注者之间分歧的两个主要原因：缺乏上下文知识和缺乏视觉或补充线索。

近期相关研究包括：《Active Learning for Natural Language Processing: A Survey》、《Towards a Taxonomy and Computational Models of Abusive Language (Extended Abstract)》等。