Entity6K: A Large Open-Domain Evaluation Dataset for Real-World Entity Recognition

开放领域的现实世界实体识别是必不可少的，但也很具挑战性，需要识别各种不同环境中的实体。由于实体数量众多，数据筛选需要大量人力，缺乏合适的评估数据集一直是该领域的主要障碍。我们介绍了Entity6K，这是一个全面的现实世界实体识别数据集，包含26个类别的5700个实体，每个实体都有5张经过人工验证的图像和注释支持。Entity6K提供了各种实体名称和分类，填补了现有数据集的空白。我们在图像字幕生成、物体检测、零样本分类和密集字幕生成等任务上对现有模型进行了基准测试，以展示Entity6K在评估模型实体识别能力方面的有效性。我们相信Entity6K将成为推进开放领域准确实体识别的宝贵资源。

论文旨在解决开放域实体识别中缺乏合适的评估数据集的问题，提出了一个包含26个类别、5700个实体和5张带注释的图像的综合数据集Entity6K。

Entity6K数据集的关键思路是提供一个包含各种实体名称和分类的多样性数据集，以评估模型在开放域实体识别方面的能力。

论文介绍了Entity6K数据集，并对现有模型在图像字幕、目标检测、零样本分类和密集字幕等任务上进行了评估。该数据集的开发有助于推动准确的实体识别在开放域环境中的发展。

在相关研究方面，最近的工作包括COCO数据集、Visual Genome数据集和Open Images V6数据集等。