Towards Real-World Stickers Use: A New Dataset for Multi-Tag Sticker Recognition

在现实世界中的对话中，贴纸的多样性和歧义性往往会因上下文而导致不同的解释，因此需要全面理解贴纸并支持多标记的要求。为了解决这个挑战，我们介绍了StickerTAG，这是第一个多标记贴纸数据集，包括一个收集的标记集，共461个标记和13,571个贴纸标记对，旨在提供对贴纸的更深入理解。识别贴纸的多个标记变得特别具有挑战性，因为贴纸标记通常是细粒度的属性感知。因此，我们提出了一种注意力属性导向提示学习方法，即Att$^2$PL，以细粒度地捕捉贴纸的信息特征，以更好地区分标记。具体而言，我们首先应用属性导向描述生成（ADG）模块从四个属性中获取贴纸的描述。然后，设计了一个本地再注意（LoR）模块来感知局部信息的重要性。最后，我们使用提示学习来指导识别过程，并采用置信度惩罚优化来惩罚自信的输出分布。广泛的实验表明，我们的方法在所有常用指标上都取得了令人鼓舞的结果。

解决问题：论文旨在解决贴纸多标记识别的挑战，提出了一个多标记贴纸数据集和一种基于注意力机制和提示学习的贴纸标记识别方法。

关键思路：论文提出了Att^2PL方法，通过属性导向描述生成模块和本地再关注模块来获取贴纸的细粒度属性信息，并利用提示学习来指导标记识别过程。

其他亮点：论文提出了StickerTAG数据集，包含461个标记和13,571个贴纸-标记对，用于更深入地理解贴纸。实验结果表明，Att^2PL方法在常用指标上取得了鼓舞人心的结果。

相关研究：最近的相关研究包括基于注意力机制和深度学习的图像标记识别方法，如《Deep Attentional Multimodal Similarity Learning for Image-Tag Retrieval》和《Multi-Attentional Graph Convolutional Networks for Multi-Label Image Recognition》等。