Reply with Sticker: New Dataset and Model for Sticker Retrieval

在社交媒体平台上，使用表情贴纸进行在线聊天非常普遍，通过表情贴纸，我们可以生动、得体和直观地表达某人的意图、情感和态度。现有的表情贴纸检索研究通常是基于上下文和用户当前的话语来检索表情贴纸，也就是说，表情贴纸作为当前话语的补充。然而，在现实世界中，使用表情贴纸来表达我们想要说的话而不仅仅是作为我们话语的补充也很重要。因此，在本文中，我们创建了一个新的用于对话中表情贴纸检索的数据集，称为StickerInt，在这个数据集中，表情贴纸被用来回复先前的对话或作为我们话语的补充。基于创建的数据集，我们提出了一个简单而有效的基于意图学习和对话上下文与表情贴纸的跨模态关系的表情贴纸检索框架，称为Int-RA。具体而言，我们首先设计了一个知识增强的意图预测器，将意图信息引入到对话表示中。随后，我们设计了一个关系感知的表情贴纸选择器，通过跨模态关系检索响应的表情贴纸。在创建的数据集上进行的广泛实验表明，所提出的模型在表情贴纸检索方面达到了最先进的性能。

本文提出了一种基于意图和跨模态关系的框架，用于在对话中检索表情包。与现有的表情包检索方法不同的是，该方法将表情包视为对话中表达意图的一种方式，而不仅仅是对话的补充。

该框架通过知识增强的意图预测器和关系感知的表情包选择器来实现。意图预测器将意图信息引入对话表示中，表情包选择器通过跨模态关系检索响应表情包。

本文创建了一个新的数据集StickerInt，用于对话中的表情包检索。实验结果表明，该方法在表情包检索方面取得了最先进的性能。该论文提出的框架可以用于实现更好的聊天机器人和智能助手。

最近的相关研究包括基于上下文的表情包检索和基于图像的表情包检索。相关论文包括《Context-Attentive and Content-Driven Embedding for Contextual Sticker Recommendation》和《Emoji-Powered Representation Learning for Cross-Lingual Sentiment Classification》等。