A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching

句子语义匹配是自然语言处理中的研究热点，在社区问答、搜索、聊天机器人和推荐等多种关键场景中具有相当重要的意义。由于大多数先进的模型直接对两个句子之间的单词语义相关性进行建模，而忽略它们的“关键词”和“意图”概念，因此提出了DC-Match来将关键词与意图分离，并利用它们来优化匹配性能。虽然DC-Match是一种简单而有效的语义匹配方法，但它高度依赖于外部命名实体识别技术来识别句子的关键词，这限制了对小语种的语义匹配性能，因为通常很难获得令人满意的命名实体识别工具。本文提出了一种通用且灵活的多概念文本解析语义匹配框架MCP-SM，以从预训练的语言模型中提取各种概念并将其注入分类令牌，从而解放模型对NER模型的依赖，用于多语言语义匹配。我们在英文数据集QQP和MRPC，中文数据集Medical-SM上进行了全面的实验。此外，我们还在阿拉伯语数据集MQ2Q和XNLI上进行了实验，MCP-SM在低资源语言中的优异性能进一步证明了其适用性。

如何解决语义匹配中对NER技术的依赖性，从而提高对小语种的语义匹配性能？

提出了一种基于预训练语言模型的多概念解析语义匹配框架（MCP-SM），将各种概念提取并融入分类标记中，从而解决了对NER技术的依赖性。

使用MCP-SM在英文数据集QQP和MRPC，以及中文数据集Medical-SM上进行了广泛的实验，同时在阿拉伯文数据集MQ2Q和XNLI上进行了实验，表现出色。该方法具有灵活性和通用性，适用于低资源语言。论文提供了开源代码。

最近的相关研究包括：BERT、XLNet、ERNIE等预训练模型在语义匹配中的应用，以及针对NER技术的改进方法，如使用多语言词典等。