对比学习是一种无监督学习方法。它的改进方向主要包括两个部分：1.改进正负样本的抽样策略 2.改进对比学习框架 本篇主要介绍了3篇源自ACL2022的有关对比学习的文章，前2篇文章涉及开放域段落检索，最后一篇文章涉及主题挖掘。

 

文章概览

 

1. Multi-View Document Representation Learning for Open-domain Dense Retrieval

开放域密集检索的多视图文档表示学习

论文地址：https://arxiv.org/pdf/2203.08372.pdf

密集检索通常使用bi-encoder生成查询和文档的单一向量表示。然而，一个文档通常可以从不同的角度回答多个查询。因此，文档的单个向量表示很难与多个查询相匹配，并面临着语义不匹配的问题。文章提出了一种多视图文档表示学习框架，通过viewer生成多个嵌入。

2. Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval

开放域段落检索中的句子感知对比学习

论文地址：https://arxiv.org/pdf/2110.07524v3.pdf

一篇文章可能能够回答多个问题，这在对比学习中会导致严重的问题，文中将其称之为Contrastive Conflicts。基于此，文章提出了将段落表示分解为句子级的段落表示的方法，将其称之为Dense Contextual Sentence Representation (DCSR)。

3. UCTopic: Unsupervised Contrastive Learning for Phrase Representations and Topic Mining

基于短语表示和主题挖掘的无监督对比学习

论文地址：https://arxiv.org/pdf/2202.13469v1.pdf

高质量的短语表示对于在文档中寻找主题和相关术语至关重要。现有的短语表示学习方法要么简单地以无上下文的方式组合单词，要么依赖于广泛的注释来感知上下文。文中提出了UCTopic（an Unsupervised Contrastive learning framework for phrase representations and  TOPIC mining），用于上下文感知的短语表示和主题挖掘。

内容中包含的图片若涉及版权问题，请及时与我们联系删除