SetBERT: Enhancing Retrieval Performance for Boolean Logic and Set Operation Queries

我们介绍了SetBERT，这是一种经过微调的基于BERT的模型，旨在增强集合操作和布尔逻辑查询的查询嵌入，例如交集（AND）、差集（NOT）和并集（OR）。SetBERT显著提高了逻辑结构查询的检索性能，这是传统和神经检索方法通常表现不佳的领域。我们提出了一种创新的反向对比损失的使用方法，重点是识别负面句子，并使用通过prompt GPT生成的数据集对BERT进行微调。此外，我们证明，与其他基于BERT的模型不同，使用三元组损失进行微调实际上会降低这个特定任务的性能。我们的实验表明，尽管SetBERT-base只有BERT-large模型的三分之一大小，但其不仅显著优于BERT-base（召回率提高高达63%），而且其性能也可与更大的BERT-large模型相媲美。

SetBERT试图解决逻辑结构查询中传统和神经检索方法通常表现不佳的问题，通过提高查询嵌入来增强集合操作和布尔逻辑查询（如交集，差集和并集）的表现。

SetBERT通过fine-tuned BERT模型和反向对比损失来提高逻辑结构查询的表现，与其他BERT模型不同，使用三元组损失会降低性能。

SetBERT-base不仅在召回率上显著优于BERT-base（高达63％的提高），而且在尺寸只有BERT-large的三分之一的情况下，实现了与BERT-large相当的性能。

相关研究包括：BERT-based模型在信息检索中的应用、使用反向对比损失的其他模型、使用三元组损失的其他模型等。