An Encoding--Searching Separation Perspective on Bi-Encoder Neural Search

本文回顾、分析并提出了一种新的关于神经搜索中双编码器架构的视角。虽然双编码器架构由于其在测试时的简单性和可扩展性而被广泛使用，但它存在一些值得注意的问题，例如在已知数据集上性能较低以及在新数据集上的零-shot性能较弱。本文分析了这些问题，并总结了两个主要批评：编码信息瓶颈问题和嵌入式搜索的基本假设的局限性。然后，我们构建了一个思想实验来逻辑分析编码和搜索操作，并挑战嵌入式搜索的基本假设。基于这些观察，我们提出了一个新的关于双编码器架构的视角，称为“编码-搜索分离”视角，它在概念上和实践上分离了编码和搜索操作。这种新的视角被应用于解释已发现的问题的根本原因，并讨论缓解问题的方法。最后，我们讨论了新视角背后的思想、它所暴露的设计表面以及可能产生的潜在研究方向的影响。

本文旨在分析和提出新的视角来解决双编码器架构在神经搜索中的一些问题，包括在已知数据集上表现不佳和在新数据集上的零样本性能较弱。

提出了一种新的视角——“编码-搜索分离”视角，将编码和搜索操作在概念上和实践上分离，以解决双编码器架构中存在的问题。

本文分析了双编码器架构中存在的问题，并提出了解决问题的新思路。作者通过实验验证了新思路的有效性，并讨论了新思路的潜在研究方向。

相关研究包括但不限于：1.《End-to-End Neural Ad-hoc Ranking with Kernel Pooling》；2.《A Deep Relevance Matching Model for Ad-hoc Retrieval》；3.《Dual Supervised Learning for Natural Language Processing》。