Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective

基于大型语言模型（LLM）的嵌入模型，得益于大规模的预训练和后训练，在通用文本嵌入任务（如文档检索）中已经开始超越基于 BERT 和 T5 的模型。然而，LLM 嵌入的一个基本限制在于其自回归预训练过程中使用的单向注意力机制，这与文本嵌入任务的双向本质不一致。为此，我们提出采用扩散语言模型进行文本嵌入，这是由于其固有的双向架构，以及在推理任务上匹配或超越 LLM 的最新成功。我们展示了对扩散语言嵌入模型的第一个系统性研究，该模型在长文档检索任务上比基于 LLM 的嵌入模型性能高出 20%，在推理密集型检索任务上高出 8%，在指令跟随型检索任务上高出 2%，并在传统文本嵌入基准测试中表现出具有竞争力的性能。我们的分析验证了双向注意力对于编码长篇和复杂文本中的全局上下文至关重要。

论文试图解决大型语言模型（LLM）在文本嵌入任务中的局限性问题，特别是由于其自回归预训练导致的单向注意力机制与双向文本嵌入任务需求之间的不匹配。这是一个已有但尚未完全解决的问题。

论文提出使用扩散语言模型（Diffusion Language Models）来生成文本嵌入，利用其固有的双向架构特性，从而更好地捕捉长文档和复杂文本中的全局上下文信息。相比传统的LLM嵌入方法，这种方法能够更有效地处理需要全局信息的任务，如长文档检索和推理密集型检索。

实验表明，扩散语言模型在长文档检索任务上比LLM嵌入模型高出20%，在推理密集型检索任务上高出8%，并在指令跟随检索任务上提升了2%。此外，该模型在传统文本嵌入基准测试中也表现出竞争力。论文还验证了双向注意力对于编码长文本和复杂文本的重要性。作者提供了详细的实验设计，包括多个数据集上的对比实验，但未提及代码是否开源。未来可以进一步探索扩散模型在更多下游任务中的应用以及优化其计算效率。

最近的相关研究包括：1) 使用BERT和T5等模型进行文本嵌入的研究；2) 大规模预训练LLM在文本嵌入中的应用；3) 扩散模型在自然语言生成和其他模态任务中的成功案例，例如'Language Modeling with Diffusion for In-Context Learning'和'Diffusion-LM Improves Controllable Text Generation'。这些研究共同推动了文本嵌入技术的发展。