On The Role of Pretrained Language Models in General-Purpose Text Embeddings: A Survey

文本嵌入（text embeddings）因其在各种自然语言处理（NLP）任务中的出色表现而受到越来越多的关注，这些任务包括信息检索、分类、聚类、双语挖掘和摘要生成等。随着预训练语言模型（PLMs）的兴起，通用文本嵌入（GPTE）因其能够生成丰富且具有可迁移性的表示而得到了广泛关注。GPTE 的典型架构通常利用 PLMs 来生成密集的文本表示，并通过在大规模成对数据集上进行对比学习来优化这些表示。 在本文中，我们全面综述了 PLMs 时代下的 GPTE 发展现状，重点探讨了 PLMs 在推动其发展过程中所扮演的角色。我们首先分析了 GPTE 的基本架构，并描述了 PLMs 在其中所承担的基本角色，包括嵌入提取、表达能力增强、训练策略、学习目标以及数据构建。随后，我们介绍了 PLMs 所赋能的进阶角色，例如多语言支持、多模态融合、代码理解以及特定场景的适配等。最后，我们指出了若干超越传统改进目标的未来研究方向，包括排序融合、安全性考量、偏见缓解、结构信息整合以及嵌入的认知延伸。本文旨在为希望了解 GPTE 当前发展状况与未来潜力的新手研究者和资深学者提供有价值的参考。

论文旨在系统性地综述预训练语言模型（PLMs）时代下通用文本嵌入（GPTE）的发展，探讨PLMs在推动GPTE中的作用。这涉及多个方面，包括架构设计、训练策略、多语言与多模态支持等。这是一个重要的问题，因为文本嵌入已成为众多NLP任务的基础，但缺乏对PLMs驱动下的GPTE全面总结。

论文的关键思路是将PLMs在GPTE中的作用划分为基础角色（如嵌入提取、表达增强）和高级角色（如多语言、多模态、代码理解），并提出未来研究方向如排名整合、安全性、偏见缓解等。其新意在于不仅总结现有方法，还提出超越传统性能提升的新方向，强调认知扩展和结构信息整合。

1. 系统性地梳理了PLMs在GPTE中的多种角色，从基础功能到高级功能均有覆盖 2. 提出了未来研究的多个潜在方向，包括结构信息、认知扩展、安全与伦理问题 3. 涵盖对比学习、数据构建、训练策略等关键技术点 4. 适用于研究者与实践者，具有较高的综述价值

1. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 2. SimCSE: Simple Contrastive Learning of Sentence Embeddings 3. LaBSE: Language-agnostic BERT Sentence Embedding 4. CLIP: Connecting Text and Images 5. BERT: Pre-training of Deep Bidirectional Transformers