When is an Embedding Model More Promising than Another?

Embedders在机器学习中扮演着核心角色，将任何对象投射到数值表示中，这些表示可以进而用于执行各种下游任务。Embedding模型的评估通常依赖于领域特定的经验方法，利用下游任务，主要是因为缺乏标准化的比较框架。然而，为进行这些评估而获得足够大且代表性的数据集并不总是可行的，可能会耗费巨大的时间和金钱。在本文中，我们提出了一种统一的方法来评估Embedders。首先，我们建立了比较Embedding模型的理论基础，借鉴了充分性和信息性的概念。然后，我们利用这些概念设计了一个可行的比较标准（信息充分性），从而实现了一个任务不可知且自我监督的排名过程。我们通过实验证明，我们的方法与Embedding模型促进自然语言处理和分子生物学中各种下游任务的能力密切相关。这有效地为从业人员提供了一个有价值的工具，以优先考虑模型试验。

本论文旨在提出一种统一的方法来评估嵌入模型，以便为从事机器学习的从业者提供有价值的工具，以优先考虑模型试验。

该论文提出了一种基于信息充分性的可行比较标准，从而实现了任务不可知和自监督排序过程。

该论文通过理论基础建立了比较嵌入模型的标准，并在自然语言处理和分子生物学领域进行了实验验证。该方法能够帮助从业者优先考虑模型试验。

最近的相关研究包括：《Learning to Compare: Relation Network for Few-Shot Learning》、《A Comprehensive Survey on Graph Neural Networks》等。