Hyper-CL: Conditioning Sentence Representations with Hypernetworks

虽然对比学习框架在句子表示学习中的引入极大地促进了该领域的进步，但仍不清楚当前最先进的句子嵌入是否能够捕捉句子的细粒度语义，特别是在特定视角下的情况。本文介绍了Hyper-CL，一种高效的方法，它将超网络与对比学习相结合，计算有条件的句子表示。在我们提出的方法中，超网络负责将预先计算的条件嵌入转换为相应的投影层。这使得相同的句子嵌入可以根据不同的条件进行不同的投影。在两个代表性的条件基准测试中，即条件语义文本相似性和知识图完成，评估结果表明Hyper-CL在灵活地调节句子表示方面非常有效，同时展示了其计算效率。我们还对我们方法的内部工作进行了全面的分析，从而更好地解释了其机制。

论文旨在解决对特定角度进行条件限制时，当前最先进的句子嵌入模型是否能够捕捉到句子的细粒度语义的问题。

Hyper-CL是一种有效的方法，它将超网络与对比学习相结合，以计算有条件的句子表示。Hyper-CL使用超网络将预先计算的条件嵌入转换为相应的投影层，从而使相同的句子嵌入可以根据不同的条件进行不同的投影。这种方法在两个代表性的条件基准测试上进行了评估，证明了其在灵活地调整句子表示方面的有效性，同时展示了其计算效率。论文还提供了对该方法内部运作的全面分析，从而更好地解释其机制。

论文提出了一种新的方法，Hyper-CL，用于灵活地调整句子表示。Hyper-CL包括超网络和对比学习，可以根据不同的条件进行不同的投影。论文在两个条件基准测试上进行了评估，并提供了对该方法内部运作的全面分析。论文的实验设计充分，使用了多个数据集，并提供了开源代码。

最近的相关研究包括：1）使用对比学习来学习句子表示，如SimCSE；2）使用超网络来生成神经网络的权重，如HyperNets。