Binder: Hierarchical Concept Representation through Order Embedding of Binary Vectors

对于自然语言理解和生成，使用基于顺序的表示嵌入概念是一项基本任务。与传统的基于点向量的表示不同，基于顺序的表示对表示向量施加几何约束，以明确捕捉可能存在于一对概念之间的各种语义关系。在现有文献中，已经提出了几种基于顺序的嵌入方法，主要集中在捕捉层次关系方面，例如欧几里得空间向量、复杂向量、双曲线、顺序和盒子嵌入。盒子嵌入创建了基于区域的丰富概念表示，但在此过程中牺牲了简单性，需要一个定制的优化方案来学习表示。双曲线嵌入通过利用双曲线空间的不断扩张特性来提高嵌入质量，但它也遭受盒子嵌入同样的命运，因为在双曲线空间中像梯度下降这样的优化并不简单。在这项工作中，我们提出了一种新的基于顺序的表示方法——Binder。Binder使用二进制向量进行嵌入，因此嵌入向量具有比其他方法小一个数量级的紧凑占用空间。Binder使用一个简单而高效的优化方案来学习表示向量，具有线性时间复杂度。我们全面的实验结果表明，Binder非常精确，在表示任务上产生了有竞争力的结果。但是，在传递闭包链接预测任务中，Binder在只从直接边缘学习概念嵌入的情况下，比其竞争对手更为出色，而所有现有的基于顺序的方法都依赖于间接边缘。

Binder论文旨在提出一种新的基于二进制向量的顺序嵌入方法，以解决嵌入概念时需要考虑的语义关系的问题，并在传递闭包链接预测任务上取得更好的结果。

Binder使用二进制向量进行嵌入，使嵌入向量具有比其他方法小一个数量级的紧凑性，并使用线性时间复杂度的简单有效的优化方案来学习表示向量。

Binder在嵌入任务上表现出极高的准确性，并在传递闭包链接预测任务上表现出色，可以仅从直接边缘学习概念嵌入，而所有现有的基于顺序的方法都依赖于间接边缘。实验使用了多个数据集，并且Binder的优化方案非常简单且易于实现。

在基于顺序的嵌入方法方面，已经提出了许多方法，包括欧几里得空间向量、复杂、双曲、顺序和盒子嵌入。