标题：PROBING BERT IN HYPERBOLIC SPACES（在双曲线空间中探索BERT） 作者：Boli Chen, Yao Fu，Guangwei Xu，Pengjun Xie，Chuanqi Tan, Mosha Chen, Liping Jing 机构：阿里巴巴，爱丁堡大学，北交大 简介：最近，提出了各种探测任务，以发现在上下文单词嵌入中学习的语言属性。其中许多作品含蓄地假设这些嵌入位于某些公制空间，通常是欧几里德空间。本文考虑了几何特殊空间（双曲空间）系列，这些空间对层次结构表现出更好的归纳性偏差，并可能更好地揭示在上下文表示中编码的语言层次结构。我们引入了一个 Poincare（庞加莱） 探头，一个结构探头，将这些嵌入投射到具有明确定义的层次结构的庞加莱子空间中。我们专注于两个探索目标：（a） 将等级定义为头部依赖结构的依赖性树;（b） 将等级定义为词的极性（积极和消极）的词汇情绪。我们认为，探测器的一个关键缺点是它对语言结构存在的敏感性。我们将探针应用于 BERT，这是一个典型的上下文嵌入模型。在语法子空间中，我们的探测器比欧几里德探测器更好地恢复树结构，揭示了BERT语法的几何学不一定是欧几里德的可能性。在情绪子空间中，我们揭示了正面和负面情绪的两种可能元嵌入，并展示了词汇控制的上下文化将如何改变嵌入的几何定位。我们通过广泛的实验和可视化来演示我们的庞加莱探测器的发现。 论文地址：https://arxiv.org/pdf/2104.03869.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除