图片作者：Xikun Zhang（斯坦福计算机科学 Ph.D.） 译者：张雨佳 原文：Do Language Models Know How Heavy an Elephant Is?

一头大象有多重？一个结婚戒指有多贵？

人类对不同对象的比例，或者这些数字属性的合理范围有相当好的尺度感，但是预训练语言表示可以做到吗？

尽管像 BERT 这样经过预训练的语言模型已经在各种知识（包括事实性知识）方面展示了非凡的学习能力，但目前，尚不清楚它们的表示是否可以在不需要明确显示训练数据的情况下，单独从文本中捕获到这类数字属性。

斯坦福AI Lab研究员在最近的论文 Do Language Embeddings Capture Scales? 中，测量了几种预训练文本表示法捕获尺度信息的数量，并表明，虽然这些方法通常可以捕获大量信息，但它们当前表现出来的性能与理论上限之间仍然存在很大的差距。我们明确指出了哪些文本表示是上下文相关的，并且对于捕获尺度信息并进行数值推理的效果较好。我们还提出了一个 BERT 的新版本 ——NumBERT。通过用科学符号代替预训练文本语料库中的数字，使其更容易将量级 / 规模这样的概念 “暴露” 给模型，改进其数值推理能力，并且还证明了 NumBERT 表示比先前所有的文本表示方法捕获尺度的能力都要好。

感兴趣的可以继续戳原文。

References： http://ai.stanford.edu/blog/scalar-probing/ https://arxiv.org/abs/2010.05345

内容中包含的图片若涉及版权问题，请及时与我们联系删除