作者：Alex Tamkin , Dat Nguyen , Salil Deshpande ,等

简介：当多种行为与提供的训练数据一致时，由于任务模糊性，模型可能会在部署过程中以不可预知的方式失败。一个例子是在红色方块和蓝色圆圈上训练的对象分类器：当遇到蓝色方块时，预期的行为是未定义的。作者调查预训练模型是否是更好的主动学习者、能否消除用户可能试图指定的可能任务之间的歧义。有趣的是，作者发现更好的主动学习是预训练过程的一个新兴属性：当使用基于不确定性的主动学习时，预训练模型需要的标签最多减少 5 倍，而非预训练模型看不到甚至是负向增益。作者发现这些收益来自于选择具有消除预期行为歧义属性的示例的能力，例如稀有产品类别或非典型背景。与非预训练模型相比，这些属性在预训练模型的表示空间中的线性可分性要高得多，这表明了这种行为的可能机制。

论文下载：https://arxiv.org/pdf/2204.08491

内容中包含的图片若涉及版权问题，请及时与我们联系删除