作者： Reinald Kim Amplayo、 Kang Min Yoo、 Sang-Woo Lee

简介： 本文重点研究‘高效属性注入’在预训练语言模型的应用方法。通过修改模型的架构，元数据属性（例如，来自评论的用户和产品 ID）可以作为附加输入合并到基于神经的 NLP 模型中，以提高其性能。然而，最近的模型依赖于预训练语言模型 (PLM)，其中以前使用的属性注入技术要么不重要，要么无效。在本文中，作者提出了一种轻量级且内存高效的方法来向 PLM 注入属性。作者扩展适配器、即微型插件前馈模块，以包含独立于文本或与文本联合的属性。为了限制参数的增加，特别是当属性词汇量很大时，作者使用低秩近似和超复杂乘法，显着降低了总参数。作者还引入了训练机制来处理属性可以是多标签或稀疏的域。作者进行了广泛的实验和分析，结果表明：基于美国8个数据集，本文研究的方法优于以前的属性注入方法、并在不同领域的各数据集上获得了SOTA效果。

论文下载： https://arxiv.org/pdf/2109.07953.pdf

HUB地址：https://hub.baai.ac.cn/view/10097

内容中包含的图片若涉及版权问题，请及时与我们联系删除