标题：腾讯、浙大｜Task-guided Disentangled Tuning for Pretrained Language Models（预训练语言模型的任务引导式解纠缠调优）

作者：Jiali Zeng, Yufan Jiang, Mu Li等

简介：本文介绍了一种大模型调优方法。在大规模未标记语料库上训练的预训练语言模型（PLM）通常在特定于任务的下游数据集上进行微调，这些数据集在各种 NLP 任务上产生了最先进的结果。 然而，领域和规模的数据差异问题使得微调无法有效地捕捉任务特定的模式，尤其是在低数据状态下。 为了解决这个问题，作者提出了用于PLM的任务引导解纠缠调整 (TDT)，它通过从纠缠表示中解开与任务相关的信号来增强表示的泛化。对于给定的任务，作者引入了一个可学习的置信度模型来检测来自上下文的指示性指导，并进一步提出了一种解开的正则化来缓解过度依赖问题。GLUE和CLUE基准测试的实验结果表明，TDT始终比使用不同PLM进行微调提供更好的结果，并且广泛的分析证明了作者方法的有效性和稳健性。

代码地址：https://github.com/lemon0830/TDT

论文地址：https://arxiv.org/pdf/2203.11431

内容中包含的图片若涉及版权问题，请及时与我们联系删除