【论文标题】Label Confusion Learning to Enhance Text Classification Models
【作者团队】Biyang Guo , Songqiao Han *, Xiao Han *, Hailiang Huang†, Ting Lu*。上海财经大学 信息管理与工程学院 AI Lab,论文作者郭必扬有个公众号写得不错,推一下:SimpleAI。
【发表时间】2020/10
【推荐理由】本文发表在AAAI2021上,是研究LDL(Label Distribution Learning)问题的一个工作,目的是如何得到更好的标签分布。作者提出的LCM模型作为独立的插件可适用于任何模型,作者通过一个Label Encoder来学习label表示,得到一个标签之间的相似度,进一步利用这个相似度来调整原始的one-hot分布。在多个数据集上取得了不错的效果。
主要贡献在于: * 构造了一个插件——"Label Confusion Model(LCM)",可以在模型训练的时候实时计算样本和标签间的关系,从而生成一个标签分布,作为训练的target,实验证明,这个新的target比one-hot标签更好; * 这个插件不需要任何外部的知识,也仅仅在训练的时候才需要,不会增加模型预测时的时间,不改变原模型的结构。所以LCM的应用范围很广; * 实验发现LCM还具有出色的抗噪性和抗干扰能力,对于有错标的数据集,或者标签间相似度很高的数据集,有更好的表现。
参考:https://www.zhihu.com/people/guo-bi-yang-78
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢