文章概览

1. ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

论文地址：https://arxiv.org/pdf/2106.16038.pdf

汉语在句法、词汇以及发音方面有着与英语不一样的特点，而预训练模型最初是为英语设计的，忽略了汉字的字形、拼音方面的语义信息。作者提出了一种新的语言模型架构，加入对汉字的字形、拼音信息的编码以加强预训练模型对中文语言的理解。新提出来的模型在许多中文相关的NLP任务上取得了SOTA的性能。

2. Making Pre-trained Language Models Better Few-shot Learners

论文地址：https://arxiv.org/pdf/2021.15723.pdf

近来GPT-3利用语言提示和任务演示作为输入数据的提供上下文语境，在小样本学习上取得了非常好的性能。然而庞大的参数量使得GPT-3很难在实际中应用。受GPT-3启发，作者提出了LM-BFF——基于小样本微调的语言模型。LM-BFF采用自动选择标签词以及语言提示模板，和有选择性地选取任务演示样例的方法在小样本上进行fine-tuning。实验表明，自动生成的语言模板和标签词在性能上媲美或超越人工选择；模型在各任务上取得了平均11%的性能提升。

3. LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding

论文地址：https://arxiv.org/pdf/2012.14740.pdf

基于大规模未标注的扫描/数字文件的优势和有效的模型架构，文字和布局的预训练在VrDU任务中被证明是有效的。作者在LayoutMv基础上提出LayoutMv2。LayoutMv2将文件的文本、布局、图片作为输入，添加新的预训练任务——文本-图像对齐和文本-图像匹配，在单一多模态网络中建模文本、布局以及文件图片之间的联系。实验表明，LayoutMv2在VrDU任务以及VQA任务上取得了SOTA的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除