标题：百度|ERNIE-DOC: A Retrospective Long-Document Modeling Transformer（长文本理解模型 ERNIE-Doc）

简介：变换器由于二次增加的内存和时间消耗而不适用于处理长文档。只是截断长文档或应用稀疏注意力机制将引起上下文碎片问题或导致对可比较的模型尺寸。在本文中，我们提出ERNIE-DOC，这是基于递归的文档级语言预训练模型变换器。两种精心设计的技术，即回顾性喂食机制和提高的复发率机制，启用ERNIE-DOC，其中有有效上下文长度更长捕获完整文档的上下文信息。我们预训练ERNIE-DOC明确学习之间的关系带有附加文档识别功能的细分段重新排序目标。对英语和英语进行了各种实验中文文档级任务。ERNIE-DOC在WikiText103上将最新的语言建模困惑度提高到了16.8。而且，它的表现胜过竞争在大多数情况下，对模型进行了很大程度的预训练语言理解任务，例如文本分类和问题解答。