【论文标题】BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer 【作者团队】Po-Ting Lai, Zhiyong Lu 【发表时间】2020/01/13 【机 构】National Center for Biotechnology Information 【论文链接】https://arxiv.org/abs/2101.04158

【推荐理由】 在这项工作中，作者提出了一种新颖的架构，该架构通过将邻居注意力机制集成到BERT架构中，将来自变压器的双向编码器表示形式与图形变压器（BERT-GT）相结合。 生物医学关系陈述通常用多个句子来表达，并且由许多概念组成，包括基因，疾病，化学和突变。为了自动从生物医学文献中提取信息，现有的生物医学文本挖掘方法通常将问题表达为交叉句子n元关系提取任务，该任务检测跨多个句子的n个实体之间的关系，并使用图神经网络（GNN）具有长短期记忆（LSTM）或注意力机制。最近，在许多自然语言处理（NLP）任务上，Transformer的性能均优于LSTM。在这项工作中，作者提出了一种新颖的架构，该架构通过将邻居注意力机制集成到BERT架构中，将来自变压器的双向编码器表示形式与图形变压器（BERT-GT）相结合。与原始的Transformer体系结构不同，该体系结构利用整个句子来计算当前标记的注意力，而我们方法中的neighbor-attention机制仅利用其相邻标记来计算其注意力。因此，每个令牌可以以很少的噪声关注其邻居信息。我们证明，当文本很长时（例如在交叉句子或抽象级别的关系提取任务中），这至关重要。我们的基准测试结果显示，与n元和化学-蛋白质关系数据集上的最新技术相比，准确性和F1测量值分别提高了5.44％和3.89％，这表明BERT-GT是一种适用于其他方法的可靠方法生物医学关系提取任务或数据集。长期以来，语义分析一直是自然语言处理中的一个基本问题。近年来，跨域上下文相关的语义解析已成为研究的新焦点。问题的核心是在交互历史中利用自然语言话语和数据库模式的上下文信息的挑战。在本文中，作者提出了一个动态图框架，该框架能够在对话进行时有效地建模上下文话语，token，数据库模式及其复杂的交互。该框架采用了动态记忆衰减机制，该机制结合了归纳偏差来整合丰富的上下文关系表示，并通过强大的重新排序模型进一步增强了该机制。在撰写本文时，作者证明了所提出的框架在很大程度上超越了所有现有模型，并在SParC和CoSQL数据集这两个大型基准上实现了最新的性能。具体来说，该模型在SParC上达到55.8％的问题匹配和30.8％的交互匹配精度，在CoSQL上达到46.8％的问题匹配和17.0％的交互匹配精度。

内容中包含的图片若涉及版权问题，请及时与我们联系删除