Towards Knowledge-Grounded Natural Language Understanding and Generation

本论文研究了如何通过使用Transformer模型将自然语言理解和生成与知识表示结合起来，解决以下关键研究问题：（i）实体知识是否可以扩展其优势，超越实体链接等实体中心任务？（ii）我们如何忠实有效地从原始文本中提取这种结构化知识，特别是从嘈杂的网络文本中提取？（iii）除了结构化知识之外，其他类型的知识如何有助于改善自然语言处理任务？ 本论文的研究发现，将相关和最新的实体知识融入其中，有助于假新闻检测，而以实体为中心的代码转换显著提高了零-shot跨语言转移的性能。在提取结构化知识的有效和忠实方法方面，观察到将负面例子整合和与实体规划训练显著提高了性能。此外，还确定了其他一般形式的知识（如参数化和蒸馏知识）如何增强多模态和多语言知识密集型任务。本研究展示了不同知识融合的实际好处，并激发了在这个方向上进一步探索的动力。

本论文旨在研究如何通过将Transformer模型与知识表示相结合，从而使自然语言理解和生成受益。它探讨了以下关键研究问题：(i)实体知识能否扩展其受益范围，超出实体链接等实体中心任务？(ii)如何从原始文本中有效地提取这种结构化知识，特别是在嘈杂的Web文本中？(iii)除了结构化知识之外，其他类型的知识如何有助于改善NLP任务？

论文的关键思路是将实体知识与Transformer模型相结合，从而提高自然语言理解和生成的性能。研究表明，使用实体知识可以改善虚假新闻检测，并且在实体中心任务的零样本跨语言转移方面，实体聚焦的混合语言切换显着提高了性能。此外，论文还提出了有效且忠实的方法来提取结构化知识，包括整合负面示例和使用实体规划进行训练。同时，论文还发现其他形式的知识，如参数化和蒸馏知识，可以增强多模态和多语言知识密集型任务的性能。

论文的亮点之一是实验设计，使用了多个数据集，并提供了开源代码。另一个亮点是论文的结论，即知识集成可以带来实际的收益，并且值得进一步研究。值得深入研究的工作包括如何更好地整合知识，并探索不同类型的知识如何相互作用以提高NLP任务的性能。

在这个领域中的其他相关研究包括：1.《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》；2.《Improving Language Understanding by Generative Pre-Training》；3.《ERNIE: Enhanced Language Representation with Informative Entities》等。