Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models

在不断发展的自然语言处理领域中，理解文本的时间背景变得越来越重要。本研究探讨了在预训练过程中加入时间信息的方法，旨在实现有效的时间感知语言表示，以提高处理时间相关任务的性能。与像BERT这样依赖于BookCorpus和Wikipedia等同步文档集合的常见预训练模型不同，我们的研究引入了BiTimeBERT 2.0，这是一个新型的语言模型，预训练于一个时间新闻文章集合上。BiTimeBERT 2.0利用这个时间新闻集合，专注于三个创新的预训练目标：时间感知掩蔽语言建模（TAMLM）、文档日期标记（DD）和时态实体替换（TSER）。每个目标都针对时间信息的一个独特方面。TAMLM旨在增强对时间背景和关系的理解，DD将文档时间戳作为时间标记整合进来，而TSER则专注于“人”实体的时间动态，识别它们固有的时间重要性。实验结果一致表明，BiTimeBERT 2.0优于BERT和其他现有的预训练模型，在多种下游NLP任务和应用中取得了显著的增益，其中时间起着关键作用。

如何在预训练模型中加入时间信息，以提高在时间相关任务上的表现？

提出了一种新的语言模型BiTimeBERT 2.0，使用时间新闻文章集进行预训练，并采用三种创新的预训练目标：时间感知掩蔽语言建模（TAMLM），文档日期（DD）和时间敏感实体替换（TSER），用于增强模型对时间信息的理解。

BiTimeBERT 2.0在多个下游NLP任务上表现出色，优于BERT和其他预训练模型。实验设计合理，使用的数据集为时间新闻文章集，模型在TAMLM、DD和TSER三个方面的表现都得到了验证。

与该研究相关的其他研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。