Order-Based Pre-training Strategies for Procedural Text Understanding

本文提出了基于序列的预训练方法，以增强自然语言处理中对过程的理解。由于上下文中实体的属性不断变化，包含顺序指令以完成任务的过程性文本难以理解。我们专注于食谱，它们通常被表示为有序指令，并使用此顺序作为监督信号。我们的工作是第一个比较几种“顺序作为监督”的Transformer预训练方法的研究，包括置换分类、嵌入回归和跳过剪辑，并表明这些方法相对于基线和最先进的LLMs在两个下游Entity-Tracking数据集（食谱领域的NPN-Cooking数据集和开放领域的ProPara数据集）上给出了改进的结果。我们提出的方法解决了需要预测过程步骤中实体状态的非平凡实体跟踪任务，这需要理解步骤的顺序。这些方法在指标上相对于最佳基线分别在NPN-Cooking和ProPara数据集上提高了1.6％和7-9％。

本文旨在提出一种基于序列的预训练方法，以增强自然语言处理中的过程理解能力。该方法针对难以理解的过程文本，着重于食谱这一常见的有序指令，利用这种顺序作为监督信号，解决需要跨步预测实体状态的非平凡实体跟踪任务。

本文提出了几种基于“顺序作为监督信号”的transformer预训练方法，包括置换分类、嵌入回归和跳过-剪辑，并表明这些方法相比于基线模型和SoTA LLMs，在两个实体跟踪数据集上都有改进。

本文的亮点在于提出了一种新的预训练方法，用于增强自然语言处理中的过程理解能力。实验使用了两个数据集，NPN-Cooking数据集和ProPara数据集，并且相较于基线模型，提高了1.6%和7-9%的性能。此外，本文的方法还解决了需要预测跨步实体状态的非平凡实体跟踪任务。

最近在这个领域中，与本文相关的研究包括《A Survey on Neural Machine Reading Comprehension》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。