FACTTRACK: Time-Aware World State Tracking in Story Outlines

随着语言模型输出的能力提高，准确检测和纠正语言模型输出中的事实矛盾变得越来越重要，但这是极具挑战性的。我们提出了一种新颖的方法 FACTTRACK，用于跟踪原子事实和解决事实矛盾。关键是，FACTTRACK 还为每个事实维护了时间感知的有效区间，允许随时间变化。在高层次上，FACTTRACK 包括一个四步流程，用于更新每个新事件的世界状态数据结构：(1) 将事件分解为方向性原子事实; (2) 使用世界状态确定每个原子事实的有效区间; (3) 检测世界状态中现有事实的矛盾; 最后 (4) 添加新事实到世界状态并更新现有原子事实。当我们将 FACTTRACK 应用于结构化故事大纲的矛盾检测时，我们发现 FACTTRACK 使用 LLaMA2-7B-Chat 显著优于使用 LLaMA2-7B-Chat 的公平基线，并实现了与 GPT4 基线相当的性能。此外，当使用 GPT4 时，FACTTRACK 显著优于 GPT4 基线。

论文旨在解决语言模型输出中的事实矛盾问题，提出了一种新方法FACTTRACK，能够追踪原子事实并维护时间感知的有效间隔，以便进行变化。该方法是否解决了一个新问题？

FACTTRACK是一个四步骤的流程，用于更新每个新事件的世界状态数据结构。它将事件分解为方向性原子事实，使用世界状态确定每个原子事实的有效间隔，检测与世界状态中现有事实的矛盾，并添加新事实并更新现有原子事实。相比当前领域的研究状况，FACTTRACK的思路有何新意？

论文使用FACTTRACK在结构化故事概述上进行了矛盾检测，相比于使用LLaMA2-7B-Chat的公平基准，FACTTRACK使用LLaMA2-7B-Chat表现更好，并且实现了与GPT4基线相当的性能。此外，使用GPT4时，FACTTRACK明显优于GPT4基线。论文的实验设计如何？使用了哪些数据集？是否有开源代码？

最近在这个领域中，还有哪些相关的研究被进行？