Creating an AI Observer: Generative Semantic Workspaces

有经验的人类观察者阅读文档（例如犯罪报告）时，会创建一个简洁的类似情节的“工作记忆”，其中包括不同的角色、它们在任何时刻的典型角色和状态、它们基于相互作用的时间演变，甚至包括一个缺失语义部分的地图，预测它们在未来的出现。目前并不存在等效的人工智能观察者。我们引入了生成语义工作空间（GSW）——包括“操作者”和“协调器”——利用LLM的进步来创建一个生成式语义框架，而不是传统预定义的词汇标签集。给定描述正在进行的情况的文本段$C_n$，操作者实例化以角色为中心的语义映射（称为“工作空间实例”$\mathcal{W}_n$）。协调器解决$\mathcal{W}_n$与“工作记忆”$\mathcal{M}_n^*$之间的差异，生成更新的$\mathcal{M}_{n+1}^*$。GSW在几个任务上优于众所周知的基线（与FST、GLEN、BertSRL相比，多句子语义提取约为94％，与NLI-BERT相比约为15％，与QA相比约为35％）。通过模拟真实观察者，GSW提供了向空间计算助手迈出的第一步，这些助手能够理解个人意图并预测未来行为。

本论文旨在引入一个新的语义框架，即生成式语义工作空间（GSW），以实现对文本中个体意图和行为的理解和预测。

GSW包括操作器和协调器两个部分，利用LLM的进展创建一个生成式语义框架，而不是传统的预定义词汇标签。操作器根据文本段描述的情况实例化以个体为中心的语义映射，协调器解决语义映射和工作记忆之间的差异，生成更新后的工作记忆。GSW在多个任务上表现优异，比已知的基线方法表现更好。

该论文提出了一个新的生成式语义框架GSW，实现了对文本中个体意图和行为的理解和预测。GSW在多个任务上表现优异，比已知的基线方法表现更好。实验使用了多个数据集，包括FST、GLEN、BertSRL、NLI-BERT和QA。该论文的方法为构建空间计算助手提供了第一步。

在这个领域中，已有一些研究探讨了语义映射和自然语言理解。例如，标题为《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》的论文提出了BERT模型。还有一些研究聚焦于自然语言推理和问答。