Latent Logic Tree Extraction for Event Sequence Explanation from LLMs

现代高风险系统（如医疗保健或机器人技术）通常会生成大量的事件序列。我们的目标是设计一个高效的即插即用工具，从大型语言模型（LLMs）中引出基于逻辑树的解释，以为每个观察到的事件序列提供定制化的洞察力。基于事件的时间点过程模型，我们的方法采用似然函数作为评估生成的逻辑树的分数。我们提出了一种摊销的期望最大化（EM）学习框架，并将逻辑树视为潜在变量。在E步骤中，我们使用LLM先验和观察到的事件序列的似然度评估潜在逻辑树的后验分布。LLM为潜在逻辑树提供了高质量的先验，但由于后验建立在离散的组合空间上，我们无法得到闭合形式的解。我们提出使用可学习的GFlowNet从后验中生成逻辑树样本，GFlowNet是用于结构离散变量的多样性寻求生成器。M步骤使用生成的逻辑规则来近似边缘化后验，促进模型参数的学习和调整可调整的LLM先验参数。在在线设置中，我们的本地构建的轻量级模型将使用仅少数迭代从LLMs中提取出最相关的规则，为每个序列提供洞察力。实证演示展示了我们框架的良好性能和适应性。

论文旨在设计一个高效的工具，从大规模事件序列中提取逻辑树解释，以提供每个观察到的事件序列的定制化见解。

使用基于时间点过程模型的似然函数作为评估生成的逻辑树的分数，提出一种分阶段期望最大化（EM）学习框架，并将逻辑树视为潜在变量。使用可学习的GFlowNet从后验中生成逻辑树样本，以便在在线设置中提取最相关的规则。

论文提出了一种新颖的方法来提取逻辑树解释，使用LLM作为先验，提出了一种GFlowNet来生成逻辑树样本，实验结果表明该方法的性能和适应性非常有前途。

最近的相关研究包括基于深度学习的序列建模和事件序列建模，如《Deep temporal point process for personalized event prediction》和《Learning representations of temporal point processes using GANs》。