On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL

结构化数据，常见于表格、数据库和知识图谱，对于它的表示提出了重大挑战。随着大型语言模型（LLMs）的出现，越来越多的方法采用基于线性化的方法，将结构化数据处理为顺序令牌流，与明确建模结构的方法（通常作为图形）分离开来。关键是，我们仍然不了解这些基于线性化的方法如何处理本质上是非线性的结构化数据。本研究调查了编码器-解码器语言模型（特别是T5）中对结构化数据的线性处理。我们的发现揭示了该模型模拟人类设计的过程（如模式链接和语法预测）的能力，表明其对结构的深刻、有意义的学习超越了简单的令牌序列。我们还揭示了模型的内部机制，包括结构节点编码的以自我为中心的本质和由于模态融合冗余而导致模型压缩的潜力。总的来说，这项工作揭示了基于线性化的方法的内部工作原理，可能为未来的研究提供指导。

研究线性化方法在处理结构化数据时的内部机制和能力

使用T5等编码器-解码器语言模型，探究线性化方法如何处理结构化数据，发现模型能够学习到结构的深层次特征，并揭示了模型内部机制和潜在的压缩能力

论文发现模型能够模仿人类设计的过程，具有链接模式和语法预测的能力，同时揭示了结构节点编码的自我中心性和模态融合冗余的压缩潜力，实验使用T5模型和多个数据集进行，提供了有价值的指导和启示

最近的相关研究包括《Graph-to-Sequence Models for AMR-to-Text Generation》、《Neural Machine Translation of Rare Words with Subword Units》等