作者：Miao Chen, Xinjiang Lu, Tong Xu, 等

简介：本文在table2text领域研究基于预训练语言模型实现表结构理解和文本审议的方法。尽管神经表到文本方法取得了显着进展，但由于源表有限，泛化问题阻碍了这些模型的适用性。大规模预训练语言模型听起来像是解决此类问题的有前途的解决方案。然而，如何通过充分利用表格信息为预训练模型提供动力来有效弥合结构化表格和文本输入之间的差距，仍未得到很好的探索。此外，将审议机制集成到文本到文本预训练模型中以解决表到文本任务的另一个挑战仍然很少被研究。在本文中，为了使用预训练语言模型实现表到文本的生成，作者提出了一种表结构理解和文本审议方法、即 TASD。具体来说，作者设计了一个三层多头注意力网络，以在预训练语言模型的帮助下实现表结构感知文本生成模型。此外，采用多通道解码器框架来增强为表描述生成的文本的润色能力。对两个公共数据集的实证研究以及人工评估验证了作者的方法可以为不同类型的表格生成忠实而流畅的描述性文本。

论文下载：https://arxiv.org/pdf/2301.02071.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除