Tabular Embedding Model (TEM): Finetuning Embedding Models For Tabular RAG Applications

近年来，大型语言模型在数学、代码生成和通用推理等领域展示了巨大的能力。然而，在需要解析和分析大量数字或表格数据的专业领域中，即使是最先进的模型也会遇到困难。本文介绍了一种解决特定领域表格数据分析任务的新方法，通过提出一种独特的RAG工作流程来缓解现有表格LLM解决方案的可扩展性问题。具体来说，我们提出了表格嵌入模型（TEM），这是一种新颖的方法，用于微调嵌入模型，以用于表格检索-增强-生成（RAG）应用程序。嵌入模型是RAG工作流程中的一个关键组成部分，即使是当前的最先进的嵌入模型也会遇到困难，因为它们主要是在文本数据集上训练的，因此在涉及复杂表格数据的情况下表现不佳。评估结果展示了我们的方法不仅在这个领域优于当前的最先进的嵌入模型，而且使用更小、更高效的模型结构实现了这一点。

本论文旨在解决特定领域中大规模表格数据分析的问题，提出了一种基于RAG工作流的Tabular Embedding Model (TEM)方法，以缓解现有表格LLM解决方案的可扩展性问题。

TEM是一种新颖的嵌入模型，用于fine-tune表格Retrieval-Augmentation-Generation(RAG)应用程序中的嵌入模型。该方法不仅在该领域优于当前最先进的嵌入模型，而且模型结构更小、更高效。

论文的实验结果表明，TEM不仅在特定领域中优于当前最先进的嵌入模型，而且模型结构更小、更高效。论文还介绍了RAG工作流，提供了实验细节和数据集信息，并提供了开源代码。值得进一步研究的工作包括使用TEM解决其他领域的表格数据分析问题。

在这个领域中，最近的相关研究包括《BERT for Tabular Data: A Survey of Models》、《Tabular Data Augmentation using GPT-2》等。