Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models

最近的研究表明，大型语言模型（LLMs）在经过表格数据的后训练定制后，可以获得通用的表格上下文学习（TabICL）能力。这些模型能够在不同的数据模式和任务领域之间有效地迁移。然而，现有的基于LLM的TabICL方法由于LLM的序列长度限制而局限于少量样本场景，因为以纯文本形式表示的表格实例会消耗大量标记（tokens）。为了解决这一限制并实现对任意数据规模的可扩展TabICL，我们提出了针对表格数据定制的检索增强型LLM。我们的方法结合了一个定制的检索模块，并通过检索引导的指令调优来优化LLM。这使得LLM能够有效利用更大的数据集，在69个广泛认可的数据集上显著提升了性能，并展示了有希望的扩展行为。与最先进的表格模型进行广泛的比较表明，尽管基于LLM的TabICL在整体性能上仍落后于精心调优的数值模型，但在有限的上下文中揭示了强大的算法，增强了集成多样性，并在特定数据集上表现出色。这些独特属性突显了语言作为可扩展表格数据学习的通用且易于访问接口的潜力。

该论文试图解决大型语言模型（LLMs）在处理大规模表格数据时，由于序列长度限制而导致的性能瓶颈问题。这是一个新的尝试，旨在使LLMs能够处理更大规模的表格数据，而不仅仅是局限于少量样本（few-shot scenarios）。

关键思路是引入检索增强型LLM，并针对表格数据进行定制化设计。通过结合专门的检索模块和基于检索指导的指令调优，使得LLM可以更有效地利用更大的数据集。这一方法不仅解决了传统LLM在处理表格数据时遇到的token数量限制问题，还显著提升了跨多种任务域的数据模式转换能力。

该研究在69个广泛认可的数据集上进行了测试，证明了其优越性；尽管整体性能仍落后于高度优化的数值模型，但在特定情境下展现出了强大的算法潜力。此外，它增强了集成多样性并在某些数据集上表现优异，表明语言作为通用接口对于可扩展表格学习的重要性。值得注意的是，这项工作强调了未来可以在改进检索机制、探索更多样化的训练策略等方面进一步深入。

近年来，关于如何提升LLM处理结构化数据能力的研究逐渐增多。例如，《Tabular Data Processing with Pre-trained Language Models》探讨了预训练语言模型应用于表格数据的可能性；《Enhancing LLMs for Structured Data Inference》则关注于增强LLM对结构化推理的支持。这些研究与本篇论文共同构成了一个新兴的研究方向——即如何更好地将自然语言处理技术应用于非文本类数据领域。