Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning

大型语言模型（LLMs）以其出色的能力来解决具有挑战性和未知推理问题，对于许多实际应用程序至关重要的表格学习具有巨大的潜力。在本文中，我们提出了一种新颖的上下文学习框架，称为FeatLLM，它利用LLMs作为特征工程师，生成最适合表格预测的输入数据集。生成的特征用于推断类别概率，使用简单的下游机器学习模型，如线性回归，产生高性能的少样本学习。所提出的FeatLLM框架仅在推理时使用这个简单的预测模型和发现的特征。与现有的基于LLM的方法相比，FeatLLM消除了在推理时为每个样本发送查询到LLM的需要。此外，它仅需要API级别的访问LLMs，并克服了提示大小限制。如在许多来自各个领域的表格数据集中所证明的那样，FeatLLM生成高质量的规则，明显（平均达到10%）优于TabLLM和STUNT等替代方案。

本文旨在提出一种新的框架，使用大型语言模型（LLMs）作为特征工程师，以生成最适合表格预测的输入数据集，并通过简单的下游机器学习模型进行类别似然推断，以实现高性能的少样本学习。与现有的基于LLMs的方法相比，FeatLLM消除了在推理时间为每个样本发送查询到LLM的需求。此外，它仅需要API级别的LLM访问，并克服了提示大小限制。本文旨在解决表格学习中的问题，这是许多实际应用程序所必需的。

本文提出的框架使用LLMs作为特征生成器，生成的特征用于推断类别似然，从而实现高性能的少样本学习。与现有的基于LLMs的方法相比，FeatLLM消除了在推理时间为每个样本发送查询到LLM的需求，而且仅需要API级别的LLM访问，并克服了提示大小限制。

本文提出了一种新的框架，使用LLMs作为特征工程师，以生成最适合表格预测的输入数据集，并通过简单的下游机器学习模型进行类别似然推断，以实现高性能的少样本学习。实验结果表明，与现有的基于LLMs的方法相比，FeatLLM生成的特征能够生成高质量的规则，并且在许多表格数据集上表现出色。本文的贡献在于消除了在推理时间为每个样本发送查询到LLM的需求，而且仅需要API级别的LLM访问，并克服了提示大小限制。

在表格学习领域，近期的相关研究包括TabLLM和STUNT。