Dynamic and Adaptive Feature Generation with LLM

特征空间的表示是数据点向量化和嵌入到模型中进行建模的关键环境。因此，机器学习（ML）算法的有效性与特征工程的质量密切相关。作为最重要的技术之一，特征生成将原始数据转换为优化的特征空间，有利于模型训练并进一步细化空间。尽管自动特征工程和特征生成方面取得了进展，但目前的方法常常存在三个根本问题：缺乏可解释性、适用性有限和策略不灵活。这些缺点经常限制了在各种场景下部署ML模型的能力。我们的研究引入了一种新颖的方法，采用大型语言模型（LLM）和特征生成提示来解决这些挑战。我们提出了一种动态和自适应的特征生成方法，增强了特征生成过程的可解释性。我们的方法扩展了各种数据类型和任务的适用性，并具有策略灵活性的优势。广泛的实验表明，我们的方法明显优于现有方法。

该论文旨在解决自动特征工程中存在的解释性不足、适用性有限和策略缺乏灵活性等问题。作者提出了一种基于大型语言模型和特征生成提示的动态自适应特征生成方法。

论文的关键思路是采用大型语言模型和特征生成提示来生成特征，从而提高特征生成过程的可解释性，扩大适用范围，增加策略灵活性。

论文通过大量实验验证了所提出方法的优越性，并提供了开源代码。值得关注的是，该方法不仅能够应用于各种数据类型和任务，而且能够自适应地生成特征，具有很强的灵活性。

最近的相关研究包括：AutoFeat、Featuretools、Deep Feature Synthesis等。