Verbalized Machine Learning: Revisiting Machine Learning with Language Models

受到大型语言模型（LLMs）取得的巨大进展的启发，我们引入了口头化机器学习（VML）框架。与通常在连续参数空间上进行优化的传统机器学习模型不同，VML将参数空间限制为可人类解释的自然语言。这种约束导致了一种新的函数逼近视角，其中具有文本提示的LLM可以被视为由文本提示参数化的函数。在这种视角的指导下，我们重新审视了经典的机器学习问题，如回归和分类，并发现这些问题可以通过LLM参数化的学习器和优化器来解决。VML的主要优点包括：（1）易于编码归纳偏差：关于问题和假设类的先前知识可以用自然语言编码并馈入LLM参数化的学习器；（2）自动模型类选择：优化器可以根据数据和口头化的先前知识自动选择具体的模型类，并可以在训练过程中更新模型类；（3）可解释的学习器更新：LLM参数化的优化器可以解释每个学习器更新的原因。我们进行了几项研究，以实证评估VML的有效性，并希望VML可以成为ML中更强的可解释性和可信度的垫脚石。

该论文提出了一种基于自然语言的机器学习框架，旨在解决传统机器学习模型的可解释性和自动化选择模型等问题。

该框架将模型参数空间限制为自然语言，使用大型语言模型作为学习器和优化器，通过自然语言编码先验知识和假设类，自动选择模型类，并提供可解释的学习器更新。

通过实验验证了该框架的有效性，提供了开源代码和数据集。该框架为机器学习的可解释性和可信度提供了新的思路和方法。

近年来，解释性机器学习和自然语言处理领域的研究都与该论文有关。其中包括“Interpretable Machine Learning”和“Language Models for Natural Language Processing”等。