Large Language Models Synergize with Automated Machine Learning

最近，由大型语言模型（LLMs）驱动的程序合成越来越受欢迎。然而，针对机器学习（ML）任务的程序合成仍然面临重大挑战。本文探讨了一种新型的程序合成形式，针对ML程序，通过结合LLMs和自动化机器学习（autoML）。具体而言，我们的目标是仅利用ML任务的文本描述，完全自动化地生成和优化整个ML工作流程的代码，从数据准备到建模和后处理。为了管理ML程序的长度和多样性，我们提出将每个ML程序分解成更小、更易管理的部分。每个部分由LLM单独生成，同时仔细考虑它们的兼容性。为了确保兼容性，我们设计了一种ML程序测试技术。与通常依赖于二进制评估（即正确或错误）的传统程序合成不同，评估ML程序需要更多的非二进制判断。因此，我们进一步通过autoML方法对ML程序进行数值评估，并从一系列候选程序中选择最优程序。在各种ML任务的实验中，我们的方法在12个任务中有10个优于现有方法，同时autoML显著提高了生成的ML程序的性能。在实验中，给定文本任务描述，我们的方法Text-to-ML可以在完全自主的过程中生成完整和优化的ML程序。

论文旨在探索一种新型的程序综合方法，利用大型语言模型（LLMs）和自动机器学习（AutoML）相结合，自动生成和优化整个机器学习工作流的代码，从数据准备到建模和后处理，只使用机器学习任务的文本描述。

将机器学习程序分解成更小的部分，由LLMs分别生成，然后使用AutoML方法从候选程序中选择最佳程序，同时设计了一种测试技术以确保它们的兼容性。

论文的实验结果表明，在12个机器学习任务中，该方法在10个任务中优于现有方法，AutoML显著提高了生成的机器学习程序的性能。同时，该方法可以在完全自主的过程中，根据文本任务描述生成完整和优化的机器学习程序。

最近的相关研究包括使用神经网络进行程序综合的研究，以及使用自动机器学习进行程序优化的研究。