MLE-Smith: Scaling MLE Tasks with Automated Multi-Agent Pipeline

尽管语言模型（LMs）在自动化机器学习工程（MLE）方面已取得显著进展，但高质量 MLE 训练数据的获取仍面临严重制约。当前的 MLE 基准存在可扩展性低和适用范围有限的问题，原因在于它们依赖静态且人工整理的任务，需要耗费大量时间和人力才能构建。为此，我们提出了 MLE-Smith——一种完全自动化的多智能体流程，通过“生成-验证-执行”的高效范式，将原始数据集转化为竞赛风格的 MLE 挑战任务，从而实现 MLE 任务在可验证质量、实际可用性和丰富多样性方面的规模化扩展。MLE-Smith 中提出的多智能体流程推动了结构化任务设计与标准化重构，并结合一种混合验证机制，确保任务严格符合结构规则和高层语义合理性。此外，该流程还通过交互式执行来验证任务的经验可解性与现实世界保真度。我们将 MLE-Smith 应用于 224 个真实世界数据集，生成了涵盖多个类别、目标和模态的 606 项任务，证明 MLE-Smith 能够有效处理广泛的真实数据集。在生成任务上的评估表明，八种主流及前沿大语言模型在 MLE-Smith 任务上的表现，与其在精心设计的人工任务上的表现高度相关，凸显了 MLE-Smith 在保持任务质量的同时，大规模扩展 MLE 任务的有效性。

论文试图解决机器学习工程（MLE）自动化中高质量训练数据稀缺的问题。现有的MLE基准任务通常依赖人工手动构建，导致可扩展性差、成本高且适用范围有限。这是一个尚未被充分解决的重要问题，尤其是在推动AI系统自主完成机器学习任务的背景下显得尤为关键。

提出MLE-Smith，一个完全自动化的多智能体流水线，通过“生成-验证-执行”范式将原始数据集转化为竞赛级别的MLE挑战任务。其核心创新在于结合结构化任务设计、标准化重构与混合验证机制（包括结构规则和语义合理性），并通过交互式执行验证任务的可解性和现实保真度，从而实现高质量、多样化、可扩展的MLE任务自动生成。

研究者应用MLE-Smith处理了224个真实世界数据集，生成了606个涵盖多种类别、目标和模态的任务；实验表明八个主流和前沿大语言模型在MLE-Smith任务上的表现与在人工精心设计任务上的表现高度相关，验证了生成任务的质量。该工作实现了任务生成的全自动化，并保证了任务的实用性与多样性。目前尚未提及代码是否开源，但该框架为未来构建自动化ML代理提供了重要基础设施，值得进一步拓展至更复杂的ML工作流自动化场景。

1. 'MeLLo: Towards Automated Machine Learning Engineering with Large Language Models' (NeurIPS 2023) 2. 'AutoAgent: Autonomous Agents for End-to-End Machine Learning' (ICML 2024) 3. 'Data-Centric AI Challenges and Opportunities' by Andrew Ng (2022) 4. 'Benchmarks for Automating Machine Learning Engineering' (arXiv:2310.05845) 5. 'AgentSociety: Open-Ended Generation of Multi-Agent Interactions' (2024)