AI Research Agents for Machine Learning: Search, Exploration, and Generalization in MLE-bench

AI研究代理正展现出巨大的潜力，通过自动化机器学习模型的设计、实现和训练，加速科学进步。我们重点关注提高代理在MLE-bench上的表现，这是一个具有挑战性的基准测试，代理通过参加Kaggle竞赛来解决实际的机器学习问题。我们将AI研究代理形式化为一种搜索策略，这种策略在一个候选解决方案的空间中进行导航，并使用各种操作符迭代地修改这些方案。通过设计并系统地改变不同的操作符集合和搜索策略（如贪心策略、蒙特卡洛树搜索、进化算法），我们发现它们之间的协同作用对于实现高性能至关重要。在MLE-bench lite上，我们找到的最佳搜索策略与操作符组合达到了最先进的性能水平，使获得Kaggle奖牌的成功率从39.6%提升至47.7%。我们的研究强调了在推进自动化机器学习的过程中，必须综合考虑搜索策略、操作符设计和评估方法三者的重要性。

论文旨在解决如何提升AI研究代理在自动化机器学习（AutoML）任务中的表现，特别是在MLE-bench这一具有挑战性的基准测试中取得更高的Kaggle竞赛奖牌成功率。这是一个当前AutoML领域的重要问题，目标是通过代理来加速科学进步并降低人工参与模型设计和调优的负担。

将AI研究代理形式化为搜索策略，这些策略通过操作符迭代修改候选解决方案，在解空间中进行导航。作者系统地设计和变化不同的操作符集合与搜索策略（如Greedy、MCTS、进化算法），强调策略与操作符之间的协同作用对于高性能至关重要。相比现有研究，该文更深入探讨了搜索策略与操作符组合对结果的影响，并取得了SOTA性能。

{提出了一种新的评估方法，用于分析不同搜索策略与操作符集的相互作用,"实验基于MLE-bench lite数据集，模拟真实世界机器学习问题的复杂性",最佳策略组合显著提升了达到Kaggle奖牌的成功率，从39.6%提升至47.7%,强调了搜索策略、操作符设计和评估方法需联合优化的重要性,论文鼓励未来工作继续探索更复杂的操作符、搜索策略以及更大规模的基准测试}

{"AlphaGo Zero 中使用的蒙特卡洛树搜索（MCTS）策略","AutoGluon: Automated Machine Learning for Tabular Data","Google Vizier: A Service for Black-Box Optimization","Neural Architecture Search (NAS) 相关研究，如 DARTS 和 ENAS","Meta-learning for AutoML, 如 Learning to Learn 框架"}