Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models

自动启发式设计（AHD）因其自动开发有效启发式的潜力而受到广泛关注。最近，大型语言模型（LLM）的出现为AHD开辟了一条新途径，最初的努力集中在将AHD框架化为进化程序搜索（EPS）问题。然而，不一致的基准设置，不充分的基准线以及缺乏详细的组件分析使得将LLMs与搜索策略集成以及现有基于LLM的EPS方法所取得的真正进展不足以证明。本研究旨在通过进行大规模基准测试来满足这些研究问题，包括四种基于LLM的EPS方法和四个AHD问题，涵盖九个LLM和五个独立运行。我们的广泛实验提供了有意义的见解，为基于LLM的AHD方法中进化搜索的重要性提供了实证基础，同时也有助于未来EPS算法的发展。为了促进可访问性和可重复性，我们已经完全开源了我们的基准测试和相应的结果。

自动启发式设计（AHD）在自动开发有效启发式方法方面具有潜在价值。最近，大型语言模型（LLMs）为AHD开辟了一条新途径，初步工作集中在将AHD作为进化程序搜索（EPS）问题。然而，不一致的基准设置、不足的基准和缺乏详细的组件分析使得整合LLMs和搜索策略的必要性以及现有基于LLMs的EPS方法取得的真正进展得不到充分的证明。本文通过在九个LLMs和五个独立运行中进行的四个LLM-based EPS方法和四个AHD问题的大规模基准测试来解决这些研究问题。我们的实验提供了有意义的见解，为LLM-based AHD方法中进化搜索的重要性提供了实证基础，同时也为未来EPS算法的发展做出了贡献。为了促进可访问性和可重复性，我们已经完全开源了我们的基准测试和相应结果。

本文使用大型语言模型（LLMs）在自动启发式设计（AHD）中进行进化程序搜索（EPS）问题的解决方案。通过大规模基准测试，论文提供了实证基础，证明了在LLM-based AHD方法中进化搜索的重要性。

本文进行了大规模基准测试，涉及四个LLM-based EPS方法和四个AHD问题，使用了九个LLMs和五个独立运行。实验结果可用于未来EPS算法的发展。本文开源了基准测试和相应结果，促进了可访问性和可重复性。

最近在这个领域中，还有一些相关研究，例如“Automated Heuristic Design Using Deep Neural Networks: A Survey and Some New Directions”、“Theoretical Foundations of Evolutionary Algorithms and Randomized Search Heuristics”。