Position: Leverage Foundational Models for Black-Box Optimization

毫无疑问，大型语言模型（LLMs）在机器学习研究领域引起了一场非凡的创新浪潮，对强化学习、机器人和计算机视觉等不同领域产生了重大影响。它们的应用是快速和变革性的，标志着机器学习研究领域的重大范式转变。然而，基于黑盒优化的实验设计领域受到这种范式转变的影响要小得多，尽管将LLMs与优化相结合呈现了一个独特的、值得探索的景观。在这篇立场论文中，我们将基于序列的基础模型作为黑盒优化领域的框架，并组织它们与先前文献的关系。我们讨论了基础语言模型可以革命性地改变优化的最有前途的方式，包括利用自由文本中封装的大量信息来丰富任务理解，利用高度灵活的序列模型（如Transformer）来设计更优秀的优化策略，并提高对以前未见过的搜索空间的性能预测。

本文旨在探索将基础语言模型与黑盒优化相结合的可能性，以提高优化策略的性能预测和任务理解能力。这是一个新的问题领域。

本文提出了利用自由文本中蕴含的丰富信息来丰富任务理解、利用高度灵活的序列模型（如Transformer）来设计优化策略、提高对未知搜索空间的性能预测等方案，以实现基础语言模型与黑盒优化的结合。

本文还探讨了基础语言模型在黑盒优化中的应用前景，并提出了多种可能的研究方向。作者还使用了多个数据集进行实验验证，并提供了开源代码。

近期的相关研究包括：1.《Neural Optimizer Search with Reinforcement Learning》；2.《Learning to Optimize》；3.《Meta-Learning for Black-Box Optimization》等。