Neural Exploratory Landscape Analysis

Zeyuan Ma ,
Jiacheng Chen ,
Hongshu Guo ,
Yue-Jiao Gong
2024年08月20日
  • 简介
    最近的Meta-Black-Box Optimization(MetaBBO)研究表明,元训练的神经网络可以有效地指导黑盒优化器的设计,显著减少了对专家调优的需求,并在复杂问题分布中提供了稳健的性能。尽管它们取得了成功,但存在一个悖论:MetaBBO仍然依赖于人工设计的探索性地形分析特征,以通知元级代理程序有关低级优化进展的信息。为了解决这个问题,本文提出了神经探索性地形分析(NeurELA),这是一个全新的框架,通过一个两阶段的基于注意力的神经网络动态地分析地形特征,并以完全端到端的方式执行。NeurELA使用多任务神经进化策略在各种MetaBBO算法上进行预训练。广泛的实验表明,当NeurELA集成到不同甚至未见过的MetaBBO任务中时,它能够实现始终优越的性能,并且可以进行高效的微调以进一步提高性能。这一进展标志着MetaBBO算法更加自主和广泛适用的关键一步。NeurELA的源代码可在https://anonymous.4open.science/r/Neur-ELA-303C上访问。
  • 图表
  • 解决问题
    NeurELA论文试图解决MetaBBO算法仍然依赖人类设计的问题,提出一种全新的框架NeurELA,旨在通过动态地分析风景特征,提供更广泛的应用。
  • 关键思路
    NeurELA是一个全新的框架,通过使用两阶段的基于注意力机制的神经网络,动态地分析风景特征,以提供更广泛的应用。它是通过多任务神经进化策略预训练的,并能够在不同的MetaBBO任务中实现更高的性能。
  • 其它亮点
    论文实验设计了多个实验来验证NeurELA的性能,结果表明NeurELA在不同的MetaBBO任务中都能实现更高的性能。此外,论文还提供了开源代码。
  • 相关研究
    在最近的相关研究中,有一些与NeurELA类似的工作,如使用元学习来优化黑盒优化器的研究。其中一些论文的标题包括:“Meta-Learning to Optimize Black-Box Functions”和“Learning to Learn for Global Optimization of Black Box Functions”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论