Diff-BBO: Diffusion-Based Inverse Modeling for Black-Box Optimization

2024年06月30日
  • 简介
    黑盒优化(BBO)旨在通过迭代查询黑盒预测器来优化目标函数。由于函数评估的高计算成本,这个过程要求高效的样本优化。虽然之前的研究集中于正向方法来学习未知目标函数的替代模型,但是在高维输入的情况下,其中有效输入占小空间(例如有效蛋白序列),这在实际任务中很常见,这些研究面临困难。最近,扩散模型展示了在学习高维数据流形方面的出色能力。它们在黑盒优化任务中表现出有希望的性能,但只适用于离线设置。在这项工作中,我们提出了基于扩散的黑盒优化反向建模(Diff-BBO),这是第一种利用扩散模型进行在线BBO问题的反向方法。Diff-BBO通过设计获取函数来区别于正向方法。Diff-BBO采用新颖的获取函数“不确定性感知探索”(UaE)来提出目标函数值,该函数利用条件扩散模型的不确定性在设计空间中生成样本。理论上,我们证明使用UaE会导致最优的优化结果。实证上,我们重新设计了在线设置的Design-Bench基准实验,并展示了Diff-BBO达到了最先进的性能水平。
  • 图表
  • 解决问题
    Diff-BBO:使用扩散模型的反向建模进行黑盒优化
  • 关键思路
    Diff-BBO是一种使用扩散模型的反向建模方法,通过不断查询黑盒预测模型来优化目标函数。它采用新颖的采集函数UaE来提出目标函数值,利用条件扩散模型的不确定性在设计空间中生成样本。
  • 其它亮点
    论文提出了Diff-BBO,这是一种使用扩散模型的反向建模方法,旨在通过不断查询黑盒预测模型来优化目标函数。Diff-BBO采用新颖的采集函数UaE来提出目标函数值,利用条件扩散模型的不确定性在设计空间中生成样本。论文在Design-Bench基准测试中重新设计了实验,并展示了Diff-BBO的最新性能。
  • 相关研究
    先前的研究集中在前向方法中学习未知目标函数的替代方法,但在高维输入的情况下效果不佳。最近,扩散模型在学习高维数据流形方面表现出了令人印象深刻的能力。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论