LICO: Large Language Models for In-Context Molecular Optimization

优化黑盒函数是科学和工程中的一个基本问题。为了解决这个问题，许多方法学习一个代理函数，从有限的历史评估中估计潜在的目标。大型语言模型（LLM）通过在大量数据上进行预训练的强大模式匹配能力，成为代理建模的潜在候选者。然而，在许多科学领域中，直接提示预训练语言模型产生预测是不可行的，因为预训练语料库中缺乏特定领域的数据，并且表达复杂问题的挑战。在这项工作中，我们介绍了LICO，这是一个通用模型，它扩展了任意基础LLM用于黑盒优化，特别适用于分子领域。为了实现这一点，我们为语言模型配备了一个独立的嵌入层和预测层，并训练模型在定义在该领域上的各种函数上执行上下文预测。一旦训练完成，LICO可以通过上下文提示简单地推广到未见过的分子属性。LICO在PMO上取得了最先进的性能，这是一个具有挑战性的分子优化基准，包括20多个目标函数。

LICO试图解决黑盒优化问题，即通过学习一个代理函数来估计潜在的目标函数，从而实现优化。同时，LICO还试图解决在科学领域中，由于预训练数据中缺乏特定领域的数据和自然语言难以表达复杂问题的挑战。

LICO扩展了基于预训练的大型语言模型，通过添加嵌入层和预测层，让模型能够处理特定领域的黑盒优化问题。在训练过程中，LICO通过在多个函数上进行上下文预测来进行训练，并可以通过上下文提示来推广到未见过的分子属性。

LICO在PMO分子优化基准测试中取得了最先进的性能，包括20多个目标函数。它还使用了一些技术来加速训练，例如使用了缓存机制来减少计算成本，并使用了分布式训练来加速训练过程。此外，LICO还提供了开源代码和数据集。

最近的相关研究包括使用深度学习方法来解决黑盒优化问题，例如使用神经网络来建立代理模型。此外，还有一些研究探索如何将自然语言处理技术应用于科学领域中的优化问题。