Evolution Transformer: In-Context Evolutionary Optimization

进化优化算法通常来源于松散的生物类比，难以利用在优化过程中获得的信息。另一种有前途的方法是利用数据，通过元优化直接发现强大的优化原则。在本文中，我们遵循这样的范例，引入了一种因果Transformer架构——Evolution Transformer，它可以灵活地描述一系列进化策略。给定一组评估轨迹和搜索分布统计信息，Evolution Transformer输出一个性能提高的搜索分布更新。该架构强加了一组适当的归纳偏差，即在一代中的种群成员顺序不变和对搜索维度顺序的等变性。我们使用进化算法蒸馏训练模型权重，这是一种使用教师算法轨迹对序列模型进行监督优化的技术。所得模型表现出强大的上下文优化性能，并显示出对其他具有挑战性的神经进化任务的强大泛化能力。我们分析了Evolution Transformer的性质，并提出了一种技术，可以从随机初始化开始完全自我参照地训练Evolution Transformer，并启动其自己的学习进程。我们提供了一个开源实现，网址为https://github.com/RobertTLange/evosax。

论文旨在通过元优化的方式，利用数据直接发现强大的优化原则，提出一种能够灵活表征一类进化策略的因果Transformer架构，以解决进化优化算法中难以利用顺序信息的问题。

Evolution Transformer是一种因果Transformer架构，可以利用进化过程中的评估轨迹和搜索分布统计信息，输出性能提升的搜索分布更新，从而灵活表征一类进化策略。论文采用进化算法蒸馏技术，训练模型权重，使模型在特定优化环境下表现出较强的性能，并具有较强的泛化能力。

论文提出了一种新的元优化方法，使用进化算法蒸馏来训练模型权重，实现了强大的优化性能和泛化能力。作者提供了开源实现，并在多个神经进化任务中进行了实验验证。论文提出了一种自我引用训练技术，可以从随机初始化开始，引导模型自己学习进化优化过程。值得继续深入研究。

近期在这个领域中，还有一些相关的研究，如MetaES、ES-MAML、Reptile等。