Primitive Agentic First-Order Optimization

高效的数值优化方法可以提高性能，减少计算在许多应用中的环境影响。本研究提出了一个概念验证研究，将原始状态表示和代理-环境交互作为一阶优化器结合起来，应用于预算受限的优化设置中。通过针对一个优化问题类的一组训练实例进行强化学习（RL），在通常制定的低维部分状态表示中近似地确定了用于算法迭代步骤的顺序更新选择的最优策略，该表示考虑了进展和资源使用方面的因素。对于研究案例，将训练代理部署到未见过的二次优化问题类实例中，优于具有优化超参数的传统最优算法。结果表明，基本的RL方法与简洁的部分状态表示相结合，可以用作RL优化中管理复杂性的启发式方法，为代理优化方法铺平了道路。

基于强化学习的优化方法在预算有限的情况下如何提高性能并减少计算对环境的影响？这是否是一个新问题？

通过强化学习和部分状态表示相结合，将智能体-环境交互作为一阶优化器，实现预算有限的优化。通过训练一组优化问题实例，近似求解顺序更新选择算法迭代步骤的最优策略，从而在低维部分状态表示中考虑进展和资源使用方面，提高性能。

该论文通过实验验证了基于强化学习的优化方法在预算有限的情况下可以提高性能并减少计算对环境的影响。实验结果表明，基于强化学习的优化方法在处理复杂问题时具有较好的效果，这为智能化的优化方法提供了新的思路。

最近的相关研究包括： 1. Reinforcement Learning for Solving the Vehicle Routing Problem with Time Windows 2. A Reinforcement Learning Approach to the Quadratic Assignment Problem 3. Reinforcement Learning for Combinatorial Optimization: A Tutorial