Generalisable Agents for Neural Network Optimisation

优化深度神经网络是一项具有挑战性的任务，因为训练动态复杂、计算需求高、训练时间长。为解决这一难题，我们提出了“神经网络优化通用智能体”（GANNO）框架——一种多智能体强化学习（MARL）方法，通过在训练过程中动态、响应式地调度超参数来学习改进神经网络优化。GANNO利用每个层的智能体观察局部网络动态，并相应地采取行动来调整这些动态，从而在层次上共同提高全局性能。在本文中，我们使用GANNO来控制层次学习率，并展示该框架可以产生有用且响应灵敏的调度，与手工启发式方法相比具有竞争力。此外，GANNO在各种未见过的初始条件下表现出稳健性，并且能够成功地推广到比其训练更困难的问题上。我们的工作概述了这种范式在训练神经网络方面所提供的机会，以及仍需克服的关键挑战。

论文旨在解决深度神经网络优化的复杂性问题，提出了一种基于多智能体强化学习的框架GANNO，用于动态调整超参数以提高全局性能。

GANNO框架使用每个层的智能体观察局部网络动态并相应地采取行动，以在层级上调整这些动态以共同提高全局性能。在本文中，GANNO用于控制层级学习率，并展示了该框架可以产生有用且响应灵敏的调度，与手工启发式方法相竞争。此外，GANNO在各种未见过的初始条件下表现出鲁棒性，并且可以成功地推广到比其训练难的问题。

该论文提出了一种基于多智能体强化学习的框架GANNO，用于动态调整深度神经网络的超参数，以提高全局性能。实验结果表明，GANNO框架可以产生有用且响应灵敏的调度，与手工启发式方法相竞争。此外，GANNO表现出鲁棒性，并且可以成功地推广到比其训练难的问题。

最近的相关研究包括使用强化学习优化深度神经网络超参数的其他方法，如RL2和PPO-HD。此外，还有一些研究关注于使用自适应学习率的优化算法，如Adam和RMSProp。