Less is more -- the Dispatcher/ Executor principle for multi-task Reinforcement Learning

人类在面对复杂的决策问题时，本能地知道如何忽略细节，特别是在环境变化不可预见的情况下。这种抽象过程似乎是大多数生物系统的重要特性，并有助于“抽象掉”不必要的细节并提高泛化能力。在本文中，我们介绍了多任务强化学习控制器设计的调度程序/执行程序原则。它建议将控制器分为两个实体，一个理解任务（调度程序）和一个计算特定设备的控制（执行程序），并通过强正则化的通信通道将它们连接起来。这篇论文的核心基本原理是，改变结构和设计原则可以提高泛化特性并极大地增强数据效率。在某种程度上，这是对当前使用大量数据训练的大型神经网络并押注于新兴泛化特性的趋势的“是的，还有...”回应。虽然我们同意缩放的力量-就像Sutton的“苦涩教训”一样-但我们将提供一些证据，即考虑结构并添加设计原则可能是一种宝贵且关键的组成部分，特别是当数据不充足且无限时，而是一种宝贵的资源。

设计一种多任务强化学习控制器，以提高泛化能力和数据效率。

将控制器分为两个实体：理解任务的调度程序和计算特定设备控制的执行程序，并通过强正则化通信通道连接这两个实体。这种分离设计可以提高泛化能力和数据效率。

论文提供了一种新的思路，通过结构变化和设计原则来提高多任务强化学习控制器的性能，特别是在数据有限的情况下。实验结果表明，分离设计可以提高泛化能力和数据效率。论文还讨论了当前趋势和研究中存在的问题。

相关研究包括使用大型神经网络和海量数据进行训练以提高泛化能力的方法。