Multi-Agent Imitation Learning: Value is Easy, Regret is Hard

本文研究了一个多智能体模仿学习（MAIL）问题，其中我们从一个学习者的角度出发，试图协调一组智能体，基于专家的演示来实现。先前的MAIL研究主要是将问题简化为在演示支持范围内匹配专家的行为。虽然这样做可以使得在非策略性智能体的假设下，学习者和专家之间的价值差为零，但它并不能保证对策略性智能体的偏离具有鲁棒性。直观地说，这是因为策略性偏差可能取决于一个反事实的数量：协调者的建议在他们的建议引起的状态分布之外。因此，我们开始研究MAIL在马尔可夫博弈中的另一种目标，称为后悔差，它明确考虑了组内智能体的潜在偏差。首先，我们深入探讨了价值差和后悔差之间的关系。我们首先表明，虽然可以通过单智能体IL算法的直接扩展来有效地最小化价值差，但即使价值等价也可能导致任意大的后悔差。这意味着在MAIL中实现后悔等价比实现价值等价更困难。然后，我们提供了一对有效的规约到无后悔在线凸优化，能够最小化后悔差（a）在专家覆盖假设下（MALICE）或（b）在访问可查询的专家的情况下（BLADES）。

本论文旨在解决多智能体模仿学习（MAIL）中的协调问题，该问题涉及到智能体之间的策略协调和对策略偏离的鲁棒性。与现有的MAIL方法不同，本文提出了一种新的目标函数——悔恨差，以显式地考虑智能体策略偏离的可能性。

本文提出了一种新的目标函数——悔恨差，它可以显式地考虑智能体策略偏离的可能性。同时，本文提供了两种有效的方法来最小化悔恨差。

本文首先探讨了价值差和悔恨差之间的关系，发现即使价值等价，悔恨差也可能无限大。因此，实现悔恨等价比实现价值等价更难。本文提出的两种方法分别是MALICE和BLADES。此外，本文还提供了实验结果，证明了这两种方法的有效性。

与该论文相关的研究包括：《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》、《Multi-agent imitation learning for driving》等。