【标题】MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning（MORAL：通过多目标强化主动学习使人工智能与人类规范保持一致）

【作者团队】 Markus Peschl, Arkady Zgonnikov, Frans A. Oliehoek, Luciano C. Siebert。Delft University of Technology。

【发表日期】30 December, 2021

【论文链接】https://arxiv.org/pdf/2201.00012.pdf

【推荐理由】从演示和成对偏好中推断奖励函数是使强化学习（RL）代理与人类意图相一致的好方法。然而，最先进的方法通常侧重于学习单个奖励模型，因此很难权衡来自多个专家的不同奖励函数。本文提出了多目标强化主动学习（MORAL），这是一种将社会规范的不同演示组合成帕累托最优策略的新方法。通过维持标度化权重的分布，本文的方法能够交互式地根据各种偏好调整深度RL代理，同时消除计算多个策略的需要。文章在两个场景中实证证明了道德的有效性，这两个场景分别模拟了一个交付和一个紧急任务，该任务要求代理人在规范冲突存在时采取行动。总体而言，本文的研究迈向多目标RL与学习奖励，弥补目前的奖励学习和机器伦理文献之间的差距。

内容中包含的图片若涉及版权问题，请及时与我们联系删除