【标题】Admissible Policy Teaching through Reward Design

【作者团队】Kiarash Banihashem, Adish Singla, Jiarui Gan, Goran Radanovic

【发表日期】2022.1.6

【论文链接】https://arxiv.org/pdf/2201.02185.pdf

【推荐理由】本文研究了奖励设计策略，以激励强化学习智能体从一组可接受的策略中采用一个策略。奖励设计者的目标是经济高效地修改底层奖励函数，同时确保新奖励函数下的任何近似最优确定性策略都是可接受的，并且在原始奖励函数下表现良好。该问题可以看作是最优奖励中毒攻击问题的对偶问题：奖励设计者不是强迫代理采用特定策略，而是激励代理避免采取在某些状态下不允许的行为。与最优奖励中毒攻击的问题相比，本文首先证明了可接受的策略教学的奖励设计问题在计算上具有挑战性，并且很难找到一个近似最优的奖励修改。然后，通过制定替代问题继续进行，其最优解近似于本文环境中奖励设计问题的最优解，但更适合优化技术和分析。对于该智能体问题，本文提出的表征结果提供了最优解值的界限。最后，通过设计了一种局部搜索算法来解决代理问题，并使用基于模拟的实验展示其实用性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除