MIT CSAIL:Julian Alverio | 查询Agent：通过认知不确定性估计提高样本效率

【标题】Query The Agent: Improving sample efficiency through epistemic uncertainty estimation

【作者团队】Julian Alverio, Boris Katz, Andrei Barbu

【发表日期】2022.10.5

【论文链接】https://arxiv.org/pdf/2210.02585.pdf

【推荐理由】目标条件强化学习智能体的课程通常依赖于对智能体认知不确定性的较差估计，或者未能完全考虑智能体认知不确定，从而导致样本效率较差。本文提出了新算法，即查询Agent（QTA），该算法通过估计整个状态空间中Agent的认知不确定性并在高度不确定的区域中设置目标，显著提高了样本效率。鼓励智能体在高度不确定的状态下收集数据允许智能体快速改进其对价值函数的估计。QTA利用一种新的估计认知不确定性的技术，即预测不确定性网络（PUN），允许QTA在所有先前观察到的状态下评估主体的不确定性。研究表明，与现有方法相比，QTA提供了决定性的样本效率改进。