Robot Learning as an Empirical Science: Best Practices for Policy Evaluation

机器人学习社区近年来取得了巨大进展，提出了新的架构并展示了令人印象深刻的新功能；然而，文献中主要使用的评估指标，特别是针对物理实验的，是“成功率”，即成功运行的百分比。此外，论文通常报告此数字时，很少或根本没有提供有关运行次数、初始条件和成功标准的信息，很少或没有对观察到的行为和失败进行叙述，也很少或没有对结果进行统计分析。在本文中，我们认为为了推动该领域的发展，研究人员应该提供对其方法的细致评估，特别是在评估和比较物理机器人上学习的策略时。为此，我们提出了未来评估的最佳实践：明确报告实验条件，评估几个旨在补充成功率的指标，进行统计分析，并添加对失败模式的定性描述。我们通过对多个操作任务的学习策略进行物理机器人评估来说明这些方法。

提出了一种更全面的评估机器人学习算法的方法，以解决现有评估方法的局限性，特别是在物理实验中的应用。

提出了一系列最佳实践，包括明确报告实验条件、评估多个指标、进行统计分析和添加定性描述，以更全面地评估机器人学习算法。

通过对几个学习策略在物理机器人上的评估，展示了提出的最佳实践的有效性。实验设计详细，提供了开源代码和数据集。

最近的相关研究包括《Benchmarking Reinforcement Learning Algorithms on Real-World Robots》、《A Review of Evaluating the Performance of Deep Learning Algorithms for Robot Vision》等。