ASID: Active Exploration for System Identification in Robotic Manipulation

这段摘要介绍了无模型控制策略（如强化学习）和基于模型的控制技术在实际应用中的优缺点。无模型控制策略可以在不需要准确模型或仿真器的情况下学习控制策略，但由于样本效率低，很难在许多实际领域中实用。相反，基于准确仿真器的模型控制技术可以绕过这些挑战，利用大量廉价的仿真数据学习控制器，并有效地转移到实际环境中。但是，这种基于模型的技术的挑战在于需要极其准确的仿真器，需要指定适当的仿真资源和物理参数，需要人们为每个环境进行大量的设计工作。因此，作者提出了一种学习系统，可以利用少量的实际数据自主完善仿真模型，然后规划准确的控制策略，以在实际环境中部署。该方法关键在于利用一个初始（可能不准确）的仿真器来设计有效的探索策略，当在实际环境中部署时，可以收集高质量的数据。作者在几个具有挑战性的机器人操作任务中展示了这种范例的有效性，包括识别关节、质量和其他物理参数，并说明只需要少量的实际数据就可以实现有效的仿真到实际的转移。该项目的网站为 https://weirdlabuw.github.io/asid。

如何利用少量真实世界数据自动完善模拟器模型并规划可在真实世界中部署的控制策略？

使用初始（可能不准确的）模拟器设计有效的探索策略，当在真实世界中部署时，这些策略可以收集高质量的数据，从而自动完善模拟器模型并规划可在真实世界中部署的控制策略。

论文提出的方法在几个具有挑战性的机器人操作任务中，证明了识别关节、质量和其他物理参数的有效性，并且仅需要少量真实世界数据即可实现有效的模拟到现实世界的转换。

最近的相关研究包括使用增强学习的模型无关控制策略和利用准确模拟器的模型控制技术。