ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data

音频信号通过接触为机器人交互和物体属性提供丰富的信息。当视觉信息单独不明确或不完整时，这些信息可以出奇地简化接触丰富的机器人操作技能的学习。然而，机器人操作中音频数据的使用一直受到限制，只能通过将麦克风连接到机器人或物体上收集远程操作演示来收集数据，这显著限制了它在机器人学习流程中的使用。在本文中，我们介绍了ManiWAV：一种“手中有耳”的数据收集设备，可收集带有同步音频和视觉反馈的野外人类演示，并提供相应的策略接口，直接从演示中学习机器人操作策略。我们通过四个接触丰富的操作任务展示了我们系统的能力，这些任务需要 passively sensing 接触事件和模式，或 actively sensing 物体表面材料和状态。此外，我们展示了我们的系统可以从多样的野外人类演示中学习，从而推广到未见过的野外环境。项目网站：https://mani-wav.github.io/

论文旨在解决机器人学习中使用音频数据的问题，通过设计一种数据采集设备和相应的策略接口，从人类示范中直接学习机器人操作技能。

ManiWAV是一种“耳朵在手中”的数据采集设备，可以收集同步的音频和视觉反馈。该设备可以用于学习需要接触的机器人操作技能，可以被广泛应用于机器人学习流程中。

论文通过四个接触丰富的操作任务展示了ManiWAV的能力，这些任务需要被动感知接触事件和模式，或者主动感知物体表面材料和状态。此外，论文还展示了ManiWAV可以从不同的人类示范中学习，并在不同的野外环境中进行泛化。

最近的相关研究包括使用音频数据进行机器人操作技能学习的研究，以及使用其他传感器进行机器人操作技能学习的研究。其中一些研究的论文标题包括：“Learning Robot Manipulation Skills with Audio Feedback”和“Learning Manipulation Skills using Vision and Tactile Sensing”。