许多机器人操作任务可以被视为几何推理任务，代理人必须能够精确地将一个物体操作到满足任务的位置，从一组初始条件开始。通常，任务成功是基于两个物体之间的关系定义的，例如将杯子挂在架子上。在这种情况下，解决方案应该对物体的初始位置以及代理人具有等变性，并且对相机的姿态具有不变性。这对于试图通过直接从高维演示中学习来解决此任务的学习系统构成了挑战：代理人必须学会既具有等变性又具有精度，这在没有关于问题的归纳偏差的情况下可能是具有挑战性的。在这项工作中，我们提出了一种精确的相对姿态预测方法，该方法可以被证明是SE(3)等变的，可以仅从少量演示中学习，并且可以跨越一类物体的变化进行泛化。我们通过将问题分解为学习场景的SE(3)不变的任务特定表示，然后使用新的几何推理层来解释这个表示，这些层可以被证明是SE(3)等变的，来实现这一点。我们证明，我们的方法可以在模拟放置任务中产生比以前使用相同数量数据训练的方法更精确的放置预测，并且可以准确地表示从真实世界演示中收集的相对放置关系数据。补充信息和视频可以在https://sites.google.com/view/reldist-iclr-2023找到。

模仿学习是训练机器人控制策略的一种有前途的范式，但这些策略可能会遭受分布偏移的影响，即评估时的条件与训练数据中的条件不同。增加策略对分布偏移的鲁棒性的一种流行方法是交互式模仿学习（即DAgger和变体），在此过程中，人类操作员在策略实施过程中提供纠正性干预。然而，收集足够数量的干预来覆盖策略错误的分布可能会对人类操作员造成负担。我们提出了IntervenGen（I-Gen），这是一种新颖的数据生成系统，可以自主地从少量人类干预中产生大量纠正性干预，覆盖状态空间。我们将I-Gen应用于4个模拟环境和1个具有物体姿态估计误差的物理环境，并表明它可以在仅有10次人类干预的情况下将策略的鲁棒性提高多达39倍。视频和更多结果可在https://sites.google.com/view/intervengen2024上获得。

集体决策使得多机器人系统能够在真实环境中自主行动。现有的集体决策机制存在所谓的速度与准确性权衡或依赖于高复杂度，例如包括全局通信。最近的研究表明，利用进化计算方法可以生成基于人工神经网络的更有效的集体决策机制。这些决策神经网络的主要缺点是它们的解释能力有限。分析进化的决策机制可以帮助我们提高手工编码决策机制的效率，同时保持更高的解释能力。在本文中，我们详细分析了进化的集体决策机制，并基于所得的见解手工编码了两种新的决策机制。在基准实验中，我们展示了新实现的集体决策机制比最先进的集体决策机制投票模型和多数规则更加高效。

本文旨在实现受自然启发的复杂结构的功能复制和驱动，这是人类长期以来的目标。通过结合软硬特征，并使用人工肌肉来驱动这些复杂结构，可以进一步增进我们对自然运动结构的理解。我们通过单次打印过程打印出一只仿生手，包括刚性骨架、软性关节囊、肌腱和打印触摸传感器，并展示了它使用电动机的驱动。在这项工作中，我们通过添加一只前臂，该前臂也是紧密模拟人体解剖学而制成，并用22个独立控制的气动人工肌肉（PAM）替换了手部的电动机。我们的薄型高应变（高达30.1%）PAM与最先进的人工肌肉的性能相当，但成本更低。该系统展示了类人的灵活性，具有独立的手指运动，能够成功地抓取各种物体，从小巧轻便的硬币到重达272克的大罐头。基于指尖和抓握力以及手指关节运动范围的性能评估突显了该系统的潜力。

我们考虑一个配备多个传感器的自主代理问题，每个传感器具有不同的感知精度和能源成本。代理的目标是在未知的、部分可观测的环境中，在资源约束条件下探索环境并收集信息。挑战在于在考虑代理的资源和动态约束的同时，推理出感知和移动的影响。我们将问题制定为轨迹优化问题，并使用基于投影的轨迹优化方法来解决，其中目标是减少高斯过程世界信念的方差。我们的方法在长时间轨迹中表现优于以前的方法，可以实现总体方差减少高达85％，并将环境信念的均方根误差减少50％。这种方法是为支持NASA VIPER任务中的漫游器路径规划而开发的。

大多数视觉SLAM系统在动态场景下不够稳健。那些处理场景中动态物体的系统通常依赖于基于深度学习的方法来检测和过滤这些物体。然而，这些方法无法处理未知的移动物体。本文介绍了Panoptic-SLAM，这是一个开源的视觉SLAM系统，即使在存在未知物体的情况下，也能在动态环境中保持稳健。它使用全景分割来在状态估计过程中过滤动态物体。Panoptic-SLAM基于ORB-SLAM3，这是一个用于静态环境的最先进的SLAM系统。我们使用真实世界的数据集进行了实现测试，并与文献中的几个最先进的系统进行了比较，包括DynaSLAM、DS-SLAM、SaD-SLAM、PVO和FusingPanoptic。例如，Panoptic-SLAM的平均精度比PVO高四倍，后者是最新的基于全景的视觉SLAM方法。此外，我们使用带有RGB-D相机的四足机器人进行了实验，以测试我们的方法在实际场景中的适用性。这些测试是通过运动捕捉系统创建的基准进行验证的。

我们描述了一个使用自然语言设计状态抽象以进行模仿学习的框架。在高维观测空间中进行可推广的策略学习需要精心设计的状态表示，这些状态表示可以展示环境的重要特征并隐藏不相关的特征。这些状态表示通常是手动指定的，或者是从其他费力的标记过程中派生出来的。我们的方法LGA（语言引导抽象）结合了自然语言监督和语言模型的背景知识，自动构建针对未见任务量身定制的状态表示。在LGA中，用户首先以自然语言提供目标任务的（可能不完整的）描述；接下来，预训练的语言模型将此任务描述转换为状态抽象函数，该函数遮盖了不相关的特征；最后，使用少量演示和LGA生成的抽象状态训练模仿策略。在模拟机器人任务上的实验表明，LGA产生的状态抽象类似于人类设计的状态抽象，但时间只需人类设计的一小部分，并且这些抽象可以提高在存在虚假相关性和模糊规范的情况下的泛化性和鲁棒性。我们在Spot机器人上的移动操作任务中展示了学习到的抽象的实用性。

这个视觉世界提供了丰富的信息，但许多输入像素通常包含分散注意力的刺激。自主智能体需要有区分有用信息和任务无关感知的能力，使它们能够推广到具有新干扰的未见环境。现有的研究方法使用数据增强或具有附加损失函数的大型辅助网络来解决这个问题。我们介绍了一种新算法MaDi，它仅通过奖励信号学习屏蔽干扰的能力。在MaDi中，深度强化学习智能体的传统演员-评论家结构补充了一个小的第三个兄弟-遮罩器。这个轻量级神经网络生成一个遮罩来确定演员和评论家将接收什么，以便它们可以专注于学习任务。这些遮罩是根据当前输入动态创建的。我们在DeepMind控制泛化基准测试、Distracting控制套件和真实的UR5机械臂上进行了实验。我们的算法通过有用的遮罩改善了智能体的注意力，而其高效的遮罩器网络仅增加了原始结构的0.2%的参数，与之前的工作形成了对比。MaDi始终实现了比现有最先进方法更好或相当的泛化结果。

Humanoid-Gym是一个易于使用的强化学习（RL）框架，基于Nvidia Isaac Gym，旨在训练人形机器人的运动技能，强调从模拟到真实环境的零-shot转移。Humanoid-Gym还将Isaac Gym到Mujoco的sim-to-sim框架集成在一起，允许用户在不同的物理模拟中验证训练好的策略，以确保策略的稳健性和泛化性。该框架在RobotEra的XBot-S（1.2米高的人形机器人）和XBot-L（1.65米高的人形机器人）中在真实环境中进行了验证，实现了零-shot sim-to-real转移。该项目的网站和源代码可以在https://sites.google.com/view/humanoid-gym/找到。

从示范学习是用户教授机器人的常见方式，但容易出现虚假特征相关性。最近的研究使用语言构建状态抽象，即包含任务相关特征的视觉表示，以进行更通用的学习。然而，这些抽象也取决于用户对任务中重要性的偏好，这可能很难用语言描述或仅用语言无法详尽说明。我们如何构建抽象来捕捉这些潜在的偏好呢？我们观察到人类的行为方式揭示了他们如何看待世界。我们的关键洞察力是，人类行为的变化告诉我们，他们对看待世界的偏好有所不同，即他们的状态抽象。在这项工作中，我们提出使用语言模型(LMs)直接查询这些偏好，因为我们知道行为发生了变化。在我们的框架中，我们使用LM的两种方式：首先，给定任务的文本描述和状态之间的行为变化的知识，我们查询LM以获取可能的隐藏偏好；其次，给定最可能的偏好，我们查询LM以构建状态抽象。在这个框架中，当LM不确定自己的估计时，它也能直接向人类提问。我们在模拟实验、用户研究以及在执行移动操作任务的真实Spot机器人上展示了我们的框架构建有效的偏好条件抽象的能力。