在历史上，我们成功地将各种机器整合到我们的家庭中，如洗碗机、洗衣机、搅拌器和机器人吸尘器等。然而，这些机器只擅长执行单一任务。在家庭中使用“通用机器”——一种能够适应和学习我们需求的家庭助手，同时保持成本效益，一直是机器人技术领域追求的目标。在这项工作中，我们通过引入Dobb-E来推动实现这一目标的大规模努力，这是一个价格实惠且多功能的普适学习机器人系统，适用于家庭环境。Dobb-E只需要用户展示如何执行任务的5分钟，就能学习一项新任务，这得益于我们使用廉价零件和iPhone制作的演示收集工具（“The Stick”）。我们使用The Stick在纽约市的22个家庭中收集了13小时的数据，并训练出家庭预先训练的表示（HPR）。然后，在一个新颖的家庭环境中，通过展示5分钟的演示和15分钟的调整HPR模型，我们展示了Dobb-E可以在市场上随时可得的移动机器人Stretch上可靠地解决任务。在纽约市及周边地区的家庭中进行了约30天的实验，在10个家庭中测试了我们的系统，完成了109个不同环境下的任务，最终获得了81%的成功率。除了成功率之外，我们的实验还揭示了许多实验室机器人中不存在或被忽略的独特挑战，从强阴影的影响到非专业用户的演示质量的变化。希望能够加速家庭机器人的研究，并最终在每个家庭中看到机器人管家，我们在https://dobb-e.com上开源了Dobb-E软件堆栈和模型、我们的数据和硬件设计。

近年来，针对自主航天器相对导航挑战的深度学习技术的研究不断增长。采用这些技术可以提高性能。然而，这种方法也引入了对这些深度学习方法的可信度和安全性的高度担忧，因为它们容易受到对抗性攻击的影响。在这项工作中，我们提出了一种基于可解释性概念的深度神经网络相对位姿估计方案的对抗攻击检测的新方法。我们针对轨道交会场景开发了一种创新的相对位姿估计技术，采用我们提出的卷积神经网络（CNN），它可以从追逐者的机载摄像头拍摄的图像中准确地输出目标的相对位置和旋转。我们使用由快速梯度符号方法（FGSM）生成的对抗性攻击无缝扰动输入图像。然后，基于长短期记忆（LSTM）网络构建了对抗攻击检测器，该检测器采用CNN基于位姿估计器的可解释性度量（即Shapley值），并在执行时标记检测到的对抗攻击。仿真结果表明，所提出的对抗攻击检测器的检测准确度达到了99.21％。深度相对位姿估计器和对抗攻击检测器都在我们设计的实验室环境中进行了测试。实验结果表明，所提出的对抗攻击检测器在平均检测准确度方面达到了96.29％。

机器人辅助手术系统已经展示了在提高手术精度和减少人为错误方面的显著潜力。然而，现有系统缺乏适应个别外科医生的独特偏好和要求的能力。此外，它们主要关注一般手术（例如腹腔镜手术），不适合高度精密的微创手术，例如眼科手术。因此，我们提出了一种基于仿真的图像引导方法，用于针对眼科白内障手术，能够适应个别外科医生的技能水平和首选手术技术的外科医生中心的自主代理。我们的方法利用模拟环境来训练受图像数据引导的强化和模仿学习代理，执行白内障手术切口阶段的所有任务。通过将外科医生的行动和偏好整合到外科医生参与的培训过程中，我们的方法使机器人能够通过演示隐式学习和适应个别外科医生的独特方法。这为外科医生提供了更直观和个性化的手术体验。同时，它确保了自主机器人学徒的一致性表现。我们使用我们提出的度量定义和评估我们的方法的有效性，并强调通用代理和外科医生中心的适应代理之间的权衡。此外，我们的方法具有扩展到其他眼科手术程序的潜力，为外科医生参与的自主手术机器人的新一代打开了大门。我们提供了一个开源仿真框架，以供未来开发和可重复性使用。

四足机器人通过强化学习在各种地形上展现了卓越的机动性。然而，在存在稀疏支撑和风险地形（如跳石和平衡木）的情况下，需要精确的脚部放置来避免跌倒，通常使用基于模型的方法。在本文中，我们展示了端到端的强化学习也可以使机器人通过动态运动穿越风险地形。为此，我们的方法是在杂乱和稀疏的跳石上训练一个敏捷运动的通用策略，然后通过从中微调专家策略，将其可重用的知识转移到各种更具挑战性的地形上。鉴于机器人需要快速适应这些地形上的速度，我们将任务定义为导航任务，而不是常用的速度跟踪，这会限制机器人的行为，并提出了一种探索策略，以克服稀疏的奖励并实现高鲁棒性。我们通过模拟和在ANYmal-D机器人上的实际实验验证了我们提出的方法，实现了在稀疏跳石和狭窄平衡木上达到>=2.5 m/s的最高前进速度。视频链接：youtu.be/Z5X0J8OH6z4。

开发能够快速适应未知野外环境的机器人智能系统是追求自主机器人的重要挑战之一。尽管在腿式机器人的步态稳定性和技能学习方面取得了一些令人印象深刻的进展，但它们的快速适应能力仍然不如自然界中的动物。动物天生具备生存所需的大量技能，并且可以通过将基本技能与有限的经验组合来快速获得新技能。受此启发，我们提出了一种名为机器人技能图（RSG）的新框架，用于组织机器人的大量基础技能并灵活地重复使用它们以实现快速适应。RSG的结构类似于知识图谱（KG），由大量动态行为技能组成，而不是KG中的静态知识，并能够发现存在于机器人学习环境和获得技能之间的隐含关系，为了解机器人技能学习中存在的微妙模式提供了一个起点。广泛的实验结果表明，RSG能够对新任务和环境进行合理的技能推理，并使四足机器人能够快速适应新场景并学习新技能。