Robustness Testing of Multi-Modal Models in Varied Home Environments for Assistive Robots

目前，支持家庭任务的辅助机器人代理的开发正在不断推进，但其基础模型通常在虚拟环境中运行，这些环境并不能反映现实世界的复杂性。为了使辅助护理机器人在多样化的环境中发挥作用，它们的模型必须是稳健的，并集成多种模式。例如，在昏暗的房间中需要帮助的看护人或是在新安装的玻璃门周围导航的机器人。仅依赖视觉输入的模型可能会在光线不足时失效，而使用深度信息的模型则可以避开玻璃门。这表明需要能够处理各种感官输入的模型。我们正在进行的研究在AI2Thor虚拟环境中评估最先进的机器人模型。我们引入了干扰，例如降低光照和镜面墙，以评估其对运动或视觉以及物体识别等模式的影响。我们的目标是收集老年机器人社区的意见，以了解和模拟从业人员所面临的挑战。

本论文旨在评估当前家庭助理机器人模型在处理多模态输入时的鲁棒性，以便在真实环境中实现其有效性。

通过在AI2Thor虚拟环境中引入不同的干扰因素，评估模型对于运动、视觉和物体识别等多种输入模态的处理能力。

实验设计了多种干扰因素，如昏暗的光线和镜面墙，以评估模型的鲁棒性。同时，通过对Geriatronics社区的调研，理解实际应用中的挑战。论文提供了开源代码和数据集。

最近的相关研究包括：'Multimodal Sensor Fusion in Robotics: A Comprehensive Survey'、'Robust Multimodal Cognitive Load Measurement Using Wearable Sensors'等。