EgoLife: Towards Egocentric Life Assistant

我们介绍了EgoLife项目，该项目旨在开发一种以自我为中心的生活助手，通过AI驱动的可穿戴眼镜来陪伴和提升个人效率。为了为此助手奠定基础，我们进行了一项全面的数据收集研究，六名参与者共同生活了一周，使用AI眼镜持续记录他们的日常活动——包括讨论、购物、烹饪、社交和娱乐——进行多模态第一人称视频捕捉，并同步录制第三人称视角的参考视频。这一努力产生了EgoLife数据集，这是一个包含300小时的第一人称、人际互动、多视角和多模态日常生活数据集，并进行了密集标注。基于此数据集，我们推出了EgoLifeQA，这是一套面向生活的问答任务，旨在通过回答实际问题（如回忆过去的相关事件、监测健康习惯以及提供个性化建议）为日常生活提供有意义的帮助。为了解决关键的技术挑战，即（1）开发稳健的视听模型用于第一人称数据，（2）实现身份识别，以及（3）支持长时间上下文的问答，我们引入了EgoButler系统，该系统由EgoGPT和EgoRAG组成。EgoGPT是一个在第一人称数据集上训练的全模态模型，在第一人称视频理解方面达到了最先进的性能。EgoRAG是一个基于检索的组件，支持回答超长时间上下文的问题。我们的实验研究验证了它们的工作机制，并揭示了关键因素和瓶颈，指导未来的改进。通过发布我们的数据集、模型和基准测试，我们希望进一步推动以自我为中心的AI助手的研究。

该论文试图开发一个名为EgoLife的项目，旨在通过AI驱动的可穿戴眼镜提升个人效率。具体来说，它解决了如何创建一个能理解并协助日常生活的AI助手的问题，特别是针对长上下文的理解、身份识别和多模态数据处理等挑战。这是一个相对较新的问题，尤其是在将这些技术集成到日常生活中。

关键思路在于利用一个综合性的EgoLife Dataset，该数据集包含300小时的以第一人称视角录制的日常生活视频，并结合第三方视角视频参考。基于此数据集，研究团队开发了EgoButler系统，其中包括EgoGPT（一种用于理解第一人称视角视频的全模态模型）和EgoRAG（一个支持回答长时间跨度问题的检索增强组件）。这种方法的新颖之处在于它不仅关注视觉和音频模型的改进，还特别强调了长时间段信息处理的能力。

论文的亮点包括：1) 创建了一个前所未有的大规模、多视角、多模态的日常活动数据集；2) 开发了两个重要组件EgoGPT和EgoRAG，显著提升了对复杂场景和长时间序列数据的理解能力；3) 实验验证了这些方法的有效性，并指出了进一步改进的方向；4) 所有数据集、模型和基准测试均已公开，促进了后续研究的发展。

最近在这个领域中，相关研究还包括： - 'Epic-Kitchens: Egocentric Video Dataset for Action Recognition and Understanding'，专注于厨房环境中的动作识别。 - 'First-Person Activity Recognition: What Are They Doing to Whom?'，探讨了第一人称视角下的活动识别。 - 'Long-term Person Re-identification in Egocentric Videos'，研究了在长时间的第一人称视频中的人再识别问题。 这些研究共同推动了第一人称视角计算的进步，但EgoLife更进一步，整合了多种功能来提供全面的生活辅助。