Nadine: An LLM-driven Intelligent Social Robot with Affective Capabilities and Human-like Memory

本文描述了我们开发一款智能而稳健的社交机器人系统，应用于Nadine社交机器人平台的方法。我们通过整合大型语言模型(LLMs)，并巧妙地利用这些类型模型的强大推理和指令跟随能力，实现了先进的类人情感和认知能力。与当前最先进的基于LLM的代理程序相比，我们的方法是新颖的，因为它实现了类人的长期记忆和复杂的情感评估。社交机器人的自然性，由多个模块组成，高度依赖于系统的每个组件的性能和能力以及组件的无缝集成。我们构建了一个社交机器人系统，通过多模态输入处理生成适当的行为，相应地带来情节性记忆，并模拟机器人与人类伴侣互动引发的情感状态。特别是，我们引入了一个LLM代理框架，SoR-ReAct，作为我们系统中交互模块的核心组件。这种设计推动了社交机器人的发展，旨在提高人机交互的质量。

本文旨在开发一种智能且稳健的社交机器人系统，解决社交机器人在长期记忆和情感评估等方面的不足。这是否是一个新问题？

本文采用大型语言模型（LLMs）来实现智能社交机器人，通过多模态输入处理、识别用户并带来情感体验等方式，实现了高级人类化的情感和认知能力。相比当前LLM-based agents，本文的关键思路在于实现了人类化的长期记忆和情感评估。

本文介绍了一种名为SoR-ReAct的LLM-agent框架，作为交互模块的核心组件。实验中使用了Nadine社交机器人平台，并开发了一套多模态输入处理、情感体验模拟等系统。本文的亮点在于采用LLMs实现了高级人类化的情感和认知能力，同时开创了智能社交机器人的新领域。

在这个领域中，最近的相关研究包括：1.《A Survey of Social Robots: Concepts, Uses, and Challenges》；2.《Affective Computing and Intelligent Interaction》；3.《Social Robotics: 11th International Conference, ICSR 2019》等。