Human-Centered LLM-Agent User Interface: A Position Paper

大型语言模型（LLM）-在环路应用已被证明能够有效地解释人类用户的命令，制定计划并相应地操作外部工具/系统。然而，LLM代理的操作范围仅限于被动地跟随用户，需要用户根据底层工具/系统来构造自己的需求。我们注意到，LLM代理用户界面（LAUI）的潜力要大得多。一个对底层工具/系统大多数不了解的用户应该能够使用LAUI来发现新的工作流程。与传统的设计可探索的图形用户界面（GUI）以教授用户预定义的使用系统的方式相反，在理想的LAUI中，LLM代理被初始化为熟练掌握系统，主动研究用户及其需求，并向用户提出新的交互方案。为了说明LAUI，我们提出了Flute X GPT，这是一个具体的例子，使用LLM代理、提示管理器和长笛辅导多模式软硬件系统来促进学习长笛的复杂实时用户体验。

探索使用大型语言模型作为人机交互界面的潜力，实现用户与复杂系统的交互

使用大型语言模型作为人机交互界面，主动学习用户需求并提出新的交互方案，以实现用户与系统的更加顺畅的交互

论文提出了LAUI的概念，使用Flute X GPT作为具体案例，使用多模态软硬件系统辅助学习长笛，实现了用户与系统的更加自然、顺畅的交互方式

最近的相关研究集中在人机交互、自然语言处理和大型语言模型等领域，例如《GPT-3: Language Models are Few-Shot Learners》、《Learning to Learn from Humans: Mimicry-Based Adaptive Learning》等