OmniActions: Predicting Digital Actions in Response to Real-World Multimodal Sensory Inputs with LLMs

"Pervasive Augmented Reality" 的发展预计可以实现对多模式信息的轻松获取和持续使用。然而，在许多日常场景中，用户可能会在身体、认知或社交方面被占据。这可能会增加用户在世界中遇到的多模式信息所需采取行动的障碍。为了减少这种障碍，未来的交互界面应该基于用户的上下文智能地提供快速访问数字行动的方法。为了探索可能的数字行动范围，我们进行了一项日记研究，要求参与者捕捉和共享他们打算执行操作的媒体（例如图像或音频），以及他们想要的操作和其他上下文信息。利用这些数据，我们生成了一种数字后续行动的全面设计空间，可以根据不同类型的多模式感官输入做出反应。然后，我们设计了 OmniActions，这是一个由大型语言模型（LLMs）驱动的管道，处理多模式感官输入并预测基于所得到的设计空间的目标信息的后续行动。利用日记研究收集的实证数据，我们对三种LLM技术（意图分类、上下文学习和微调）进行了定量评估，并确定了我们任务中最有效的技术。此外，作为管道的一个实例，我们开发了一个交互式原型，并报告了有关人们如何感知和反应行动预测及其错误的初步用户反馈。

论文试图探索在日常生活中，用户在面对大量信息时，如何减少因为身体、认知或社交原因而无法立即行动的摩擦，并提供智能化的快速数字行动。

通过进行日记研究，收集用户在处理媒体信息时的行动和上下文信息，生成数字跟进行动的设计空间，并设计了一个由大型语言模型驱动的管道，能够处理多模态感官输入，并预测目标信息的跟进行动。

论文使用了日记研究和大型语言模型技术，设计了OmniActions管道，能够根据用户的上下文信息预测数字跟进行动。论文还开发了交互式原型，并报告了初步的用户反馈。

在这个领域中，还有一些相关研究，如《Augmented Reality Interfaces: Past, Present and Future》、《A Survey of Augmented Reality》等。