MagicItem: Dynamic Behavior Design of Virtual Objects with Large Language Models in a Consumer Metaverse Platform

为了在虚拟现实（VR）环境中创造丰富的体验，定义虚拟对象的行为是必要的，而这需要通过编程来实现。然而，在3D空间中编程需要广泛的背景知识和编程技能。尽管大型语言模型（LLM）已经提供了编程支持，但它们仍主要面向程序员。在元宇宙平台中，许多用户居住在VR空间中，大多数用户不熟悉编程，这使得他们难以轻松修改VR环境中对象的行为。现有的基于LLM的VR空间脚本生成方法需要多次漫长的迭代才能实现所需的行为，并且难以集成到元宇宙平台的操作中。为了解决这个问题，我们提出了一个工具，可以从Cluster中的自然语言生成VR空间中对象的行为。Cluster是一个具有大量用户的元宇宙平台，我们通过将LLM与该平台提供的Cluster Script集成，使有限的编程经验的用户可以在平台内自由定义对象行为。我们还将我们的工具集成到一个商业元宇宙平台中，并正在与该平台的63个普通用户进行在线实验。实验表明，即使没有编程背景的用户也可以成功地为VR空间中的对象生成行为，从而实现了一个非常令人满意的系统。我们的研究通过使非程序员能够为元宇宙平台中的虚拟对象设计动态行为，有助于民主化VR内容的创作。

本论文旨在解决虚拟现实（VR）环境中对象行为的编程问题，使非程序员也能自由定义对象行为。

论文提出了一种工具，可以将自然语言转化为VR空间中对象的行为，使非程序员也能自由定义对象行为。该工具已经成功集成到商业元宇宙平台中，并进行了在线实验。

论文的亮点在于成功实现了将自然语言转换为VR空间对象行为的工具，使非程序员也能自由定义对象行为。实验结果表明，用户可以成功生成VR空间对象的行为，从而获得高度满意的系统。

在相关研究方面，最近的研究主要集中在LLMs对编程的支持上，而本论文则将LLMs与元宇宙平台的Cluster Script相结合，实现了自然语言转换为VR对象行为的工具。