Octopus: On-device language model for function calling of software APIs

在快速发展的人工智能领域中，由于其先进的文本处理和生成能力，大型语言模型（LLMs）发挥着至关重要的作用。本研究介绍了一种旨在利用设备内的LLMs调用软件API的新策略。我们精心编制了一个源自软件API文档的数据集，并对具有2B、3B和7B参数容量的LLMs进行微调，以特别增强它们在软件API交互方面的能力。我们的方法集中于提高模型对API结构和语法的理解，显著提高了API函数调用的准确性。此外，我们提出了“条件遮盖”技术，以确保输出以所需格式呈现，并降低错误率，同时保持推理速度。我们还提出了一种新颖的基准测试，旨在评估LLMs在API交互中的有效性，为随后的研究奠定了基础。经过微调的Octopus模型被证明在软件API调用方面比GPT-4表现更好。本研究旨在推进自动化软件开发和API集成，代表了将LLMs的能力与实际软件工程应用需求相结合的重大进展。

本论文旨在利用大型语言模型（LLMs）解决软件API调用的问题。具体而言，通过fine-tuning 2B、3B和7B参数容量的LLMs，提高它们在软件API交互方面的能力，以便更好地支持自动化软件开发和API集成。

通过fine-tuning LLMs，提高它们在软件API交互方面的能力。同时，采用条件掩码技术确保输出的格式正确，减少错误率，同时保持推理速度。

论文提出了一种新的策略，通过fine-tuning LLMs，提高它们在软件API交互方面的能力。同时，采用条件掩码技术确保输出的格式正确，减少错误率，同时保持推理速度。论文提出了一个新的基准测试，用于评估LLMs在API交互方面的有效性。实验使用了从软件API文档中提取的数据集，并展示了fine-tuned模型在API调用方面的优越性能。

近期的相关研究包括：1）GPT-4的研究；2）利用LLMs进行自然语言处理的研究。