A Solution-based LLM API-using Methodology for Academic Information Seeking

应用大型语言模型（LLMs）进行学术API使用在减少研究人员的学术信息获取方面表现出了潜力。然而，目前的LLM API使用方法在学术查询中常遇到复杂的API耦合问题。为了解决这个问题，我们介绍了SoAy，一种基于解决方案的LLM API使用方法，用于学术信息检索。它使用带有解决方案的代码作为推理方法，其中解决方案是预先构建的API调用序列。解决方案的添加减少了模型理解API之间复杂关系的难度。代码提高了推理效率。 为了评估SoAy，我们引入了SoAyBench，一个评估基准，并使用从AMiner克隆的API环境构建了SoAyEval。实验结果表明，与最先进的基于LLM API的基线相比，性能提高了34.58-75.99\%。所有数据集、代码、调整模型和部署的在线服务都可以在https://github.com/RUCKBReasoning/SoAy上公开访问。

本篇论文旨在解决当前LLM API使用方法在处理复杂API耦合时的困难，提出了SoAy，一种基于解决方案的LLM API使用方法，以提高学术信息检索效率。

SoAy使用代码解决方案作为推理方法，其中解决方案是预先构建的API调用序列，以减少模型理解API之间复杂关系的难度，提高推理效率。

论文提出了SoAyBench评估基准和SoAyEval，使用AMiner中的API构建了克隆环境，实验结果表明，与现有LLM API方法相比，SoAy可以提高34.58-75.99%的性能。所有数据集、代码、调整模型和在线服务都可以在https://github.com/RUCKBReasoning/SoAy上公开访问。

最近的相关研究包括使用LLM API方法的学术信息检索，如BERT-based方法和GPT-2-based方法。