Seal-Tools: Self-Instruct Tool Learning Dataset for Agent Tuning and Detailed Benchmark

本文介绍了一个新的工具学习数据集Seal-Tools，其中包含自我指导API式工具。Seal-Tools不仅提供了大量的工具，还包括演示工具实际应用的实例。为了在确保可靠性的同时生成大规模的数据，我们提出了一种自我指导的方法来生成工具和实例，从而实现对过程的精确控制。此外，我们的Seal-Tools包含多个工具调用以完成任务的难题实例，其中一些是嵌套的工具调用。为了进行精确和全面的评估，我们使用严格的格式控制，并从不同的维度设计了三个指标。因此，Seal-Tools可以作为评估LLMs工具调用能力的新基准。最后，我们在Seal-Tools上评估了几种流行的LLMs和我们的微调模型。结果表明，当前系统还远未达到完美。代码、数据和实验结果均可在https://github.com/fairyshine/Seal-Tools上获得。

论文旨在提出一个新的工具学习数据集Seal-Tools，以评估LLMs的工具调用能力。该数据集包含自我指导的API式工具和实例，其中一些示例展示了工具的实际应用。同时，该数据集包含了多个工具的嵌套调用，以及严格的格式控制和三个度量标准来确保评估的准确性和全面性。

论文提出了一种自我指导的方法来生成工具和实例，以便在大规模生成数据的同时确保可靠性。此外，该数据集包含了多个工具的嵌套调用，可以评估LLMs的工具调用能力。该方法相对于当前领域研究的新意在于，提供了一个更全面、更严格的评估工具调用能力的方法。

论文提出了一个新的工具学习数据集Seal-Tools，包含自我指导的API式工具和实例，其中一些示例展示了工具的实际应用。该数据集包含了多个工具的嵌套调用和严格的格式控制，以及三个度量标准来确保评估的准确性和全面性。研究人员还评估了几种流行的LLMs和他们在Seal-Tools上的表现，并开放了代码和实验结果。

在这个领域中，最近的相关研究包括《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》和《DeepTyper: Typing for Deep Learning》等。