MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions

大型语言模型（LLMs）已经在数学问题解决方面展示了出色的能力，特别是在单轮问答格式中。然而，现实世界的情境往往涉及需要多轮或交互式信息交换的数学问题回答，LLMs在这些任务上的表现仍未得到充分探索。本文介绍了MathChat，这是一个专门设计用于评估LLMs在更广泛的数学任务中的综合基准。这些任务被设计为评估模型在多轮交互和开放式生成方面的能力。我们评估了各种SOTA LLM在MathChat基准上的表现，并观察到，虽然这些模型在单轮问答方面表现出色，但在需要持续推理和对话理解的更复杂场景中表现显著下降。为了解决现有LLMs在面对多轮和开放式任务时的限制，我们开发了MathChat sync，这是一个基于合成对话的数学数据集，用于LLM微调，重点是提高模型在对话中的交互和指令遵循能力。实验结果强调了训练LLMs需要使用多样化的、具有对话调优的数据集，例如MathChatsync。我们认为，这项工作为提高LLMs的多轮数学推理能力提供了一条有希望的方向，从而推动LLMs在交互式数学问题解决和实际应用方面的发展。

评估大型语言模型在多轮数学对话中的表现，提出MathChat数据集和MathChat sync数据集进行评估和微调

提出MathChat数据集和MathChat sync数据集，用于评估和微调大型语言模型在多轮数学对话中的表现，以提高其交互式数学问题解决能力

MathChat数据集旨在评估大型语言模型在多轮交互和开放式生成的数学问题解决中的表现，MathChat sync数据集用于微调模型的交互和指令跟随能力；实验结果表明，当前的大型语言模型在多轮数学对话中表现不佳，需要更多的多轮对话微调数据集来提高其交互式数学问题解决能力

与本文相关的研究包括：GPT-3、数学问题解决数据集、对话式AI等