Exploring the Potential of Large Language Models in Computational Argumentation

计算论证已成为各个领域（包括人工智能、法律和公共政策）中不可或缺的工具。它是自然语言处理（NLP）中一个新兴的研究领域，引起了越来越多的关注。计算论证的研究主要涉及两种类型的任务：论证挖掘和论证生成。由于大型语言模型（LLMs）在理解上下文和生成自然语言方面表现出强大的能力，因此评估LLMs在各种计算论证任务中的表现是值得的。本文旨在评估LLMs（如ChatGPT、Flan模型和LLaMA2模型）在计算论证领域的零-shot和少量样本设置下的表现。我们将现有任务分为6个主要类别，并标准化14个开源数据集的格式。此外，我们提供了一个新的反驳言论生成基准数据集，旨在全面评估LLMs在论证挖掘和论证生成方面的端到端性能。广泛的实验表明，LLMs在大多数数据集上表现出可称赞的性能，展示了它们在论证领域的能力。我们还强调了评估计算论证的局限性，并提出了未来研究方向的建议。

本论文旨在评估大型语言模型（LLMs）在计算论证任务中的性能，包括零-shot和few-shot设置。论文尝试解决如何使用LLMs来进行计算论证的问题。

论文的关键思路是评估不同LLMs在计算论证任务中的性能，并提供一个标准化的数据集来进行评估。此外，论文还提出了一个新的基准数据集，用于综合评估LLMs在论证挖掘和生成方面的性能。

论文将现有的计算论证任务分为6个主要类别，并标准化14个开放数据集的格式。作者还提出了一个新的基准数据集，用于评估LLMs在反驳言论生成方面的性能。实验结果表明，LLMs在大多数数据集上表现出色，但也存在一些评估计算论证的局限性，作者提出了未来研究的建议。

最近的相关研究包括：1.《A Survey of Argumentation Knowledge Graphs》；2.《Argumentation Knowledge Graphs: New Directions for Knowledge Representation and Reasoning》；3.《Argumentation Mining: A Survey》。