mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans

由于语言特定的知识和常识的数据集很难被策划出来以便于评估语言模型的自然语言理解能力。由于标注员的限制，目前大多数多语言数据集是通过翻译创建的，这种方法无法评估这种语言特定的方面。因此，我们提出了基于CSQA构建过程的多语言常识QA（mCSQA），但利用语言模型进行更高效的构建，例如，通过要求LM生成问题/答案，改进答案并验证QAs，然后减少人力验证的工作。构建的数据集是多语言LM的跨语言语言转移能力的基准，并且实验结果表明，对于LM可以轻松解决的问题，其跨语言转移能力很高，但是对于需要深入知识或常识的问题，其转移能力较低。这凸显了语言特定数据集进行评估和训练的必要性。最后，我们的方法证明了多语言LM可以创建包含语言特定知识的QA，相对于手动创建，显著降低了数据集创建成本。数据集可在以下网址获取：https://huggingface.co/datasets/yusuke1997/mCSQA。

本论文试图解决语言特定知识和常识的数据集构建问题，以便评估语言模型的自然语言理解能力。由于注释者的限制，大多数当前的多语言数据集是通过翻译创建的，这不能评估这些语言特定方面。因此，作者提出了基于CSQA构建过程的多语言通用常识问答（mCSQA）方法，利用语言模型进行更有效的构建。构建的数据集是多语言语言模型跨语言语言转移能力的基准，实验结果表明，对于语言模型可以轻松解决的问题，具有很高的语言转移能力，但对于需要深入知识或常识的问题，其转移能力较低。这凸显了语言特定数据集进行评估和训练的必要性。最后，作者的方法证明，多语言语言模型可以创建包括语言特定知识的问答，与手动创建相比，显著降低了数据集创建成本。

本论文提出了一种利用语言模型进行多语言通用常识问答（mCSQA）构建的方法，通过询问LM生成问题/答案、改进答案和验证QA，随后减少人类验证的方式来构建数据集，以评估多语言语言模型的跨语言语言转移能力。

本论文的亮点包括：1. 提出了一种利用语言模型构建多语言通用常识问答的方法，显著降低了数据集构建成本；2. 构建的数据集是多语言语言模型跨语言语言转移能力的基准；3. 实验结果表明，对于语言模型可以轻松解决的问题，具有很高的语言转移能力，但对于需要深入知识或常识的问题，其转移能力较低。

最近在这个领域中，还有一些相关的研究，例如：1. GPT-3模型，它是一种基于语言模型的通用人工智能语言模型，可以执行各种任务；2. SuperGLUE数据集，它是一个面向自然语言处理的多任务学习和基准数据集，包括9个自然语言理解任务。