Complementary Advantages of ChatGPTs and Human Readers in Reasoning: Evidence from English Text Reading Comprehension

ChatGPT 在文本处理方面表现出了其强大的能力，包括从文本阅读中推理的能力。然而，人类读者和 ChatGPT 在与文本阅读相关的推理能力方面还没有进行过直接比较。本研究旨在调查 ChatGPT（即 ChatGPT 和 ChatGPT Plus）和中国高中生作为英语作为第二语言学习者从英语叙事文本中展示推理能力的情况。此外，我们比较了两个 ChatGPT 在详细更新命令时的推理表现。整个研究由三个推理测试组成：测试1用于常识推理，测试2用于情感推理，测试3用于因果推理。结果显示，在测试1中，学生在与本地文化相关的推理方面胜过了两个 ChatGPT 版本，但在日常生活推理方面表现不如聊天机器人。在测试2中，ChatGPT Plus 表现出色，而 ChatGPT 的准确性落后。与两个聊天机器人的准确性和正确反应频率相关，学生不如两个聊天机器人。与 ChatGPT 在积极情绪方面表现更好相比，学生在推断负面情绪方面表现出了优势。在测试3中，学生展示了更好的逻辑分析能力，超过了两个聊天机器人。在更新命令条件下，ChatGPT Plus 显示出良好的因果推理能力，而 ChatGPT 保持不变。我们的研究揭示了人类读者和 ChatGPT 在文本阅读理解中推理的各自优缺点，解锁了基于文本的推理中的互补关系。

本文试图探究ChatGPT和中学生在文本推理方面的表现，并比较ChatGPT和ChatGPT Plus在命令更新条件下的推理表现。

本文通过三个推理测试，比较了ChatGPT、ChatGPT Plus和中学生在文本推理方面的表现。结果表明，ChatGPT和ChatGPT Plus在不同的推理测试中表现不同，中学生在某些推理方面表现优异。研究揭示了人类读者和ChatGPT在文本推理方面的互补关系。

本文的实验设计了三个推理测试，分别是常识推理、情感推理和因果推理。研究发现，中学生在本地文化相关的推理方面表现优异，但在日常生活推理方面不如ChatGPT和ChatGPT Plus。ChatGPT Plus在情感推理方面表现出色，但ChatGPT的准确性较低。在因果推理方面，中学生表现出更好的逻辑分析能力，超过了两个ChatGPT版本。在命令更新条件下，ChatGPT Plus表现出良好的因果推理能力，而ChatGPT保持不变。

在近期的相关研究中，也有一些关于文本推理的研究。例如：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《RoBERTa: A Robustly Optimized BERT Pretraining Approach》等。