A Survey on the Real Power of ChatGPT

ChatGPT已经改变了AI社区，一个活跃的研究方向是ChatGPT的性能评估。评估的一个关键挑战是ChatGPT仍然是封闭源代码的，传统的基准数据集可能已经被ChatGPT用作训练数据。在本文中，我们（i）调查了最近的研究，揭示了ChatGPT在七种NLP任务的真实性能水平，（ii）回顾了ChatGPT的社会影响和安全问题，（iii）强调了其评估的关键挑战和机遇。我们希望我们的调查可以揭示其黑匣子方式，以便研究人员不会被其表面生成所误导。

评估ChatGPT的表现是人工智能社区的一个活跃研究领域，但由于ChatGPT仍然是闭源的，传统的基准数据集可能已被用作训练数据，因此评估仍然存在挑战。本文试图揭示ChatGPT在七类NLP任务中的真实表现水平，评估其社会影响和安全问题，并强调其评估的关键挑战和机遇。

本文通过调查ChatGPT在七类NLP任务中的表现水平，揭示其表面生成背后的黑匣子，为后续研究提供参考。

本文调查了ChatGPT在七类NLP任务中的表现水平，并讨论了其社会影响和安全问题。实验设计了多个基准数据集，并对ChatGPT进行了性能评估。本文强调了评估ChatGPT的关键挑战和机遇，为后续研究提供了参考。

最近的相关研究包括《GPT-2的评估：使用人类评估器进行人类相关性、创造性和偏见测试》、《对生成式预训练模型的自动评估：BLEURT》等。