Low-Cost Language Models: Survey and Performance Evaluation on Python Code Generation

大型语言模型（LLMs）已成为许多自然语言处理（NLP）任务的首选解决方案，因为它们能够解决各种问题并产生高质量的结果。具体而言，它们越来越多地用于自动生成代码，通过处理重复性任务来减轻开发人员的负担。然而，这种质量的提高导致了高计算和内存需求，使得LLMs对于资源有限的用户不可用。在本文中，我们专注于CPU兼容模型，并对它们在生成Python代码方面的优点和缺点进行了彻底的半手动评估。我们通过引入一种“思维链”提示来提高它们的性能，以指导模型解决问题。此外，我们提出了一个包含60个编程问题的数据集，难度各异，用于评估目的。我们的评估还包括在两个最先进的数据集HumanEval和EvalPlus上测试这些模型。我们承诺公开分享我们的数据集和实验结果，以确保透明度。

本论文旨在解决使用大型语言模型生成代码时所面临的高计算和内存需求的问题，提出了一种适用于CPU的模型，并引入了一种Chain-of-Thought提示来提高模型的性能。此外，论文还提出了一个包含60个编程问题的数据集用于评估模型的性能。

论文提出了一种适用于CPU的模型，引入了Chain-of-Thought提示来提高模型的性能。

论文设计了实验来评估提出的模型在Python代码生成方面的性能，并使用了两个最新的数据集进行测试。论文还提出了一个包含60个编程问题的数据集，以供评估使用。作者承诺公开数据集和实验结果以确保透明度。

最近的相关研究包括使用LLMs生成代码的研究，以及针对LLMs计算和内存需求的优化研究。