SoTaNa: The Open-Source Software Development Assistant

解决问题：本篇论文旨在解决现代社会中软件开发领域所需的高效软件开发助手的问题。此外，论文还试图解决目前现有的大型语言模型在可访问性方面的问题，例如训练数据和模型权重的限制。

关键思路：文章提出了一个名为SoTaNa的开源软件开发助手，它利用ChatGPT生成面向软件工程领域的高质量指令数据，并采用参数高效的微调方法增强了开源基础模型LLaMA的性能。与当前领域的研究相比，SoTaNa的创新点在于其高效性和可访问性，可以在单个GPU上运行，使更多的研究人员可以使用它。

其他亮点：论文展示了SoTaNa在回答Stack Overflow问题、代码摘要和生成方面的有效性。此外，论文还公开了代码、模型权重和数据集，以便其他研究人员使用和进一步研究。该工作值得进一步深入研究，特别是在如何提高模型性能和扩展到其他领域方面。

相关研究：近期其他相关的研究包括：1. "CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing"，作者：Kexin Pei等，机构：Tsinghua University；2. "A Survey on Natural Language Processing for Software Engineering"，作者：Daniel Martínez等，机构：Universitat Politècnica de València；3. "Deep Code Comment Generation"，作者：Yan Xu等，机构：Peking University。

论文摘要：本文介绍了一个开源软件开发助手SoTaNa，该助手使用ChatGPT生成基于指令的高质量数据，并采用参数高效的微调方法来增强开源基础模型LLaMA。我们评估了SoTaNa在回答Stack Overflow问题方面的有效性，并展示了其能力。此外，我们还讨论了其在代码摘要和生成方面的能力，以及生成数据量对模型性能的影响。值得注意的是，SoTaNa可以在单个GPU上运行，这使得更广泛的研究人员可以使用它。我们的代码、模型权重和数据都是公开的，网址为\url{https://github.com/DeepSoftwareAnalytics/SoTaNa}。

内容中包含的图片若涉及版权问题，请及时与我们联系删除