Patched RTC: evaluating LLMs for diverse software development tasks

本文介绍了一种新的评估技术——Patched Round-Trip Correctness（Patched RTC），该技术可应用于各种不同的软件开发任务，特别是“外部循环”活动，如修复错误、代码审查和文档更新。Patched RTC将原始的Round-Trip Correctness方法扩展到任何LLM和下游任务，提供了一个自我评估的框架，可以测量模型响应的一致性和鲁棒性，无需人工干预。研究表明，Patched RTC分数与任务特定的准确度指标之间存在相关性，因此可以作为开放领域任务评估中LLM作为评判者范例的替代方案。我们在一个名为patchwork的开源框架中实现了Patched RTC，允许在各种补丁流中进行透明的评估。通过比较不同软件开发任务中GPT-3.5和GPT-4模型的实验，研究发现Patched RTC有效地区分了模型性能和任务难度。本文还探讨了一致性提示对提高模型准确性的影响，建议Patched RTC可以指导复杂软件开发工作流程的提示改进和模型选择。

论文旨在提出一种新的评估技术Patch RTC，用于对大型语言模型在软件开发任务中的应用进行评估，特别是针对外部循环活动，如漏洞修复、代码审查和文档更新。该方法试图解决大型语言模型在软件开发中的一些问题。

Patch RTC是一种新的评估技术，可用于任何大型语言模型和下游任务，提供了一个自我评估的框架，可以测量模型响应的一致性和鲁棒性，无需人工干预。

论文通过比较GPT-3.5和GPT-4模型在不同软件开发任务中的表现，证明了Patch RTC可以有效区分模型性能和任务难度。论文还探讨了一致性提示对提高模型准确性的影响，并建议Patch RTC可以指导提示改进和模型选择，以应对复杂的软件开发工作流。

近期在这个领域中，还有一些相关的研究，如Round-Trip Translation Validation for Neural Machine Translation, Language Models as Code Completers: How Far Are We?, An Empirical Study on Large-Scale Language Model Fine-Tuning,等等。