GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

简介

Bug-fix benchmarks（漏洞修复基准测试）对于评估自动程序修复（APR）和故障定位（FL）方法至关重要。然而，现有的基准测试（例如Defects4J）需要发展，以纳入与当代开发实践相一致的最新漏洞修复。此外，在漏洞修复基准测试中缺乏关键的科学原则——可重复性。为了解决这些差距，我们提出了GitBug-Java，这是一个可重复的最新Java漏洞基准测试。GitBug-Java包括从55个知名开源仓库的2023个提交历史中提取的199个漏洞。构建GitBug-Java的方法确保在完全可重复的环境中保留漏洞修复。我们在https://github.com/gitbugactions/gitbug-java上发布了GitBug-Java。
图表
解决问题

构建一个可重现的Java缺陷修复基准，以评估自动程序修复和故障定位方法的有效性。
关键思路

使用55个知名开源存储库的2023个提交历史中提取的199个最新Java缺陷构建GitBug-Java基准，并确保在完全可重现的环境中保留缺陷修复。
其它亮点

GitBug-Java是一个可重现的基准，具有最新的Java缺陷，反映了当代开发实践。该论文提出的方法为构建可重现的基准提供了新思路，并且GitBug-Java的开源代码和数据集为后续的研究提供了便利。
相关研究

现有的缺陷修复和故障定位基准如Defects4J，但需要与当代开发实践相适应的更新。近期相关研究有：1. "How to Design a Program Repair Bot? Insights from the Repairnator Project" 2. "A Survey on Automated Program Repair: Techniques, Evaluation Metrics, and Open Challenges"

GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

评论