QuArch: A Question-Answering Dataset for AI Agents in Computer Architecture

我们介绍了QuArch，这是一个包含1500个人工验证的问题-答案对的数据集，旨在评估和增强语言模型对计算机体系结构的理解。该数据集涵盖了处理器设计、存储系统和性能优化等领域。我们的分析突显了一个显著的性能差距：最好的闭源模型达到了84%的准确率，而顶尖的小型开源模型则达到了72%。我们在存储系统、互连网络和基准测试方面观察到了明显的困难。使用QuArch进行微调可以将小型模型的准确率提高多达8%，为推进人工智能驱动的计算机体系结构研究奠定了基础。数据集和排行榜可在https://harvard-edge.github.io/QuArch/ 获取。

该论文试图解决当前语言模型在计算机架构理解上的不足，特别是在处理器设计、内存系统和性能优化等领域的知识。这是一个新问题，因为之前没有专门针对计算机架构的高质量问答数据集来评估和提升语言模型的表现。

关键思路是创建一个名为QuArch的高质量、人类验证的1500对问答数据集，专门用于评估和改进语言模型对计算机架构的理解。相比现有研究，这篇论文通过引入特定领域的数据集，能够更精确地衡量和提升模型在计算机架构方面的表现。

论文值得关注的地方包括：1) QuArch数据集覆盖了计算机架构的关键领域，如处理器设计、内存系统和性能优化；2) 分析显示，即使是最好的闭源模型也存在显著的性能差距，尤其是在内存系统、互连网络和基准测试方面；3) 细调QuArch数据集后，小模型的准确率提高了8%，表明该数据集的有效性；4) 数据集和排行榜已公开发布，便于后续研究。值得继续深入研究的方向包括如何进一步缩小不同模型之间的性能差距，以及探索更多细调策略。

最近在这个领域中，相关的研究包括：1) 《Evaluating Large Language Models Trained on Code》探讨了大型语言模型在编程任务中的表现；2) 《CodeXGLUE: A Machine Learning Benchmark Dataset for Code Intelligence》提出了一个面向代码智能的机器学习基准数据集；3) 《Benchmarking Neural Network Robustness to Common Corruptions and Perturbations》研究了神经网络在常见扰动下的鲁棒性。这些研究都为提高语言模型在特定领域的理解提供了基础。