作者： Ibrahim Abdelaziz, Julian Dolby, Jamie McCusker, Kavitha Srinivas1

 

简介： 本文研究了代码理解领域文本工件上的模型基准。代码理解是人工智能越来越重要的应用。理解代码的一个基本方面是理解关于代码的文本，例如文档和论坛讨论。预训练语言模型（例如 BERT）是各种 NLP 任务的流行方法，现在有各种基准测试（例如GLUE）来帮助改进此类模型的自然语言理解的开发。但是，对于此类模型在有关代码的文本工件上的工作情况知之甚少，而且作者不知道此类评估有任何系统的下游任务集。在本文中，作者提出了一组基准（BLANCA-编码工件语言模型的基准），它们根据任务评估代码理解，例如预测论坛帖子中问题的最佳答案、查找相关论坛帖子或预测类别在类文档的层次结构中相关。作者评估了当前最先进的语言模型在这些任务上的性能，并表明微调对每个任务都有显着的改进。作者的研究还表明，多任务对 BLANCA 任务进行训练有助于构建更好的语言模型来理解代码。 

 

论文下载： https://arxiv.org/pdf/2109.07452.pdf

HUB地址：https://hub.baai.ac.cn/view/10099

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除