作者：Anjan Karmakar，Romain Robbes

推荐理由：源代码领域预训练模型的四个探测任务

简介：基于 Transformer 架构的预训练代码模型在软件工程 (SE) 任务中表现良好，例如预测代码生成、代码摘要等。然而，来自这些预训练模型的向量表示是否能够很好地全面编码源代码的特征以适用于广泛的下游任务仍然是一个悬而未决的问题。对此进行调查的一种方法是使用称为探针的诊断任务。在本文中，作者为预训练的代码模型构建了四个探测任务（探测表面级、句法、结构和语义信息）。作者展示了如何使用探针来识别模型是否在（理解）某些代码属性方面存在缺陷，表征不同的模型层，并深入了解模型样本效率。作者探讨了四种在代码属性方面的预期知识不同的模型：BERT（英语预训练）、CodeBERT 和 CodeBERTa（源代码和自然语言文档预训练）和 GraphCodeBERT（源代码预训练） 。虽然 GraphCodeBERT 的整体表现更加一致，但本文发现 BERT 在某些代码任务上表现出奇的好，这需要进一步调查。

 

下载地址：https://arxiv.org/pdf/2108.11308.pdf

HUB地址：https://hub.baai.ac.cn/view/9536

内容中包含的图片若涉及版权问题，请及时与我们联系删除