报告主题：当软工遇上NLP，代码大模型综述

日期：12月14日（周四）14:30-15:30
主题简介：《当软工遇上NLP，代码大模型综述》
近年来，基于 Transformer 的语言模型在自然语言处理中取得了巨大成功，而程序语言作为一种特殊的自然语言，也已被广泛使用语言模型进行建模。我们的工作对基于语言模型的代码处理与生成进行系统性调研，覆盖超过50个模型、30个下游任务、170个数据集，以及700篇相关工作。
我们系统梳理使用人工智能技术处理代码的历史-从n-gram到RNN到 Transformer，并深入讨论近期 NLP 与软工两个学科呈现出的交叉融合趋势。NLP中的最新技术，包括指令微调、强化学习、数据工程以及模型架构的改进等，已经被广泛应用于代码处理，而软件工程中的的各下游任务也为大语言模型提出了新的挑战与应用机会。如何将程序语言独有的特征，包括抽象语法树、数据流、控制流、编译器中间表示等无缝融合进大语言模型中，是当下面临的一个关键挑战。

报告嘉宾：

张子殷，上海交通大学计算机系本科、硕士在读，主要研究自然语言处理方向，目前在蚂蚁集团学术实习。


扫码报名预约观看

点击原文，还可进行在线提问

内容中包含的图片若涉及版权问题，请及时与我们联系删除