注册
CIPS 主题引导报告 | 黄民烈:初探预训练模型的"能"与"不能"
视频 CIPS 自然语言处理 资源 预训练

摘要: 以BERT和GPT为代表的预训练模型在自然语言处理领域掀起了一场新的革命,显著地推进了各种自然语言处理任务的性能。在本报告中,讲者将试图讨论当前的预训练语言模型到底学会了什么,还欠缺什么,尤其GPT这类语言生成模型的“能”和“不能”。最后讨论当前在预训练模型中通过融入知识、知识增强的再训练、施加显式控制等手段增强预训练模型的性能。

简介: 黄民烈博士,清华大学计算机科学与技术系长聘副教授。他的研究兴趣包括深度学习、自然语言处理等,尤其是对话系统、语言生成和情感分析。2019年获得中国人工智能学会吴文俊人工智能科技进步奖一等奖(排名第一),对话系统的研究于2019年获得国家自然科学基金重点项目资助。获得2018年中文信息学会汉王青年创新奖,2019年阿里巴巴创新合作研究奖,入选ACL 2019最佳演示论文候选,获得SIGDIAL 2020最佳论文奖,NLPCC 2020最佳学生论文,IJCAI 2018杰出论文奖,CCL 2018最佳演示奖,NLPCC 2015最佳论文奖,获得NTCIR2017年组织的短文本对话生成评测冠军。研发对话系统平台ConvLab和ConvLab2,并多次组织国内外有影响力的对话系统评测与竞赛(DSTC8,DSTC9)。担任顶级期刊TNNLS(SCI一区,影响因子>11)编辑,顶级期刊TACL的执行编辑,顶级会议ACL 2021 Diversity&Inclusion联合主席,EMNLP 2021研讨会联合主席,ACL 2020/2016、EMNLP 2020/2019/2014/2011、AACL 2020的领域主席,AAAI 2017-2020和IJCAI 2017-2020的高级程序委员。他的主页位于http://coai.cs.tsinghua.edu.cn/hml/

0 分享 评论

可用Markdown格式