摘要： 近年来， 在深度学习技术的加持下，自然语言处理（NLP）取得了突飞猛进的发展，在机器翻译、阅读理解等领域都在特定场景下接近甚至超越了人类的水准。然而，在此过程中， “大力出奇迹”的训练手段大行其道，人们在训练数据量、模型容量、算力上不断加码。比如，对于语言模型预训练而言，就从一亿参数的BERT模型一路增长至上千亿参数的GPT-3模型，所需的计算资源也从几十块GPU飙升至上万块GPU，单次训练的成本竟高达上千万美元。这类工作虽然从某种意义上探索着技术的边界，但也导致明显的马太效应，使得没有足够算力的研究者和学术机构逐渐失去话语权。为了打破这种不良局面，我们针对NLP模型训练的效率问题进行了深入的研究，从数据处理、模型结构、损失函数、优化算法等多个维度进行了探索，将训练效率提高了一个数量级；未来我们将致力于更大幅度的提速，从而助力NLP技术的平民化、为更加多样的技术创新奠定基础。

简历： 刘铁岩博士，微软亚洲研究院副院长，IEEE会士， ACM杰出科学家。他也是CMU、清华大学、中国科技大学的兼职教授。刘博士的先锋性研究促进了机器学习与信息检索之间的融合，被公认为“排序学习”领域的代表人物。近年来他在深度学习、强化学习等方面也颇有建树，在顶级国际会议和期刊上发表论文两百余篇，被引用数万次。他担任了WWW、ACL、SIGIR、KDD、NeurIPS、ICLR、AAAI、IJCAI等顶级会议的大会主席、程序委员会主席或领域主席；ACM TOIS、ACM TWEB、IEEE TPAMI等知名国际期刊副主编。他曾获得多项最佳论文和最高引论文奖、CCF青竹奖、中国AI英雄风云榜技术创新人物奖、AMiner全球最具影响力学者奖、CSDN技术领航者奖、机器之心最佳AI应用案例等奖项。他的团队开源了LightGBM，已成为Kaggle比赛和KDD Cup中最受欢迎的机器学习工具；帮助微软在中英新闻翻译任务上达到了人类专家水平，并获得WMT2019机器翻译比赛8项冠军；研发了史上最强麻将AI Suphx，在知名麻将平台“天凤”上荣升十段，稳定段位显著超越人类顶级选手。近年来他还与多个行业进行了战略研究合作（如华夏基金、东方海外、中国太平、顺丰、远传电信等）成功助力合作伙伴实现智能化转型。