分享一篇最近在中文预训练方面的一个工作。

标题：CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
论文：https://arxiv.org/pdf/2109.05729.pdf
代码：https://github.com/fastnlp/CPT
模型已开源于Transformers，欢迎下载使用！
https://github.com/fastnlp/CPT/blob/master/README.md#pre-trained-models

内容中包含的图片若涉及版权问题，请及时与我们联系删除