最近，来自北航、密歇根州立大学、理海大学、南洋理工、杜克等国内外多所知名院校、企业的研究人员联合写了一篇关于预训练基础模型的综述，提供了在文本、图像和图（graph）等领域的最近的研究进展，以及目前和未来的挑战、机遇。

 

图片

论文链接：https://arxiv.org/pdf/2302.09419.pdf

研究人员首先回顾了自然语言处理、计算机视觉和图形学习的基本组成部分和现有的预训练；然后讨论了其他先进的 PFM 的其他数据模式和统一的 PFM 考虑数据质量和数量；以及PFM 基本原理的相关研究，包括模型效率和压缩、安全性和隐私性；最后，文中列出了几个关键的结论，包括未来的研究方向、挑战和开放的问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除