近几年人工智能领域的突破大多由自监督学习推动，比如BERT中提出的MLM (Masked Language Model) ，通过将文本中的部分单词遮盖后重新预测，使得海量无标记文本数据也能用来训练模型，自此开启了大规模预训练模型的新时代。

 

但自监督学习算法也有明显的局限性，通常只适用于单一模态（如图像、文本、语音等）的数据，并且需要大量的算力从海量数据中进行学习。

 

相比之下，人类的学习效率要显著高于当前的AI模型，并且可以从不同类型的数据中进行学习。

 

2022年1月，Meta AI发布了自监督学习框架data2vec，将三个模态的数据（语音、视觉和文本）通过一个框架整合起来，大有一统多模态的趋势。

 

最近Meta AI发布了data2cec 2.0版本，主要在性能方面对上一代进行了改进：在精度相同的情况下，训练速度相比其他算法最高提升了16倍！

图片

论文链接：https://ai.facebook.com/research/publications/efficient-self-supervised-learning-with-contextualized-target-representations-for-vision-speech-and-language

代码链接：https://github.com/facebookresearch/fairseq/tree/main/examples/data2vec

内容中包含的图片若涉及版权问题，请及时与我们联系删除