来自OpenAI的研究人员Lilian Weng和Jong Wook Kim对自监督学习做了最新的报告，非常值得关注。
自监督学习是一种很好的方法，可以从大量的未标记数据中提取训练信号，并学习良好的表示，以方便下游的任务，在这些任务中收集特定于任务的标签非常昂贵。本教程将着重介绍自监督学习的两种主要方法:自预测和对比学习。自预测是指自监督的训练任务，在这种训练任务中，模型学会从剩余数据中预测一部分可用数据。对比学习是通过从数据集构造相似和不同的对，来学习一个相似数据样本保持相近而不同数据样本相距较远的表示空间。本教程将涵盖这两个主题和跨各种应用程序的方法，包括视觉、语言、视频、多模态和强化学习。
● 导论 Introduction: motivation, basic concepts, examples.
● 早期工作 Early work: look into connection with old methods.
● 方法 Methods
○ Self-prediction
○ Contrastive Learning
● 前置任务 Pretext tasks: a wide range of literature review.
● 技术 Techniques: improve training efficiency.
● 未来方向 Future directions
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢