在机器学习的发展过程中,人类的学习方式常常会对各种算法的设计产生启发。而作为人类学习的一个重要范式,通过课程进行学习,已经被借鉴到机器学习中形成了名为课程学习(Curriculum Learning)的研究方向。
普遍而言,人类的教育是通过高度组织化的课程来完成的。每一门课或是每一个学科,都会从简单的内容开始,逐步向学生呈现更复杂的概念。例如,在大学接受微积分的概念之前,一名学生应当先在小学学习算术,在初中学习函数,在高中学习导数。然而与人类教育不同的是,传统机器学习模型的训练都是将数据样本随机输入模型,忽略了数据样本之间不同的复杂性以及模型当前的学习状态。因此,课程学习在机器学习领域的提出,正是为了模仿人类由易到难的学习方式,为模型提供更好的训练策略,从而提升模型的表现。

课程学习概念图
目前课程学习已经广泛应用在机器学习的各个任务中,包括图片分类、目标检测、语义分割、机器翻译、音频识别、音频增强、视频问答等等,同时也在有监督、无监督和半监督学习以及强化学习等场景下受到大量关注和研究。
随着课程学习的应用和场景日益丰富,特别需要对这一领域进行细致的梳理和归纳,从而推动研究者的深入探索、提升使用者的应用体验。
因此,清华大学朱文武教授所带领的媒体与网络大数据实验室在发表了多篇课程学习学术论文的积累和基础上,实验室成员王鑫在 IEEE TPAMI 发表了关于课程学习的综述论文,实验室进一步发布了全球首个课程学习开源库 CurML (Curriculum Machine Leanring)。
朱文武教授与王鑫助理研究员的课程学习研究工作包括应用于城市兴趣地点推荐的课程元学习方法、基于带噪多反馈信息的课程解耦商品推荐、基于课程学习的共享参数神经架构搜索、以及基于课程难度自适应的组合优化问题求解等等。研究成果发表于 SIGKDD、NeurIPS、ACM MM 等高水平国际机器学习会议上。

部分研究成果框架图
课程学习综述论文则全面回顾了课程学习的产生、定义、理论和应用等各个方面,设计了统一的课程学习框架,并根据框架内的核心组成将课程学习算法分为两个大类和多个小类,区分了课程学习与其他机器学习概念之间的不同和关联,指出了这一领域所面临的挑战和未来可能的研究方向。

CurML 开源代码库链接:https://github.com/THUMNLab/CurML
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢