构建能够从高维数据中提取有意义表示的智能机器是解决许多AI相关任务的核心。在过去的几年里，许多不同领域的研究人员，从应用统计学到工程学，计算机科学和神经科学，已经开发出深度(层次)模型——这些模型由多层非线性处理组成。这些模型的一个重要特征是，它们可以通过重用和组合中间概念来学习有用的表示，从而允许这些模型成功地应用于各种领域，包括视觉对象识别、信息检索、自然语言处理和语音感知。这是一门高级研究生课程，专为硕士和博士水平的学生设计，并将假定学生有一定的数学基础。本课程的目标是向学生介绍各种深度学习方法的最新和令人兴奋的发展。
本课程涵盖了深度学习的一些理论和方法。所涉及的初步专题包括:
介绍

  • 背景:线性代数，分布，概率规则。

  • 回归、分类。

  • 前馈神经网络，反向传播算法。介绍流行的优化和正则化技术。

  • 卷积模型及其在计算机视觉中的应用。

深度学习

  • 图模型:有向和无向。

  • 线性因子模型，PPCA, FA, ICA，稀疏编码及其扩展。

  • 自动编码器及其扩展。基于能量的模型, RBM。

  • 蒙特卡罗方法。

  • 学习与推理: 对比发散(CD)，随机最大似然估计，分数匹配，比率匹配，伪似然估计，噪声-对比估计。

  • 退火重要性抽样，分区函数估计。

  • 深度生成模型: 深度信念网络，深度玻尔兹曼机，Helmholtz霍兹机，变分自编码器，重要性加权自编码器，唤醒-睡眠算法。

  • 生成对抗网络(GANs)，生成矩匹配网络，神经自回归密度估计(NADE)。

额外的话题

  • 更多关于深度网络正则化和优化的内容。

  • 序列建模: 循环神经网络。序列到序列的架构，注意力模型。

  • 深度强化学习。

课程主页：https://deeplearning-cmu-10707-2022spring.github.io/

内容中包含的图片若涉及版权问题，请及时与我们联系删除