🔸第1课 Attention Is All You Need（5月22日）

论文创新点：【原始的Transformer模型】它以自注意力机制，取代了传统流程模型中的递归结构，具备比RNN等神经网络，同等或更好的语言理解能力。同时，自注意力机制加强了Transformer的并行计算能力，无需像RNN依赖于序列顺序信息，极大提升了运算效率。

直播课内容：

• Transformer模型的基本结构、组成及关键组件
• 对比RNN和Transformer在处理序列数据时的不同策略
• 自注意力机制如何捕捉序列内部的长距离依赖关系、如何实现并行计算
• Transformer在机器翻译、文本摘要等任务中的应用案例

🔸第2课 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（敬请期待）

论文创新点：【Transformer架构在NLP方向研究应用】这篇论文提出了BERT预训练模型，它采用深层双向Transformer架构，可以学习词含义的上下文信息。

直播课内容：

• BERT模型在NLP任务中的革命性影响、创新点讲解、预训练目标和训练策略
• MLM任务、NSP任务如何帮助模型捕捉语言的复杂性
• 解释Transformer的编码器结构，讨论多头注意力机制在BERT中的应用
• 讨论RoBERTa、ALBERT等变体对BERT模型的改进和优化

🔸第3课 (ViT) An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（敬请期待）

论文创新点：【Transformer架构在CV方向研究应用】这篇论文提出ViT模型，实现了Transformer在计算机视觉中的首次应用。ViT demostrated 了Transformer能力在视觉任务上的潜力，突破了CNN在这方面的主导地位。

直播课内容：

• 学习ViT模型在图像识别任务中的创新点、影响及基本结构
• ViT模型的动机和目标，对比ViT与CNN在图像处理上的差异
• patches如何被编码成序列以适应Transformer模型
• 讨论多头自注意力机制在ViT中的应用
• ViT模型的预训练策略，以及在不同规模数据集上的性能表现

🔸第4课 Swin Transformer：Hierarchical Vision Transformer using Shifted Windows（敬请期待）

论文创新点：【Transformer在高分辨率影像研究领域的应用】这篇论文提出的Swin Transformer采用了移动窗机制，将图像切分为不同視窗进行处理，实现了Transformer在高分辨率影像领域的应用。

直播课内容：

• Swin Transformer如何通过移动窗机制处理高分辨率图像，及移动窗机制的工作原理
• Swin Transformer的关键技术：分块标准化（Shifted Window）技术及其作用
• Swin Transformer在图像识别任务中的表现：模型如何优化特征提取能力
• 与其他Vision Transformer的比较，Swin Transformer在高分辨率影像处理上的优势，及模型在多模态任务中的应用前景

🔸第5课 SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers（敬请期待）

论文创新点：【Transformer在语义分割方向的应用】SegFormer利用先进的TransformerEncoder-Decoder结构，在没有使用任何额外如位置编码或非局部信息的情况下，进行语义分割，并取得突出的效果。

直播课内容：

• Transformer在图像分类任务中的应用，并引入其在语义分割中的潜力
• Transformer结构对细粒度视觉任务的适应性，SegFormer模型的动机、目标及Encoder-Decoder结构
• SegFormer如何在不同尺度上捕捉特征，其简洁性和效率，以及其对性能的影响
• SegFormer的语义分割流程：将Transformer应用于语义分割任务，模型如何处理输入图像并生成分割图

🔸第6课 ViLT:  Vision and Language Transformer Without Convolution or Region Supervision（敬请期待）

论文创新点：【Transformer在多模态领域的应用】这篇论文提出的ViLT是第一个不需要卷积操作和区域级监督，就可以良好实现视觉语言交互任务的Transformer模型。ViLT直接使用序列输入进行多模态融合和理解，省去了特征提取阶段，取得了和CNN相当或更好的效果。

直播课内容：

• ViLT模型的核心创新、模型结构和关键组件
• ViLT在处理多模态数据时，如何实现视觉和语言信息的有效融合
• ViLT的效率和效果，性能评估——对比ViLT和基于CNN的模型在各项任务中的表现
• ViLT如何拓展Transformers在不同模态之间的应用场景，及其在多模态任务中的潜在改进空间

🔸第7课 (GPT-4)Toolformer:  Language Models Can Teach Themselves to Use Tools（敬请期待）

论文创新点：【Transformer在GPT-4的应用】这篇论文提出了Toolformer模型，它能够通过逻辑推理和自我训练学习如何使用具体工具来完成任务，而无需事先提供使用例子。Toolformer是第一个能自行学习使用工具的语言模型。

直播课内容：

• 语言模型在智能助手和自动化任务中的应用，创新之处和研究动机
• Toolformer模型的基本结构、工作原理、关键技术，如强化学习、模仿学习等
• Toolformer在各类任务上的表现，讨论模型如何推动语言模型参与更复杂的实际任务
• Toolformer如何展示Transformer在语言理解方面的高级能力

🔸第8课 Scalable Diffusion Models with Transformers（敬请期待）

论文创新点：【Transformer与扩散模型结合】采用Transformer可以突破传统扩散模型在规模和效率上的限制。它利用Transformer处理高维度数据，实现了先进的可生成视觉效果。

直播课内容：

• Transformer在生成扩散模型中的应用及其潜力
• Transformer如何适应高维度数据处理
• 基于Transformer的扩散模型架构，利用Transformer生成高维度的视觉数据
• 对比传统扩散模型和基于Transformer的模型性能

🔸第9课 Mamba VS Transformer（惊喜彩蛋！！！）