OpenAI研究员Lilian Weng最新博客：Transformer解读2.0版

Transformers 加速了自然语言处理(NLP)任务的新技术和模型的发展。虽然它主要用于NLP任务，但现在它被大量应用于处理计算机视觉任务。

Lilian Weng现为OpenAI应用人工智能研究负责人，主要从事机器学习、深度学习和网络科学研究 。她本科毕业于香港大学，硕士就读于北京大学信息系统与计算机科学系，之后前往印度安纳大学布鲁顿分校攻读博士。

在最新更新的文章中，她对2020年的帖子进行了章节的层次结构的重组，以及修改了多处论文，2.0版本的长度约为旧版本的两倍。Transformer科普贴2.0教程地址：https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/  

部分目录

 

• Notations
• Transformer Basics
  • Attention and Self-Attention
  • Multi-Head Self-Attention
  • Encoder-Decoder Architecture
  • Positional Encoding
    • Sinusoidal Positional Encoding
    • Learned Positional Encoding
    • Relative Position Encoding
    • Rotary Position Embedding
• Longer Context
  • Context Memory
  • Non-Differentiable External Memory
  • Distance-Enhanced Attention Scores
  • Make it Recurrent
• Adaptive Modeling
  • Adaptive Attention Span
  • Depth-Adaptive Transformer
• Efficient Attention
  • Sparse Attention Patterns
    • Fixed Local Context
    • Strided Context
    • Combination of Local and Global Context
  • Content-based Attention
  • Low-Rank Attention
• Transformers for Reinforcement Learning
• Citation
• References

内容中包含的图片若涉及版权问题，请及时与我们联系删除