Transformer Explainer: Interactive Learning of Text-Generative Models

Transformers已经彻底改变了机器学习，但对于许多人来说，它们的内部运作仍然不透明。我们提出了Transformer Explainer，这是一个交互式可视化工具，旨在让非专业人士通过GPT-2模型了解Transformers。我们的工具通过整合模型概述和启用数学操作和模型结构的抽象级别之间的平滑过渡，帮助用户理解复杂的Transformer概念。它在用户的浏览器中运行一个实时的GPT-2实例，使用户能够尝试自己的输入，并实时观察Transformer的内部组件和参数如何一起工作来预测下一个标记。我们的工具不需要安装或特殊硬件，扩大了公众对现代生成式AI技术的教育访问。我们的开源工具可在https://poloclub.github.io/transformer-explainer/上获得。视频演示可在https://youtu.be/ECR4oAwocjs上观看。

Transformer Explainer试图解决什么问题，或者验证什么假设？这是否是一个新问题？

Transformer Explainer提供了一种交互式可视化工具，旨在帮助非专业人士了解Transformer和GPT-2模型。它运行在用户的浏览器中，无需安装或特殊硬件。

Transformer Explainer具有实时模型运行和自定义输入的功能，可以帮助用户理解Transformer的内部组件和参数如何协同工作来预测下一个标记。该工具的开源代码和演示视频都可供使用。

与Transformer Explainer相关的研究包括其他可视化工具和技术，以及Transformer模型的改进和应用。其中一些论文的标题包括“Visualizing and Understanding Transformer Language Models”和“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”。