Transformer Architecture for NetsDB

Transformer模型已成为当前语言、视觉和多模态领域最先进模型的支柱。这些模型的核心在于利用多头自注意力来选择性地聚合上下文，生成动态的上下文嵌入，并建模长程依赖以达到清晰的上下文理解。Lixi等人提出了一种使用关系型数据库部署大规模深度学习模型的方法，并创建了一个名为NetsDB的开源实现。我们在这些作者之前的工作基础上，为在NetsDB中模型服务创建了一个端到端的Transformer编码器的实现。具体而言，我们构建了一个包括多头注意力及其附带的自注意机制、层归一化、Dropout、前馈层和必要的残差连接的两个块的编码器。我们从模型中加载权重以进行分布式处理、部署和高效推断。为了证明我们实现的有效性，我们通过比较关键指标（如推断时间和模型大小）与PyTorch、Tensorflow、Flax和MxNet中现有的实现进行了全面的性能分析。

本论文旨在通过在NetsDB中实现Transformer编码器的端到端实现来证明其有效性，并通过比较关键指标如推理时间和模型大小与PyTorch、Tensorflow、Flax和MxNet等现有实现进行综合性能分析。

论文的关键思路是构建一个包含多头自注意力机制、Layer-Norm、Dropout、FeedForward层和必要残差连接的两个块的编码器，以实现Transformer的端到端实现，并使用NetsDB进行分布式处理、部署和高效推理。

本论文的亮点包括使用NetsDB实现Transformer的端到端实现，通过比较关键指标如推理时间和模型大小与PyTorch、Tensorflow、Flax和MxNet等现有实现进行综合性能分析。实验设计详细，使用了公开数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如《Attention is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《GPT-2: Language Models are Unsupervised Multitask Learners》等。