来自谷歌、OpenAI和华沙大学的一个团队提出了一种新的用于语言建模的高效Transformer架构Hourglass，在ImageNet32上达到新的SOTA，证明拥有一个明确的分层结构是Transformer能有效处理长序列的关键。Hourglass在给定相同计算量和存储量的情况下，可以产生比Transformer更好的结果。

Transformer在输入序列的长度较长时效果不佳，因为它需要计算时间呈平方增长来产生所有相似性得分，以及存储空间的平方增长来构造一个矩阵存储这些score，因此将它们扩展到长序列(如长文档或高分辨率图像)是非常费时费内存的。

为了缓解这些问题，来自谷歌、OpenAI和华沙大学的团队提出了一种新的用于语言建模的高效Transformer架构，称之为Hourglass。

论文地址：

https://arxiv.org/pdf/2110.13711v1.pdf

Hourglass假设，拥有一个明确的层次结构是Transformer有效处理长序列的关键。所以，Hourglass中对激活进行下采样和上采样的不同方法，以便使tokens分层。Hourglass使用缩短操作将tokens合并，因此减少了总的序列长度，然后结合来自早期层的序列再次对它们进行上采样。

 

Hourglass架构概述

研究人员将Hourglass应用于三个语言建模任务。为了展示Hourglass跨领域泛化能力，他们在一个与自然语言处理相关的数据集和两个来自计算机视觉领域的数据集上训练Hourglass模型。

结果表明，Hourglass在给定相同计算量和存储量的情况下，对Transformer基线进行了改进，可以产生比Transformer更好的结果。

特别值得说明的是，Hourglass可以用于任何注意力类型，这为未来处理更长序列的Transformer的相关研究开辟了许多方向，提高了效率和准确性之间的权衡。

内容中包含的图片若涉及版权问题，请及时与我们联系删除