Cheems: Wonderful Matrices More Efficient and More Effective Architecture

最近的研究表明，相对位置编码在选择性状态空间模型扫描算法中表现良好，平衡SSM和Attention的结构增强了算法的效率和有效性，而混合专家的稀疏激活降低了训练成本。我研究了在结构化状态空间双重算法中使用不同位置编码的有效性，以及更有效的SSD-Attn内部和外部函数混合方法，并设计了一个更高效的跨域专家混合。我发现相同的矩阵在不同的算法中非常出色，这使我们能够建立一个新的混合稀疏架构：Cheems。与其他混合架构相比，在语言建模任务中，它更加高效和有效。

论文旨在研究如何在语言建模任务中设计更高效、更有效的混合稀疏架构，解决深度学习中的训练成本高的问题。

论文提出了一种新的混合稀疏架构Cheems，通过使用相同的矩阵在不同算法中进行优化，结合SSD-Attn方法和跨领域的混合专家模型，提高了模型的效率和准确性。

论文使用了不同的位置编码和SSD-Attn方法，并设计了更高效的混合专家模型，实验结果表明Cheems比其他混合架构更高效、更有效。论文还提供了开源代码。

最近的相关研究包括：《Attention Is All You Need》、《Universal Transformers》、《Sparse Transformers》等。