Optimised Grouped-Query Attention Mechanism for Transformers

Grouped-query attention（GQA）已被广泛采用于LLM中，以减轻多头注意力（MHA）的复杂性。为了将MHA转换为GQA，MHA中的相邻查询被均匀分成组，每个组共享值和键层。在这项工作中，我们提出了AsymGQA，一种基于激活信息的方法，将MHA不对称地分组为GQA，以获得更好的模型性能。我们的AsymGQA在相同的模型大小预算下优于GQA。例如，与邻居分组相比，AsymGQA LLaMA-2-7B在MMLU上的准确率提高了7.5%。我们的方法解决了GQA在模型性能和硬件效率之间的权衡问题。

解决问题：论文试图解决什么问题，或者验证什么假设？这是否是一个新问题？

关键思路：论文中解决问题的方案关键思路是什么？相比当前这个领域的研究状况，这篇论文的思路有什么新意？

其他亮点：论文提出了AsymGQA，一种基于激活信息的不对称分组方法，可以提高模型性能。实验表明，AsymGQA在相同的模型大小预算下优于GQA。论文还使用了MMLU数据集进行实验，并提出解决GQA在模型性能和硬件效率之间的权衡问题。

相关研究：最近在这个领域中，还有哪些相关的研究被进行？能否列举一些相关研究的论文标题？