HW-GPT-Bench: Hardware-Aware Architecture Benchmark for Language Models

语言模型的不断扩大使得需要在各个维度上进行全面的考察，以反映在不同硬件指标（如延迟、能量消耗、GPU内存使用和性能）之间的权衡。越来越多的人开始关注建立不同语言模型配置的 Pareto 前沿，以确定在指定硬件约束条件下的最优模型。值得注意的是，在一台设备上具有低延迟的架构可能在另一台设备上表现不佳。然而，对众多架构进行详尽的训练和评估是计算上禁止的。因此，我们提出了 HW-GPT-Bench，这是一个硬件感知语言模型替代基准，我们利用神经架构搜索（NAS）的权重共享技术，高效地训练一个超级网络代理，将不同规模的语言模型融合在一个模型中。我们在13个设备上对这些模型进行了分析，考虑了5个硬件指标和3个不同的模型规模。最后，我们展示了使用8种不同的多目标 NAS 算法来使用 HW-GPT-Bench 的可用性，并评估了 Pareto 前沿的质量。通过这个基准测试，我们的目标是推动和加速多目标 NAS 和大型语言模型的结构剪枝的研究进展。

提高大语言模型的性能和效率

使用神经架构搜索技术，构建一个硬件感知的语言模型代理基准，并在多个硬件设备上进行测试和评估，以找到在不同硬件限制下的最佳模型

论文使用了神经架构搜索技术来构建硬件感知的语言模型代理基准，并在13个设备上进行了测试和评估，提出了8种多目标神经架构搜索算法，并评估了结果的质量。该基准的开发旨在推动和加速多目标方法在神经架构搜索和大语言模型的结构剪枝方面的研究。

最近的相关研究包括：EfficientNet、ProxylessNAS、FBNet、MnasNet等。