论文名称:AIPerf: Automated machine learning as an AI-HPC benchmark 作者: Zhixiang Ren/Yongheng Liu/Tianhui Shi/Lei Xie/Yue Zhou/Jidong Zhai/Youhui Zhang/Yunquan Zhang/Wenguang Chen 发表时间:2020/8/17 论文链接:https://arxiv.org/pdf/2008.07141.pdf 代码地址:https://github.com/AI-HPC-Research-Team/AIPerf
推荐原因 目前,人工智能AI模型复杂度的指数级增长促进了高性能计算机群HPC与AI的融合。发展一种自动化的、无偏的方法来解决模型的搜索和优化,同时量化测量各种模型的性能是非常关键的问题。但是现有的HPC和AI基准在提供简单的量化测量时,并不能满足实际需求,没有可扩展性。针对这个问题,本文提出了使用AutoML作为AI-HPC的基准测试,通过算法自动搜索合适的神经网络模型和超参数,同时使用一个新的分数PFLOPS来衡量模型性能,这样可以更好地反映硬件以及软件的协同性能。
本文的主要贡献如下: • 澄清了AI-HPC基准的要求,并解释了现有的HPC和AI基准的缺陷。 • 第一个使用AutoML作为AI-HPC基准,并证明满足AI-HPC基准的要求。 • 建立了一个端到端的基准套件,具有高效和并行的实现。 • 提出了一种适用各种神经网络的分析方法来计算FLOPS。 • 提出了一个新设计的合成分数PFLOPS来量化异构系统。 • 使用大数据在不同规模的机器上评估基准测试,并验证基准的线性可扩展性和再现性。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢