VEGA: Towards an End-to-End Configurable AutoML Pipeline

作者单位：华为诺亚方舟实验室, 香港科技大学

论文链接：https://arxiv.org/abs/2011.01507 代码链接：https://github.com/huawei-noah/vega

  1. 完备的AutoML能力：涵盖HPO(超参优化)、数据增广、NAS、模型压缩、Fully Train等关键功能，可以根据需要进行配置，构造完整的pipeline。
  2. 业界标杆的自研算法：提供了诺亚方舟实验室自研的业界标杆算法，并提供 Model Zoo 下载SOTA(State-of-the-art)模型。
  3. 高并发模型训练能力：提供高性能Trainer，加速模型训练和评估。
  4. 多Backend支持：支持PyTorch，TensorFlow（试用中），MindSpore（开发中）。

AutoML 是自动发现和部署机器学习模型的重要工业解决方案。但是，设计集成的AutoML系统面临可配置性，可扩展性，可集成性和平台多样性的四个重大挑战。在这项工作中，我们介绍了VEGA，这是一个高效且全面的AutoML框架，可针对多个硬件平台进行兼容和优化。 a）VEGA 集成了AutoML的各种模块，包括神经体系结构搜索（NAS），超参数优化（HPO），自动数据增广，模型压缩和完全训练。 b）为了支持各种搜索算法和任务，我们设计了一种新颖的细粒度搜索空间及其描述语言，以便轻松适应不同的搜索算法和任务。 c）我们将深度学习框架的通用组件抽象到一个统一的界面中。 VEGA可以与多个后端和硬件一起执行。针对多个任务的广泛基准测试表明，VEGA可以改进现有的AutoML算法，并针对SOTA方法（例如SOTA方法）发现新的高性能模型。在ImageNet上搜索的DNet模型库中（Ascend），比EfficientNet-B5快10倍，比RegNetX-32GF快9.2倍。

内容中包含的图片若涉及版权问题，请及时与我们联系删除