Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks

尽管深度学习取得了许多成功，但其结果往往取决于超参数的精细选择。然而，深度学习训练耗时较长，使得超参数优化成为一项昂贵的工作，减缓了高效HPO工具的开发。虽然零成本基准提供了非并行设置的性能和运行时间，但在并行设置中它们存在不足，因为每个工作器必须通信其查询的运行时间以按照确切的顺序返回其评估结果。本文通过引入一个用户友好的Python包，解决了这一挑战，该包利用零成本基准实现了高效的并行HPO。我们的方法根据文件系统中存储的信息计算出确切的返回顺序，消除了长时间等待的需要，使HPO评估速度更快。我们首先通过广泛的测试验证了我们方法的正确性，然后对6个流行的HPO库进行实验，表明它适用于不同的库并能实现超过1000倍的速度提升，相比传统方法。我们的包可以通过pip install mfhpo-simulator安装。

本论文旨在解决深度学习中超参数优化的问题。由于深度学习训练非常耗时，因此超参数优化也变得非常耗时，限制了高效HPO工具的开发。当前零成本基准测试虽然适用于非并行设置，但在并行设置中效果不佳，需要每个worker按照查询运行时间的顺序返回其评估结果，导致等待时间过长。因此，本文旨在提出一种用户友好的Python包，利用零成本基准测试实现高效的并行HPO。

本文提出的解决方案是通过计算文件系统中存储的信息来确定精确的返回顺序，从而消除长时间等待的需要，实现更快的HPO评估。相比传统方法，本文的方法可以实现1000倍以上的加速。该方法适用于各种HPO库。

本文的亮点在于提出了一种高效的并行HPO方法，通过计算文件系统中存储的信息来确定返回顺序，从而消除了长时间等待的需要，实现更快的HPO评估。作者通过测试验证了该方法的正确性，并通过6个流行的HPO库的实验展示了其适用性和高效性。本文还提供了一个Python包，可以通过pip install mfhpo-simulator安装。值得深入研究的是如何将该方法应用于其他领域中的超参数优化。

在这个领域中，最近的相关研究包括：1. Efficient Hyperparameter Optimization with Meta-Gradient Descent；2. Population-Based Training of Neural Networks；3. Bayesian Optimization with Robust Bayesian Neural Networks。