Daedalus: Self-Adaptive Horizontal Autoscaling for Resource Efficiency of Distributed Stream Processing Systems

分布式流处理（DSP）系统能够处理大量无限数据流，提供高吞吐量和低延迟。为了维持稳定的服务质量（QoS），这些系统需要足够的资源分配。同时，过度提供资源会导致能源浪费和高运营成本。因此，为了最大化资源利用率，已经提出了自动缩放方法，旨在有效地匹配资源分配和传入的工作负载。然而，确定何时以及以多少比例进行缩放仍然是一个重大挑战。由于 DSP 作业的长期运行性质，缩放操作需要在运行时执行，并且为了保持良好的 QoS，它们应该既准确又不频繁。为了解决自动缩放的挑战，自适应系统的概念特别适合。这些系统监视自己和它们的环境，以最小的专家参与来适应变化。 本文介绍了 Daedalus，一种自适应管理器，用于 DSP 系统的自动缩放，它借鉴了自适应原则来解决有效自动缩放的挑战。Daedalus 监视正在运行的 DSP 作业并构建性能模型，旨在预测不同扩展规模下的最大处理能力。当与时间序列预测相结合以预测未来的工作负载时，Daedalus 主动缩放 DSP 作业，优化最大吞吐量，并将延迟和资源使用最小化。我们使用 Apache Flink 和 Kafka Streams 进行实验，评估了 Daedalus 与两种最先进方法的性能。Daedalus 能够实现可比较的延迟，同时将资源使用减少了高达 71%。

Daedalus试图解决分布式流处理系统中自动缩放的挑战，即如何在保证高吞吐量和低延迟的同时，最大化资源利用率。

Daedalus利用自适应系统的原理，监视运行中的DSP作业并构建性能模型，结合时间序列预测来预测未来的工作负载，从而主动缩放DSP作业，优化吞吐量，同时最小化延迟和资源使用。

Daedalus在Apache Flink和Kafka Streams上进行了实验，与两种最先进的方法进行了比较。实验结果表明，Daedalus能够实现可比较的延迟，同时将资源使用减少了高达71%。

与此相关的最近研究包括AutoScale和ScaleOut，它们都是自适应系统的自动缩放解决方案。