Load is not what you should balance: Introducing Prequal

我们介绍了Prequal（探测以减少排队和延迟），这是一种分布式多租户系统的负载均衡器。Prequal旨在在异构服务器容量和非均匀的、时变的拥塞负载存在的情况下最小化实时请求延迟。它积极探测服务器负载，利用了d-choices范例的优势，通过异步和可重用的探测进行扩展。与传统智慧相反，Prequal不平衡CPU负载，而是根据估计的延迟和活跃的正在处理的请求来选择服务器。我们在一个测试系统上探索了它的主要设计特点，并在YouTube上进行了评估，在那里它已经被部署了两年多。Prequal已经显著降低了尾延迟、错误率和资源使用，使得YouTube和Google的其他生产系统能够以更高的利用率运行。

Prequal旨在针对分布式多租户系统中异构服务器容量和非均匀时变的对抗负载最小化实时请求延迟。

Prequal通过主动探测服务器负载来利用d-choices范例的力量，通过异步和可重用的探测扩展它。Prequal不按CPU负载平衡，而是根据估计的延迟和活动请求数选择服务器。

Prequal已在YouTube上部署了两年多，显著降低了尾延迟、错误率和资源使用率，使得YouTube和Google的其他生产系统能够以更高的利用率运行。

与此相关的研究包括：1. Load balancing in distributed systems: An overview of current approaches (2018); 2. Multi-objective Load Balancing in Distributed Systems: A Review (2020); 3. A Survey of Load Balancing in Cloud Computing: Challenges and Algorithms (2019)。