DRPC: Distributed Reinforcement Learning Approach for Scalable Resource Provisioning in Container-based Clusters

微服务已经将单体应用转变为轻量、自包含、隔离的应用组件，成为了公共云（如Google和阿里巴巴）应用开发和部署的主导范式。自动缩放成为管理微服务副本分配的有效策略。然而，微服务链内的动态和复杂依赖关系给规模化微服务的有效管理带来了挑战。此外，集中式自动缩放方法在大规模微服务集群管理方面可能会遇到可扩展性问题。为了应对这些挑战并增强可扩展性，我们提出了一种基于Twin Delayed Deep Deterministic Policy Gradient算法的创新分布式资源调配方法来管理微服务。该方法实现了有效的自动缩放决策，并将责任从中心节点分散到分布式节点。通过在真实测试环境和跟踪中获得的与最新技术方法的比较结果表明，我们的方法将平均响应时间减少了15％，失败请求的数量减少了24％，从而验证了随着请求数量的增加，可扩展性得到了改善。

本论文旨在解决微服务中复杂的依赖关系和集中式自动扩展管理的可扩展性问题，提出一种基于Twin Delayed Deep Deterministic Policy Gradient算法的分布式资源分配方法。

本论文的关键思路是采用Twin Delayed Deep Deterministic Policy Gradient算法来实现分布式资源分配，从而使自动扩展决策更加有效，并将责任从中央节点分散到分布式节点。

本论文通过在真实测试平台上的实验结果和跟踪数据的比较，证明了该方法可以降低平均响应时间15％，减少失败请求数24％，从而验证了其在请求量增加时的可扩展性。值得关注的是，本论文提出的方法可以解决微服务中复杂的依赖关系和集中式自动扩展管理的可扩展性问题，具有很大的应用前景。

在相关研究方面，最近的一些研究包括：《Microservices Autoscaling in Cloud Environments: A Systematic Review》、《A Survey of Autoscaling in Cloud Computing》等。