Data Caching for Enterprise-Grade Petabyte-Scale OLAP

随着数据数量的指数级增长和使用情况的不断发展，PB 级 OLAP 数据平台越来越多地采用将计算与存储分离的模式。这种转变在 Uber 和 Meta 等组织中已经显现，但也带来了一些运营挑战，包括可能会出现的巨大、读重的 I/O 流量限制，以及不均衡和分散的数据访问模式。为了解决这些挑战，本文介绍了 Alluxio 本地（边缘）缓存，这是一种专为这种环境量身定制的高效架构优化。这种可嵌入式缓存针对 PB 级数据分析进行了优化，利用本地 SSD 资源来减轻网络 I/O 和 API 调用压力，显著提高数据传输效率。与 Presto 等 OLAP 系统和 HDFS 等存储服务集成后，Alluxio 本地缓存已经在 Uber 和 Meta 的三年部署中证明了其处理大规模企业级工作负载的有效性。我们分享了在实施这些优化方面的见解和运营经验，为管理现代大规模 OLAP 工作负载提供了有价值的视角。

本论文旨在解决OLAP数据平台中的计算与存储分离所带来的操作挑战，包括大规模、读取密集的I/O流量和数据访问模式的偏斜和分散。

本文提出了Alluxio本地缓存的解决方案，利用本地SSD资源来缓解网络I/O和API调用压力，显著提高数据传输效率。

Alluxio本地缓存已经在Uber和Meta等企业级工作负载中使用三年，通过与Presto和HDFS等OLAP系统和存储服务的集成，证明了其在处理大规模OLAP工作负载方面的有效性。论文分享了实施这些优化的见解和操作经验。

在这个领域中，还有其他研究在探索计算与存储分离的问题，如Apache Arrow和Apache Ignite。