Performance Prediction for Large Systems via Text-to-Text Regression

在许多行业中，预测大型系统的指标结果是一个基础性问题，传统上主要依赖表格回归方法。然而，在面对诸如配置文件或系统日志这样的复杂系统数据时，这些方法往往表现不佳，因为在这种情况下特征工程通常是不可行的。我们提出了一种通用且可扩展的替代方法——文本到文本的回归。在预测谷歌庞大的计算集群调度系统 Borg 的资源效率方面，一个从随机初始化开始训练的、包含 6000 万参数的编码器-解码器模型，在整个集群范围内达到了接近完美的 0.99（平均 0.9）等级相关系数，并且均方误差比表格方法低了 100 倍。该模型还能轻松适应新任务，仅需约 500 个少样本示例即可完成学习，并能够捕捉复杂结果分布的密度。消融实验突出了使用编码器、增加序列长度以及模型本身对不确定性量化的关键作用。这些发现为构建现实世界结果的通用模拟器铺平了道路。

论文旨在解决在复杂系统中预测度量结果的问题，特别是在面对如配置文件或系统日志等难以进行特征工程的数据时，传统表格回归方法的局限性。这个问题在工业界具有广泛的应用背景，并且是一个长期存在的挑战。

论文提出了一种通用且可扩展的替代方法——文本到文本的回归模型，用于预测大规模系统（如Google的Borg集群调度系统）中的资源效率。与当前研究不同，该方法无需复杂的特征工程，而是直接将原始文本输入映射为数值输出，利用基于Transformer的编码器-解码器架构从零开始训练。

{"使用60M参数的编码器-解码器模型，在整个Google Borg系统上取得了接近完美的0.99等级相关系数（平均0.9），并比传统表格方法降低了100倍的MSE。",模型仅需500个少样本示例即可快速适应新任务，并能捕捉复杂结果分布的密度。,通过消融实验验证了编码器的重要性、序列长度的影响以及模型内在的不确定性量化能力。,实验设计覆盖真实工业级数据集，展示了强大的泛化能力和实际部署潜力。,未来值得探索该方法在其他复杂系统中的适用性，以及如何进一步提升其对长序列建模的能力。}

{"TabNet: Attentive Interpretable Tabular Learning (Arik & Pfister, 2021)","Deep Learning for Tabular Data: A Survey (Zhang et al., 2022)","Language Models are Few-Shot Learners (GPT-3, Brown et al., 2020)","T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al., 2020)","Few-Shot Learning with Language Models for Real-World Regression Tasks (Huang et al., 2023)"}