[ACM SIGMOD 2023] PKU-DAIR课题组3篇论文入选数据库顶级会议ACM SIGMOD 2023

近年来，基于机器学习 (ML) 的数据库性能优化技术引起了学术界和工业界的强烈兴趣。在数据库特定组件（例如，索引选择、参数调整）的优化上，基于机器学习 (ML) 的优化代理（agent）已经证明比有经验的数据库管理员（DBAs）能够找到更好的配置。然而，一个关键且具有挑战性的问题仍未被研究——如何使这些优化代理协同工作。针对此问题，论文《 A Unified and Efficient Coordinating Framework for Autonomous DBMS Tuning》提出了首个统一的联合优化框架UniTune，以有效利用基于ML的优化代理。该框架通过在不同的优化代理间传递优化信息，实现全局优化，并研究了如何在变化环境下明智地分配调优预算。UniTun定义了适用于多种代理的抽象与API，可以方便地集成现有代理，并支持未来扩展。实验测评表明，我们的优化框架显著优于基线方法。该论文第一作者为计算机学院2022级博士张心怡（导师崔斌教授），作者包括常卓、吴竑（阿里巴巴集团）、黎洋、陈嘉、谭剑（阿里巴巴集团）、李飞飞（阿里巴巴集团）、崔斌教授（通讯作者）。

近年来，可用的训练数据不断增加，深度学习研究员们倾向于使用更大参数量的模型来拟合这些知识，也取得了更好的效果。然而，随着模型参数量的不断扩大，模型训练所需要的计算量也在不断增长，这大大提高了模型训练的成本。因此，很多研究人员转向使用混合专家结构(MoEs)来高效地扩大模型参数，通过稀疏门控网络引入模型稀疏性，在不显著增加计算量的情况下增加模型的参数，在各类下游任务取得了很好的效果。然而，由于这种稀疏的模式面临着动态路由和负载不均衡的问题， 现有系统无法高效地处理此类计算模式。

在这篇论文中，我们提出了FlexMoE，一种面向大规模稀疏预训练模型的深度学习框架，从系统设计的角度解决了MoE模型中由动态数据流引起的低效问题。首先，我们观察了不同MoE模型训练过程中专家的负载情况，这驱动我们通过动态专家管理和设备放置机制来克服动态路由和负载不均的问题。然后，我们在现有的DNN系统上增加了一个新的调度模块，用来监控训练时的数据流，制定专家调度计划，并通过实时数据流量指导动态调整模型与硬件的映射关系。此外，我们利用了启发式算法来动态优化训练期间的设备放置。我们在NLP模型（例如BERT和GPT）和视觉模型（例如Swin）都进行了实验，结果显示FlexMoE可以在这些真实的工作负载上比现有的系统表现更好。该论文第一作者为计算机学院2019级博士聂小楠（导师崔斌教授），通讯作者为崔斌教授，合作作者包括微软的薛继龙、马凌霄和王子龙，CMU的苗旭鹏和杨子超，北京智源研究院的曹岗。

对于事务型数据库系统中的性能异常诊断，机器学习算法往往因缺乏训练数据而难以应用。针对该问题，论文《DBPA: A Benchmark for Transactional Database Performance Anomalies》提出了一套事务型数据库性能异常基准测试，包含多种常见性能异常的复现框架与评测数据集，支持新异常类型扩展。用户可在目标数据库部署该复现框架，生成具备多样性的性能异常数据，训练得到具有良好泛化性的机器学习模型，从而实现优于传统方法的异常诊断效果。用户也可基于该评测数据集，测试不同异常诊断工具的表现。该论文第一作者为计算机学院2020级博士黄世悦（导师崔斌教授），作者包括王子威、张心怡、屠要峰（中兴公司）、李忠良（中兴公司）、崔斌教授（通讯作者）。