元数据驱动的数据平台架构设计

👨‍💻演讲嘉宾：

Alexey Milovdov，ClickHouse CTO

谢志豪 ClickHouse 技术支持工程师

Alexey 毕业于莫斯科国立大学，拥有数学学位。他的兴趣领域包括数据处理算法和技术，他热爱数据和高性能。拥有13年的设计、开发和操作数据密集型应用程序的经验。他于2009年开始着手ClickHouse初始模型的策划和开发，并于2016年将其释放为开源项目。在ClickHouse之前，他开发了全球第二大网络分析系统的数据处理引擎。

Derek 谢志豪是 ClickHouse 的技术支持工程师。主要工作范围包括帮助大型客户解决重大技术问题，优化 Clickhouse 集群，提升使用体验。Derek 毕业于新加坡国立大学 (NUS) 获得信息系统学位，在 ClickHouse 工作之前一直从事数据平台的优化和管理工作。

硕士，毕业于上海交通大学，在上海炎凰数据主要负责时序数据库的开发。之前在Splunk工作，主要参与数据采集相关的开发工作。

📕演讲提纲：

1. 介绍数据库表达式求值的一般方法

（1）什么是表达式求值问题

（2）常见方法如向量化/JIT/树遍历等

（3）不同的数据库的解法

2. JIT即时编译技术

（1）什么是JIT即时编译技术

（2）JIT技术的优缺点

3. 使用Gandiva表达式编译器

（1）介绍Apache Arrow

（2）介绍Gandiva表达式编译器, LLVM及其工作

1. 如何对数据库表达式求值

2. JIT即时编译技术的基本概念以及为什么需要JIT

3. 如何使用Apache Arrow/Gandiva的JIT即时编译技术加速计算

🔥演讲题目：Bit-sliced-index：基于 Roaringbitmap 的人群 OLAP 分析、在线服务的 one more thing?

黄海林 灵犀互娱 技术专家

唐凯麟 灵犀互娱 高级研发工程师

黄海林，灵犀互动数据服务 leader，Roaringbitmap Java 版 BSI 作者。

唐凯麟，计算机科学与技术硕士，专注于大数据系统和数据平台的技术研发工作，现在主要负责阿里巴巴-灵犀互娱数据平台开发。

第一部分：

1. 灵犀互娱面向游戏用户的数据难题

2. 元数据驱动数据架构设计

第二部分：

此次分享将介绍现代 DMP 平台中的数据存储与计算面临的特点与挑战，以及为灵犀互娱针对海量数据的建模与存储计算优化策略。具体包括：

1. 灵犀互娱业务数据应用现状及挑战

2. 基于 Roaring Bitmap 与 Bit-Index Slice 的数据存储、计算原理介绍

3. 案例分享

第一部分：

1. 人群和指标的高效联动分析

2. 高性能人群服务如何设计

第二部分：

1. 海量数据建模、存储与计算解决方案

2. 如何构建高效的海量数据平台架构快速进行数据分析

👨‍💻演讲嘉宾：孙弘毅 微信 大数据研发高级工程师

硕士毕业于南京大学计算机系，具有多年大数据和分布式系统研发经验，对 Spark、Flink、Kafka、Pulsar 等大数据组件和消息中间件有深入的理解，目前在微信 WeOLAP 团队参与以 Clickhouse 为基座的海量数据亚秒级分析系统研发。

1. ClickHouse 在微信的新应用场景

2. 如何进行查询性能观测

3. 湖仓读取场景优化

4. 实验场景优化

5. 向量数据库应用 & embedding 检索优化

👨‍💻演讲嘉宾：袁文兵 vivo 互联网大数据架构师

计算机科学与技术硕士，曾任职于腾讯，现在 vivo 负责大数据研发工作，OLAP 项目负责人，专注于大数据系统和 OLAP 数据库的技术研发工作，具有8年大数据从业经验。

1. vivo OLAP 的发展历程与选型

2. ClickHouse 的稳定性实践

3. ClickHouse 查询优化实践

4. ClickHouse 实践案例

1. 了解 ClickHouse 常见的稳定性问题及解决方案

2. 了解 ClickHouse 的查询优化方面的实践技巧

3. ClickHouse 如何赋能业务，带来降本增效