doris中的加速聚合查询

在 Doris 中，加速聚合查询主要通过以下机制实现：

---

1.预聚合（Rollup）

通过预计算聚合结果，减少查询时的计算量：

-- 创建 Rollup 表 ALTER TABLE sales ADD ROLLUP rollup_city (city, sum(sales_amount));

• 效果：查询SELECT city, SUM(sales_amount) FROM sales GROUP BY city直接命中 Rollup 数据。

---

2.物化视图（Materialized View）

存储预先计算的聚合结果：

CREATE MATERIALIZED VIEW mv_sales AS SELECT region, product, SUM(amount) FROM sales GROUP BY region, product;

• 自动路由：查询匹配时自动命中物化视图。

---

3.分区与分桶优化

• 分区（Partition）：按时间范围拆分数据，缩小扫描范围。
• 分桶（Bucket）：对分区内数据哈希分桶，并行处理。

---

4.Runtime Filter

在 Join 场景下动态过滤数据：

SET runtime_filter_mode="GLOBAL";

• 原理：将大表 Join 键的过滤条件推送至小表扫描阶段。

---

5.向量化执行引擎

• 批处理：单次处理多行数据，减少函数调用开销。
• 列式存储：仅读取查询所需的列。

---

适用场景对比

机制	适用场景	优势
Rollup	固定维度聚合	零计算开销
物化视图	复杂聚合 & 多维度组合	灵活适配查询
Runtime Filter	大表 Join 小表的聚合	减少 Shuffle 数据量

---

最佳实践：

1. 高频聚合查询优先使用 Rollup 或物化视图。
2. Join 聚合启用 Runtime Filter。
3. 数据规模超过亿级时，结合分区与分桶提升并行度。