从日志分析到用户画像：Apache Doris 2.x数据模型实战指南
当企业数据量从GB级跃迁到TB级时，传统数据库的线性查询性能下降往往成为业务瓶颈。某电商平台在2023年大促期间，仅用户行为日志就产生了日均20TB的增量数据，他们最终采用Apache Doris的混合模型方案，将实时查询响应时间从分钟级压缩到秒级。本文将带你还原这个真实场景的架构决策过程。
1. 数据模型选型的三维决策框架
选择数据模型时，架构师需要同时考虑三个核心维度：
- 数据更新模式：高频更新（如用户标签）适合Uniq模型，追加式写入（如日志流）适用Duplicate模型
- 查询延迟要求：亚秒级响应需要Aggregate预计算，分钟级容忍度可使用原始模型
- 存储成本约束：原始数据存储成本是聚合数据的3-5倍
我们通过一个对比表格具体说明三种模型的特性差异：
| 特性 | Duplicate | Uniq | Aggregate |
|---|---|---|---|
| 典型数据量 | TB~PB级 | GB~TB级 | MB~GB级 |
| 写入吞吐 | 50万+ rows/s | 10万+ rows/s | 5万+ rows/s |
| 存储放大系数 | 1x | 1.2x | 0.3x |
| 精确去重 | 不支持 | 支持 | 支持 |
| 预聚合 | 不支持 | 部分支持 | 完全支持 |
提示：实际项目中建议通过
EXPLAIN命令分析查询计划，模型选择不当可能导致BE节点内存溢出。
2. 日志分析：Duplicate模型的最佳实践
某互联网金融平台需要存储Nginx访问日志，每天产生约15亿条记录。他们最终采用的建表方案如下：
CREATE TABLE nginx_log ( `ts` DATETIME NOT NULL COMMENT '请求时间', `client_ip` VARCHAR(15) COMMENT '客户端IP', `method` VARCHAR(10) COMMENT 'HTTP方法', `uri` TEXT COMMENT '请求路径', `status` INT COMMENT '状态码', `latency` INT COMMENT '延迟(ms)' ) DUPLICATE KEY(ts, client_ip) DISTRIBUTED BY HASH(client_ip) BUCKETS 32 PROPERTIES ( "replication_num" = "3", "storage_medium" = "SSD", "storage_cooldown_time" = "7 days" );该设计考虑了三个关键点：
- 排序键优化：将高频查询的
ts和client_ip设为DUPLICATE KEY，利用前缀索引加速时间范围查询 - 分桶策略：按client_ip哈希分桶，使相同IP的查询落在单个BE节点
- 冷热分离：通过TTL自动将7天前数据迁移到HDD
实际查询性能对比：
| 查询类型 | 扫描行数 | 响应时间(未优化) | 响应时间(优化后) |
|---|---|---|---|
| 单IP最近1小时日志 | 1200 | 850ms | 23ms |
| 错误状态码统计 | 1.5亿/day | 12s | 1.8s |
3. 用户画像：Uniq模型的去重艺术
电商用户核心属性表需要解决两大难题：千万级用户的属性更新冲突，以及跨数据源的合并去重。以下是经过线上验证的解决方案：
CREATE TABLE user_profile ( `user_id` BIGINT NOT NULL COMMENT '用户ID', `device_id` VARCHAR(64) COMMENT '设备指纹', `gender` TINYINT COMMENT '性别', `age_range` VARCHAR(20) COMMENT '年龄段', `city_tier` VARCHAR(10) COMMENT '城市等级', `vip_level` INT COMMENT '会员等级', `update_time` DATETIME REPLACE COMMENT '最后更新时间' ) UNIQUE KEY(user_id, device_id) DISTRIBUTED BY HASH(user_id) BUCKETS 64 PROPERTIES ( "enable_persistent_index" = "true", "light_schema_change" = "true" );该设计亮点包括：
- 复合主键：
user_id+device_id组合解决同一用户多设备问题 - REPLACE语义：自动保留最后一次更新的属性值
- 持久化索引：避免重启后的长时索引重建
在数据合并场景中，采用MERGE INTO语句实现CDC数据高效更新：
MERGE INTO user_profile t USING user_profile_update s ON t.user_id = s.user_id AND t.device_id = s.device_id WHEN MATCHED THEN UPDATE SET * WHEN NOT MATCHED THEN INSERT *4. 行为分析：Aggregate模型的预聚合魔法
某社交平台需要实时统计用户每日互动指标，他们设计的分层聚合方案值得借鉴：
-- 基础聚合表 CREATE TABLE user_behavior_agg ( `dt` DATE NOT NULL COMMENT '日期', `user_id` BIGINT NOT NULL COMMENT '用户ID', `like_cnt` BIGINT SUM DEFAULT '0' COMMENT '点赞数', `comment_cnt` BIGINT SUM DEFAULT '0' COMMENT '评论数', `share_cnt` BIGINT SUM DEFAULT '0' COMMENT '分享数', `max_online_duration` INT MAX COMMENT '最大在线时长', `avg_visit_freq` DOUBLE HLL_UNION COMMENT '访问频率' ) AGGREGATE KEY(dt, user_id) DISTRIBUTED BY HASH(user_id) BUCKETS 48 PROPERTIES ( "disable_auto_compaction" = "false", "enable_auto_colocate" = "true" ); -- 物化视图加速查询 CREATE MATERIALIZED VIEW mv_region_agg AS SELECT dt, province, SUM(like_cnt) AS total_likes, HLL_UNION(avg_visit_freq) AS uv FROM user_behavior_agg GROUP BY dt, province;该架构实现了三个关键优化：
- 多粒度聚合：基础表按用户粒度聚合，物化视图按地域聚合
- 高级聚合函数：HLL_UNION实现UV精确去重
- 自动协同定位：相同分桶策略的表自动物理共置
在数据加载阶段，建议采用Stream Load方式实现高效写入：
curl --location-trusted -u user:passwd \ -H "format: json" \ -H "strip_outer_array: true" \ -T data.json \ http://fe_host:8030/api/db/user_behavior_agg/_stream_load5. 混合模型设计的实战技巧
在真实业务中，往往需要组合使用多种模型。某O2O平台采用的混合方案节省了40%的存储成本：
- 原始日志层：Duplicate模型保留最近7天明细
- 轻度聚合层：Uniq模型存储30天用户行为摘要
- 重度聚合层：Aggregate模型保留年度统计指标
关键配置参数调优建议：
| 参数 | 推荐值 | 作用域 |
|---|---|---|
| compression_type | LZ4 | 所有模型 |
| enable_persistent_index | true | Uniq/Aggregate |
| storage_format_version | 2 | 所有模型 |
| disable_storage_medium_check | true | 高并发写入场景 |
对于时序数据场景，可以结合Rollup实现自动降采样：
ALTER TABLE metric_data ADD ROLLUP r5m ( time_bucket(ts, 300), device_type, SUM(value), MAX(value) );在数据迁移过程中，我们常使用INSERT INTO SELECT语句实现模型转换：
-- 从Duplicate到Aggregate的数据转换 INSERT INTO user_behavior_agg SELECT DATE(ts), user_id, COUNT_IF(action='like'), COUNT_IF(action='comment'), MAX(duration) FROM raw_log GROUP BY 1, 2;
