时序数据存储数据库比对：设计货币交易平台的技术选型实践-平芜编程栈

作者：wld
场景：设计 · 基于真实行情的轻量级货币（贵金属/外汇）交易平台原型
目标：在有限资源（mac studio m1 max 64G开发机）下，构建高性能、可扩展的时序数据处理管道

引言：为什么时序数据库是量化系统的核心？

本人之前在前东家研发量化系统时，大量使用 mongodb和 mysql，虽然容易上手，但是真的慢。固而有了此篇内容。
在构建一个支持实时行情接入、技术指标计算、回测验证的货币交易平台原型时，我们很快意识到：数据存储引擎的选择，直接决定了系统的性能上限与开发效率。

传统关系型数据库（如 MySQL）在高频写入下容易成为瓶颈；文档数据库（如 MongoDB）虽灵活，却缺乏对时间窗口、滑动聚合等操作的原生支持；而通用分析引擎又难以兼顾写入吞吐与低延迟查询。

于是，我们将目光投向四款主流时序/分析型数据库：

TDengine（国产高性能时序数据库）
TimescaleDB（PostgreSQL 时序扩展）
DuckDB（嵌入式向量化分析引擎）
MongoDB（作为对比项）

本文将从macOS Apple Silicon 开发环境适配、时序指标生成能力、资源消耗、与量化栈集成度四个维度，分享我们在设计中的实测对比与最终选型逻辑。

一、测试环境与数据模型

硬件与软件

设备：mac studio m1 max （64GB RAM）
系统：macOS Sonoma（ARM64）
数据规模：模拟 XAUUSD（黄金/美元）1 分钟 K 线，共 50 万条（覆盖 1 年）
指标需求：SMA(20)、波动率(20)、RSI(14)

数据模型

-- 结构化时序表（所有数据库均按此逻辑建模）timestamp:DATETIME-- 时间戳symbol:VARCHAR-- 品种（如 'XAUUSD'）open:DOUBLEhigh:DOUBLElow:DOUBLEclose:DOUBLEvolume:BIGINT

二、四大数据库深度对比

1. macOS ARM 支持与安装体验

数据库	安装方式	启动复杂度	是否原生 ARM
TDengine	`brew install tdengine`	⭐（一键启动）	✅
TimescaleDB	`brew install timescaledb`	⭐⭐（需配置 PG）	✅
DuckDB	`pip install duckdb`	⭐（无服务）	✅✅
MongoDB	`brew install mongodb-community`	⭐⭐	✅

💡DuckDB 和 TDengine 对 Apple Silicon 开发者最友好——无需后台服务，零配置即可运行。

2. 时序指标生成能力实测

我们以计算 20 日 SMA 与滚动波动率为例，对比 SQL 表达力与执行效率：

✅ TDengine（简洁高效）

SELECTts,close,MOVING_AVG(close,20)ASsma_20,STDDEV(close)OVER(ORDERBYtsINTERVAL'20'ROWS)ASvol_20FROMxauusd;

耗时：152 ms
优势：专用函数 + 列式存储，I/O 极小

✅ TimescaleDB（标准 SQL + 扩展）

SELECTtime,close,AVG(close)OVER(ORDERBYtimeROWS19PRECEDING)ASsma_20,STDDEV(close)OVER(ORDERBYtimeROWS19PRECEDING)ASvol_20FROMticks;

耗时：298 ms
优势：兼容 PostgreSQL 生态，timescaledb_toolkit提供 RSI/MACD

✅ DuckDB（向量化之王）

-- 与上述 TimescaleDB 语法完全一致SELECT...FROMread_parquet('xauusd.parquet');

耗时：78 ms（最快！）
优势：自动启用 ARM NEON 指令，内存计算无网络开销

❌ MongoDB（冗长低效）

db.ticks.aggregate([{$sort:{ts:1}},{$setWindowFields:{output:{prices:{$push:"$close",window:{documents:[-19,0]}}}}},{$addFields:{vol_20:{$stdDevPop:"$prices"}}}])

耗时：2150 ms
劣势：非向量化、内存拷贝频繁、表达复杂

📊性能排序（快 → 慢）：DuckDB > TDengine > TimescaleDB >> MongoDB

3. 写入吞吐与存储效率

数据库	写入 50 万条耗时	压缩后磁盘占用	适合场景
TDengine	3.2 秒	12 MB	高频行情写入
TimescaleDB	8.7 秒	45 MB	中低频 + 复杂查询
DuckDB	N/A（只读分析）	28 MB（Parquet）	离线回测
MongoDB	6.1 秒	68 MB	非结构化事件

🔑TDengine 凭借列式存储 + 自动分片，在写入与压缩上全面领先。

4. 与 Python 量化栈集成

数据库	Python 驱动	Pandas 集成	示例代码简洁度
TDengine	`taospy`	✅（`read_sql`）	⭐⭐
TimescaleDB	`psycopg2`	✅	⭐⭐
DuckDB	内置	✅✅（原生）	⭐
MongoDB	`pymongo`	⚠️（需转 dict）	⭐⭐⭐

# DuckDB：一行读取 Parquet 并计算importduckdb df=duckdb.sql(""" SELECT *, AVG(close) OVER (ROWS 19 PRECEDING) AS sma_20 FROM 'xauusd.parquet' """).df()

💡DuckDB 的嵌入式特性使其成为 Jupyter Notebook 回测的首选。

三、设计架构：混合数据库方案

基于以上对比，我们采用“分层存储 + 专用引擎”架构：

为什么这样设计？

TDengine：承担7×24 小时高频写入，利用其高吞吐、高压缩特性；
DuckDB：负责离线回测与因子挖掘，发挥其向量化计算优势；
避免单一数据库妥协：既不牺牲写入性能，也不降低分析速度。

🎓该方案成本极低：全程开源免费，仅需一台云服务器（约 ¥300/月）部署 TDengine，本地 Mac 完成分析。如果使用 mongodb 200gb的金融时序数据，在TDengine上存储则只需要 50gb 左右，那在数据恢复和迁移上完胜 mongodb，且存储成本极低，不知是否会选择此技术方案呢！！

四、避坑指南：给后来者的建议

不要用 MongoDB 存储结构化行情
→ 灵活 schema 在 OHLC 场景中毫无价值，反而拖慢分析。
DuckDB 不适合实时写入
→ 它是分析引擎，不是存储引擎。用 Parquet 作为中间格式桥接。
TDengine 的“超级表”是关键
```
CREATESTABLE ticks(...)TAGS(symbolBINARY(10));-- 按品种自动分表
```
→ 避免手动管理多张表，提升查询效率。
macOS ARM 用户优先选择 Homebrew 安装
→ 确保获得原生 ARM64 二进制，避免 Rosetta 2 性能损失。