TIS 数据同步指南:三步搭好批流一体的数据集成平台
【免费下载链接】tisSupport agile Ontology DataOps Based on Flink, DataX and Flink-CDC with Web-UI项目地址: https://gitcode.com/GitHub_Trending/ti/tis
还在手改 json、对着命令行一条条排同步任务?任务一多,这种活儿真的扛不住。TIS 把数据同步搬进了浏览器:它是开源的批流一体数据集成平台,白屏点选就能建任务,从 MySQL 到 Doris、ElasticSearch,全量增量都管。
白屏配置上手:TIS 能帮你干的四件事
- 白屏化配置:告别 json 和命令行。页面上选数据源、选表、选字段,同步任务就建好了。
- 批流一体:DataX 跑全量,Flink-CDC 跑增量,同一套界面切换,搭实时数仓不用换工具。
- Transformer 算子:同步路上顺手做 ETL。字段脱敏、JSON 拆分、字符串拼接,抽取阶段就能搞定。
- AI 建管道:一句话描述需求,Pipeline AI Agent 自动帮你选插件、填参数、排任务 🤖
架构怎么搭:微前端 + SPI,像拼乐高
核心选型一句话:微前端 + SPI ≈ 可插拔的乐高 🧩 每个数据源都是一个插件块,装上就能用;缺哪个,你可以照着插件规范自己做一个。页面由插件元数据自动渲染,新数据源上线不用改前端。
底层引擎是经过生产验证的老朋友:DataX 负责批处理,Flink-CDC 和 Chunjun 负责流处理,TIS 把它们包进 DataOps 式的流程模型里。你只管点选,不用关心底层模块怎么跑。
想深挖设计细节,仓库里 design/ 目录沉淀了从批流一体到 DAG 拓扑的完整方案文档。
四类落地场景:照着抄就能跑
- MySQL → StarRocks / Doris 实时同步:业务库变更秒级进 OLAP,看板直接读新鲜数据。
- 多源汇聚 Doris:DataX 打底全量 + CDC 追增量,一套配置搭起实时数仓。
- 变更写入 Kafka:下游直接订阅变更流,别再轮询数据库。
- T+1 离线分析:每天定时跑一批 DataX,早会前自动出数。
白屏配置大概长这样:填个 Flink 集群地址,剩下的向导带你走完。
谁适合用 TIS:三分钟判断
数据源多、同步任务密的数据团队,闭眼上。装它也简单:下载 tar 包、解压、启动,三步跑起来,Docker 和 K8s 部署同样支持。如果你只是偶尔导个 CSV,那用不着它——别为一次导出装个平台。
感兴趣的话,直接去仓库试试:git clone https://gitcode.com/GitHub_Trending/ti/tis ,把 MySQL 数据同步到 Doris,十分钟能跑通 ⚡
【免费下载链接】tisSupport agile Ontology DataOps Based on Flink, DataX and Flink-CDC with Web-UI项目地址: https://gitcode.com/GitHub_Trending/ti/tis
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考