news 2026/5/19 3:33:40

Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

1. 最小可用 DDL

CREATETABLEblackhole_table(f0INT,f1INT,f2 STRING,f3DOUBLE)WITH('connector'='blackhole');

写入:

INSERTINTOblackhole_tableSELECTf0,f1,f2,f3FROMsome_table;

你会发现:作业在跑、吞吐很高、但没有任何外部输出(这就是它的目的)。

2. LIKE 方式:快速把某张表“替换成黑洞”

调试/压测时经常想把某个 sink 暂时换掉:

CREATETABLEblackhole_sinkWITH('connector'='blackhole')LIKEsource_table(EXCLUDINGALL);

然后把原来的INSERT INTO real_sink ...改成写入blackhole_sink,就能立刻判断:

  • 性能瓶颈是不是外部系统(把外部 IO 去掉后吞吐是否暴涨)
  • SQL/UDF 本身是否有问题(不受外部写入失败干扰)

3. 和 Print 的区别:一个“看数据”,一个“只测性能”

  • Print:把每行写到 Task 日志,适合看数据形态、RowKind、字段值;但日志 IO 会很重
  • BlackHole:完全不输出,适合压测、跑通链路、测算子性能上限

经验用法:

  • 先用Print在小流量下确认结果正确
  • 再切BlackHole做大流量压测,看吞吐/背压/CPU/GC

4. 经典压测组合:DataGen → SQL → BlackHole

用 DataGen 造数据,上游无限流,sink 用 blackhole 吞掉,测你这段 SQL 的极限吞吐:

CREATETABLEgen_src(idBIGINT,scoreINT,name STRING)WITH('connector'='datagen','rows-per-second'='50000','fields.id.kind'='sequence','fields.id.start'='1','fields.id.end'='1000000000','fields.score.min'='0','fields.score.max'='100','fields.name.length'='20','fields.name.var-len'='true');CREATETABLEbh_sink(idBIGINT,scoreINT,name STRING)WITH('connector'='blackhole');INSERTINTObh_sinkSELECTid,score,nameFROMgen_srcWHEREscore>=50;

这套非常适合你用来验证:

  • filter / projection / UDF / join / agg 哪个最吃 CPU
  • 调高rows-per-second后是否出现背压(sink 不会是原因)

5. 生产/排障小建议(很实用)

  • 定位外部 sink 瓶颈:real sink → blackhole,如果吞吐立刻上去,问题大概率在外部系统或 sink 配置(bulk、flush、并发、重试等)
  • 评估 SQL 复杂度成本:blackhole 下仍然跑不动,说明计算本身(UDF/聚合/Join/state)就是瓶颈
  • 不要指望它验证数据正确性:它不会输出任何记录,正确性要靠 Print / 结果表 / 指标来验证
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/11 17:15:26

卫星通信基础知识完整整理 | 从入门到精通

目录 卫星通信概述卫星轨道类型卫星通信系统组成关键通信技术频段与频率分配卫星通信原理应用场景分析优缺点对比发展趋势总结 卫星通信概述 什么是卫星通信 卫星通信是指利用人造地球卫星作为中继站,在地球表面两个或多个点之间进行信息传输的通信方式。它通过将…

作者头像 李华
网站建设 2026/5/15 16:43:32

基于PHP+MySQL的自主可控的在线点餐小程序源码

温馨提示:文末有资源获取方式面对日益高涨的线上消费需求,餐饮商家如何拥有一套既能贴合自身特色,又能安全稳定运营的点餐系统?答案在于选择一套真正开放、可自主掌控的源码系统。下面介绍的这款高性能在线点餐小程序源码系统&…

作者头像 李华
网站建设 2026/5/16 3:16:48

AI 写论文哪个软件最好?虎贲等考 AI 凭全流程闭环成毕业论文首选

还在纠结 AI 写论文哪个软件最好?对着五花八门的工具挑花眼,试了多款却要么只懂文字拼接,要么文献漏洞百出,要么格式规范完全不符高校要求?作为深耕论文写作科普的博主,后台每天都被 “毕业论文 AI 工具怎么…

作者头像 李华
网站建设 2026/5/16 3:56:32

国外研究文献网站使用指南:如何高效查找与获取学术资源

刚开始做科研的时候,我一直以为: 文献检索就是在知网、Google Scholar 里反复换关键词。 直到后来才意识到,真正消耗精力的不是“搜不到”,而是—— 你根本不知道最近这个领域发生了什么。 生成式 AI 出现之后,学术检…

作者头像 李华
网站建设 2026/5/15 22:14:25

导师严选2026 TOP8 AI论文工具:MBA开题报告全测评

导师严选2026 TOP8 AI论文工具:MBA开题报告全测评 2026年MBA论文写作工具测评:为何需要一份权威榜单? 在当前AI技术快速发展的背景下,MBA学生在撰写开题报告和论文过程中,面临诸多挑战。从选题构思到文献综述&#x…

作者头像 李华
网站建设 2026/5/14 20:36:37

java_ssm107网上蛋糕店商城销售系统的设计与实现_idea项目源码

目录 具体实现截图项目背景与意义技术架构与功能模块创新点与优势应用价值 系统所用技术介绍写作提纲源码文档获取/同行可拿货,招校园代理 :文章底部获取博主联系方式! 具体实现截图 项目背景与意义 随着电子商务的快速发展,线上蛋糕销售成…

作者头像 李华