news 2026/11/6 5:24:30

Docker 容器|Flink 消费 Kafka!自定义网络

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Docker 容器|Flink 消费 Kafka!自定义网络

接上一篇 bitnami/kafka 镜像踩坑!

很多同学搭完 Kafka,启动 Flink 容器死活连不上😭

核心坑:容器之间不能写localhost!!

Flink 和 Kafka 放在同一个 docker 自定义网络,直接用服务名通信!

💡原理:

同一个 docker network 里面,容器可以互相通过容器名 / 服务名 DNS 解析

Flink 访问 Kafka bootstrap 地址写kafka:9092,不是localhost:9092!


✅步骤:

1️⃣ 创建自定义 docker 网络(只需要创建一次)

docker network create flink-kafka-net

2️⃣ 启动 bitnami/kafka 的时候,加入这个网络,重点配置环境变量(关键!advertised.listeners)

docker run -d \ --name kafka \ --network flink-kafka-net \ -p 9092:9092 \ -e KAFKA_BROKER_ID=1 \ -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 \ -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \ bitnami/kafka:3.6.1

zookeeper 也要加到 flink-kafka-net 这个网络里!

3️⃣ 启动 Flink(jobmanager/taskmanager)同样加入flink-kafka-net

# jobmanager示例 docker run -d --name flink-jm \ --network flink-kafka-net \ -p 8081:8081 \ flink:1.18 jobmanager

4️⃣ Flink 代码 / Flink SQL 消费配置(重点!)

bootstrap.servers =kafka:9092

CREATE TABLE kafka_source ( msg STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'test-topic', 'properties.bootstrap.servers' = 'kafka:9092', 'properties.group.id' = 'flink-group', 'scan.startup.mode' = 'earliest-offset', 'format' = 'csv' );

❌高频报错避雷:

  1. Broker may not be available👉90% 就是 advertised.listeners 配错,返回localhost,Flink 容器内部解析不到!
  2. 忘记把 zookeeper、kafka、flink 全部加入同一个网络
  3. 代码写localhost:9092(localhost是容器自己,不是宿主机的 kafka)

✨小提示:

  • 宿主机自己消费 kafka 可以用localhost:9092
  • 容器和容器之间通信,统一用容器名:端口
  • 搭配之前那篇 bitnami 镜像国内拉取方案,一套流程直接跑通!
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/11/6 5:23:24

【大数据毕设项目】基于MLP神经网络的居民高血压风险预测与可视化分析系统\基于机器学习的居民体检糖尿病及心血管疾病风险预测系统

文章目录 一、项目开发背景意义 二、项目开发技术 三、项目开发内容 四、项目展示 五、项目相关代码 六、最后 一、项目开发背景意义 系统围绕健康指标分析与风险预测两大核心目标,构建了涵盖数据管理、可视化分析与智能预测的综合服务平台。系统集成了多源异…

作者头像 李华
网站建设 2026/11/6 5:23:05

BI 报表使用率低的五个原因与排查清单

项目交付时一切正常,半年后系统却没人用了——这是 BI 实施里很常见的现象。多数不是模型或可视化的问题,而是分发和使用体验的问题。下面整理成一份排查清单,方便在上线前后自查。排查项 1:访问路径过长现象:业务同事…

作者头像 李华
网站建设 2026/11/6 5:22:46

LangChain学习:理解构建模块与核心组件

上一篇通过天气查询示例,跑通了一个能够调用工具的 Agent,对“用户提问、模型选择工具、程序执行函数、模型生成回答”的过程有了初步认识。接下来,我想进一步弄清这些功能背后的组件分工:模型怎样接收消息,提示词如何…

作者头像 李华
网站建设 2026/11/6 5:21:15

文华wh6共振指标-支撑压力画线-双周期J曲线交叉绘图公式拆解

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华