news 2026/3/16 12:29:34

PostgreSQL + Debezium CDC 踩坑总结

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
PostgreSQL + Debezium CDC 踩坑总结

‘最稳定就是FULL’模式,虽然会有多一点的WAL,但是胜在稳定,踩坑多次后的强烈推荐

—— publication、replica identity 与 DELETE 失败问题详解

一、背景

在生产环境中为 PostgreSQL(分区表)引入 Debezium CDC,将数据同步到 Kafka。目标表为:

  • public.table_mailbox_message

  • 分区表(按 date_created range 分区)

  • 存在 UPDATE / DELETE 场景

使用:

  • PostgreSQL 14

  • Debezium PostgreSQL Connector

  • 插件:pgoutput

  • CDC 模式:逻辑复制(Logical Replication)


二、问题现象

开启 CDC 后,业务侧开始出现 DELETE 失败,错误信息如下:

ERROR: cannot delete from table "xxx" because it does not have a replica identity and publishes deletes HINT: To enable deleting from the table, set REPLICA IDENTITY using ALTER TABLE.

表面看像是:

  • 表没有主键

  • 或 replica identity 未设置

但实际上,被影响的表并不是本次 CDC 的目标表


三、根因分析(核心机制)

1️⃣ Debezium CDC 本质依赖 PostgreSQL Publication

Debezium 并不是直接“监听表”,而是通过Postgres 的 publication + replication slot读取 WAL。

Publication 决定了:

  • 哪些表参与 CDC

  • 是否发布 insert / update / delete

一旦某个表被纳入 publication,且 publication 发布 delete:

  • PostgreSQL 就要求该表必须具备replica identity

  • 否则直接禁止 DELETE / UPDATE(数据库级保护)


2️⃣ 没有显式控制 publication,Debezium 可能扩大发布范围

如果:

  • publication 未手动创建

  • 或 connector 使用了错误/历史的 publication

  • 或启用了 publication 自动创建

Debezium 可能会:

  • 创建包含多表甚至全库表的 publication

  • 或复用已有 publication(已包含其他业务表)

结果是:

并非目标表的业务表被纳入 CDC,进而触发 Postgres 的 DELETE 限制

3️⃣ PostgreSQL 的保护行为(不是 Bug)

Postgres 在逻辑复制场景下的原则是:

如果 DELETE / UPDATE 会被发布,但数据库无法唯一定位被修改的行,就直接拒绝该操作。

因此:

  • 没有主键 / 唯一索引

  • 或 replica identity = DEFAULT 且无 PK

    → DELETE / UPDATE 会被禁止

这是设计层面的强一致性保护,不是 Debezium 或业务代码问题。


四、分区表 + publication 的一个关键细节

对分区表:

CREATE PUBLICATION pub_name FOR TABLE public.table_mailbox_message;

在 pg_publication_tables 中看到的,实际上是所有分区子表

table_mailbox_message_2023 table_mailbox_message_2024 ... table_mailbox_message_default

这在 Postgres 中是正常行为,但会带来两个问题:

  • 下游 CDC 看到的是分区表名

  • 发布范围容易混乱、难以人工检查

正确做法:

ALTER PUBLICATION pub_name SET (publish_via_partition_root = true);

这样 CDC 事件会稳定归属父表。


五、错误示范(踩坑点总结)

❌ 依赖 Debezium 自动创建 publication

publication.autocreate.mode = all_tables / filtered

风险:

  • 发布范围不可控

  • 可能包含历史表 / 无主键表

  • DELETE 直接被数据库拦截


❌ 使用历史/混用的 publication

  • publication 名字存在历史包袱

  • 曾经被用于其他 CDC / 测试

  • 已包含多个业务表


❌ 滥用

REPLICA IDENTITY FULL

虽然 FULL 可以拿到 UPDATE 的 before 全行数据,但代价极高:

  • UPDATE / DELETE 会把整行旧值写入 WAL

  • 大字段(bytea / text / json)极易造成 WAL 暴涨

  • replication slot 积压 → 磁盘爆满风险

FULL 不是常规方案,只是兜底。


六、正确、可控的 CDC 方案(推荐)

1️⃣ 手动创建 publication(最重要)

CREATE PUBLICATION dbz_pub_mailbox_message FOR TABLE public.table_mailbox_message; ALTER PUBLICATION dbz_pub_mailbox_message SET (publish_via_partition_root = true);

2️⃣ Debezium 明确指定 publication

"publication.name": "dbz_pub_mailbox_message", "publication.autocreate.mode": "disabled"

禁止 Debezium 自动创建或扩展 publication。


3️⃣ 使用主键作为 replica identity

  • 有主键 → DEFAULT 即可

  • 无需 REPLICA IDENTITY FULL

-- 查看当前 replica identity SELECT relreplident FROM pg_class WHERE oid = 'public.table_mailbox_message'::regclass;

4️⃣ CDC 回退方案(生产必备)

一旦出现问题:

# 删除 connector curl -X DELETE http://localhost:8083/connectors/<name> # 删除 replication slot SELECT pg_drop_replication_slot('<slot_name>');

即可:

  • 解除 WAL 积压

  • 恢复数据库正常写入


七、关键经验总结(结论)

✅ Publication 必须手动创建,且只包含目标表

✅ 禁止 Debezium 自动创建 / 修改 publication

✅ CDC 是数据库级行为,会影响 DML 语义

✅ DELETE 失败是 Postgres 的保护机制,不是配置错误

REPLICA IDENTITY FULL

只适用于无主键且必须拿 before 全行的场景

✅ 分区表务必使用

publish_via_partition_root


八、一句话总结

CDC 不是“只读旁路系统”,而是会改变数据库对 UPDATE/DELETE 的约束规则。
在 PostgreSQL 中,publication 的控制权必须掌握在 DBA/工程师手中,否则影响的是整个业务写入链路。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/16 1:10:50

MCP量子认证难吗?资深专家拆解5大考试痛点与应对策略

第一章&#xff1a;MCP量子认证的考试流程 MCP量子认证&#xff08;Microsoft Certified Professional Quantum Certification&#xff09;是面向量子计算与云计算融合技术的专业资格认证&#xff0c;旨在验证开发者在Azure Quantum平台上设计、实现和优化量子算法的能力。 报…

作者头像 李华
网站建设 2026/3/4 6:19:31

xshell能连上ubuntu24而vscode连接不上_临时关闭 Windows 防火墙

&#x1f512; 关闭防火墙的几种方法 您可以根据自己的使用习惯选择以下任一方式。请注意&#xff0c;所有操作均需管理员权限。方法特点/适用场景通过“设置”应用界面直观&#xff0c;适合大多数用户&#xff0c;可分别管理不同网络类型的防火墙。通过控制面板传统方式&#…

作者头像 李华
网站建设 2026/3/11 12:29:52

MCP续证考试预约全流程揭秘:90%考生忽略的关键步骤

第一章&#xff1a;MCP续证考试预约全流程概述对于已获得微软认证专业人员&#xff08;MCP&#xff09;资格的技术从业者&#xff0c;定期完成续证考试是维持认证有效性的重要环节。整个预约流程涵盖资格验证、考试选择、时间安排与确认等多个阶段&#xff0c;需通过微软官方认…

作者头像 李华
网站建设 2026/3/5 9:53:21

12、深入理解FlowTrace:函数调用追踪利器

深入理解FlowTrace:函数调用追踪利器 1. 引言 在调试和性能分析中,了解代码中方法调用的流程至关重要。传统的 wt 命令虽然能实现方法调用流程的追踪,但它仅适用于控制台应用程序,且由于使用调试步进机制,速度较慢。为了实现快速且易用的追踪输出, FlowTrace 工具应…

作者头像 李华
网站建设 2026/3/10 11:47:38

Kimi K2,开源万亿参数大模型

Kimi K2&#xff0c;开源万亿参数大模型Kimi K2方案部署基于 MaaS 调用 Kimi-K2-Instruct 模型创建API-KEY下载安装Cherry Studio体验 Kimi 模型MCP 调用能力体验感受Kimi K2 在开始部署之前&#xff0c;先简单介绍一下Kimi K2。Kimi-K2-Instruct 是由月之暗面&#xff08;Moo…

作者头像 李华