Kafka 消息不丢、不乱、不崩的秘密——聊聊我是怎么把 Kafka 的“稳定性”一点点熬出来的

Kafka 消息不丢、不乱、不崩的秘密

——聊聊我是怎么把 Kafka 的“稳定性”一点点熬出来的

做分布式系统这么多年，我发现一个很有意思的现象：
Kafka 用得越久，越敬畏它。

刚接触 Kafka 的时候，大家都很兴奋：

• 吞吐高
• 延迟低
• 社区成熟

上线第一天：稳得一批
上线三个月：偶尔抖一下
上线一年后：

“Echo，昨天有一批消息去哪了？”
“Echo，消费怎么卡死了？”
“Echo，offset 怎么自己回退了？”

所以今天这篇文章，我不讲“Kafka 是什么”，也不讲那些官网能直接抄的配置项解释，只讲一件事：怎么把 Kafka 的消息处理，搞得足够稳定。

稳定不是一个参数，是一整套“习惯 + 设计 + 兜底”。

一、先把话说重一点：Kafka 不会帮你兜底

很多系统不稳定，本质不是 Kafka 不行，而是我们对 Kafka 期待太高。

Kafka 的设计哲学其实很明确：

我只保证日志可靠存储，不保证你怎么用。

什么意思？