在现代分布式系统中，Kafka 作为高性能、高吞吐的消息中间件被广泛应用。然而，很多开发者在使用 Kafka 时常常会遇到两个核心问题：
- 消息顺序错乱
- 消息丢失或重复消费
本文将从原理 + 实战 + 反例 + 注意事项四个维度，手把手教你如何在 Spring Boot 项目中正确使用 Kafka 来保障消息的顺序性与可靠性，即使是小白也能轻松掌握！
一、需求场景：为什么需要顺序性和可靠性？
假设你正在开发一个电商订单系统：
- 用户下单 → 支付成功 → 发货 → 完成订单
- 这些事件必须严格按顺序处理，否则会出现“未支付就发货”等严重逻辑错误。
- 同时，每条消息都不能丢（比如支付成功消息丢了，用户白嫖了），也不能重复处理（比如重复发货）。
这就要求我们：
- 保证消息顺序性（Ordering）
- 保证消息可靠性（At-least-once / Exactly-once）
- 避免极端情况下的消息丢失和重复消费
二、Kafka 如何保证消息顺序性？
✅ 正确做法：单分区（Partition）内有序
Kafka 的设计原则是：同一个 Partition 内的消息是严格有序的；但不同 Partition 之间无法保证顺序。
所以，要保证某类消息（如某个订单ID的所有事件）有序，必须将它们发送到同一个 Partition。
🔧 Spring Boot 实现方式
// 自定义 Partitioner：根据 orderId 路由到固定分区 public class OrderIdPartitioner implements Partitioner { @Override public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) { List<PartitionInfo> partitions = cluster.partitionsForTopic(topic); int numPartitions = partitions.size(); if (key instanceof String) { // 使用 orderId 作为 key，确保相同 orderId 进入同一分区 return Math.abs(key.hashCode()) % numPartitions; } return 0; } @Override public void close() {} @Override public void configure(Map<String, ?> configs) {} }配置 Producer：
# application.yml spring: kafka: producer: bootstrap-servers: localhost:9092 key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.springframework.kafka.support.serializer.JsonSerializer properties: partitioner.class: com.example.demo.config.OrderIdPartitioner发送消息时指定 key：
@Service public class OrderEventProducer { @Autowired private KafkaTemplate<String, OrderEvent> kafkaTemplate; public void sendOrderEvent(String orderId, OrderEvent event) { // 关键：使用 orderId 作为 key！ kafkaTemplate.send("order-topic", orderId, event); } }✅效果：所有orderId=1001的消息都会进入同一个 Partition，消费者按顺序消费。
三、如何保证消息不丢失？（可靠性）
Kafka 可靠性三要素（Producer 端）：
| 配置项 | 推荐值 | 作用 |
|---|---|---|
acks | all或-1 | 要求所有 ISR 副本确认写入 |
retries | Integer.MAX_VALUE | 无限重试（配合幂等） |
enable.idempotence | true | 开启幂等，防止重试导致重复 |
✅ 正确配置（application.yml）：
spring: kafka: producer: acks: all retries: 2147483647 # Integer.MAX_VALUE enable-idempotence: true max-in-flight-requests-per-connection: 5 # 幂等下可 >1💡
enable.idempotence=true会自动设置acks=all和retries=Integer.MAX_VALUE，并启用 Producer ID + Sequence Number 机制，确保即使重试也不会产生重复消息（在单个 Producer 生命周期内）。
四、如何避免重复消费？（Consumer 端）
即使 Producer 做了幂等，网络抖动或 Consumer 异常仍可能导致重复消费。
✅ 解决方案：业务层幂等 + 手动提交偏移量
1. 手动 ACK（关闭自动提交）
spring: kafka: consumer: bootstrap-servers: localhost:9092 group-id: order-group auto-offset-reset: earliest enable-auto-commit: false # 关键！手动控制 offset key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.springframework.kafka.support.serializer.JsonDeserializer2. 消费者代码：先处理业务，再提交 offset
@KafkaListener(topics = "order-topic") public void listen(ConsumerRecord<String, OrderEvent> record, Acknowledgment ack) { String orderId = record.key(); OrderEvent event = record.value(); try { // 1. 幂等处理：用 orderId + eventType 做去重（如 Redis Set 或 DB 唯一键） if (idempotentService.isProcessed(orderId, event.getType())) { log.info("消息已处理，跳过: {}", orderId); ack.acknowledge(); // 仍需提交 offset return; } // 2. 执行业务逻辑 orderService.handleEvent(event); // 3. 标记为已处理（原子操作） idempotentService.markAsProcessed(orderId, event.getType()); // 4. 手动提交 offset ack.acknowledge(); } catch (Exception e) { log.error("处理失败，不提交 offset，下次重试", e); // 不调用 ack.acknowledge()，offset 不提交，消息会重试 } }⚠️关键点：只有业务成功 + 去重标记成功后，才提交 offset！
五、反例警示：这些写法会导致消息乱序/丢失/重复！
❌ 反例1：不指定 key，消息随机分发
// 错误！没有 key，消息可能分散到多个分区，顺序无法保证 kafkaTemplate.send("order-topic", event);→ 后果：同一订单的“支付”和“发货”消息可能乱序处理！
❌ 反例2：自动提交 offset + 异步处理
@KafkaListener(topics = "order-topic") public void listen(OrderEvent event) { // 自动提交 offset（默认 5 秒一次） CompletableFuture.runAsync(() -> { orderService.handleEvent(event); // 异步处理 }); }→ 后果：Consumer 在处理前就提交了 offset，若处理失败，消息永久丢失！
❌ 反例3：Producer 未开启幂等，重试导致重复
# 错误配置 spring: kafka: producer: acks: 1 # 只需 Leader 确认 retries: 3 # 重试 3 次 # 未开启 enable-idempotence→ 后果：网络超时重试时，可能发送多条相同消息！
六、注意事项 & 最佳实践
| 场景 | 建议 |
|---|---|
| 顺序性要求高 | 按业务 ID（如 userId/orderId）作为 key 发送 |
| 避免消息丢失 | Producer 设置acks=all+enable.idempotence=true |
| 避免重复消费 | Consumer 手动提交 offset + 业务层幂等（Redis/DB 唯一键） |
| Exactly-Once 语义 | 可考虑 Kafka 事务（@Transactional+KafkaTransactionManager），但性能有损耗 |
| 消费者异常 | 不要吞异常！确保失败时不提交 offset |
| 批量消费 | 若使用batchListener，需整体成功才提交 offset |
七、总结
| 目标 | 实现方式 |
|---|---|
| 顺序性 | 同一业务 ID 使用相同 key → 进入同一 Partition |
| 不丢失 | Producer：acks=all+ 幂等 + 重试 |
| 不重复 | Consumer：手动 ACK + 业务幂等 |
只要掌握以上三点，就能在绝大多数场景下安全可靠地使用 Kafka！
视频看了几百小时还迷糊？关注我，几分钟让你秒懂！（发点评论可以给博主加热度哦）
