Kafka的核心使用场景围绕高吞吐、持久化、实时性三大特性展开,主要分为四大类:
1. 日志/数据收集(最经典场景)
将多台服务器、应用、设备产生的日志或数据(如用户行为、系统指标)统一汇聚到Kafka,再分发给下游系统(如ELK日志分析平台、监控系统)。
例如:电商APP收集用户的“点击商品”“加入购物车”行为日志,通过Kafka实时传输到数据仓库。
2. 系统解耦与消息通信(替代传统MQ)
作为中间件隔离上下游系统,上游系统(生产者)只需向Kafka发送消息,无需关心下游(消费者)是否在线或如何处理,实现“异步通信”。
例如:外卖平台的“用户下单”系统,向Kafka发送订单消息后即可返回,下游的“商家接单”“骑手派单”“支付确认”系统各自订阅消息处理,避免系统间直接依赖。
3. 实时流数据处理(核心能力场景)
配合Flink、Spark Streaming等流处理框架,对实时产生的数据进行毫秒/秒级计算,输出即时结果。
例如:直播平台通过Kafka实时接收“用户送礼”“弹幕发送”数据,结合Flink计算实时弹幕热度、主播瞬时收入,并实时展示在前端。
4. 数据同步与备份(可靠存储场景)
利用Kafka的持久化特性,将核心数据暂存并同步到其他系统(如数据库、数据湖),确保数据不丢失且多端一致。
例如:银行核心系统将“用户转账”记录写入Kafka,下游同步到交易数据库备份,同时供风控系统实时读取分析是否为异常交易。