数据科学与大数据技术毕业设计系统设计与实现：新手入门实战指南

---

数据科学与大数据技术毕业设计系统设计与实现：新手入门实战指南

背景与典型痛点

“毕设选大数据，听起来高大上，真动手就抓瞎。”
这是去年我在宿舍的真实写照。统共三个月，前两周全耗在“装环境”：

• Java 版本冲突，Spark 3.4 只认 JDK 11，而学校镜像默认 8
• Kafka 2.13 起不来，一查端口被 ZooKeeper 旧实例占用
• Windows 路径空格导致 PySpark 找不到 winutils.exe，日志疯狂刷屏

好不容易跑通官方 WordCount，却发现：

• 教程里的“造数据脚本”只是while true; do echo hello; done，和真实业务半毛钱关系没有
• 组件全挤在一台 8 G 内存笔记本，一跑全量就 OOM，导师却要求“可演示、可扩展”

痛点总结：

1. 环境配置复杂，依赖链太长
2. 网上 Demo 把采集、计算、展示全写在一个文件里，耦合高，改一行崩三行
3. 缺持续数据流，演示时只能手动cat文件，场面一度尴尬

于是我把目标压缩成一句话：
“用最小可行系统（MVS）跑通一条端到端数据流，让老师在 5 分钟内看到曲线动。”

主流技术选型对比（毕设视角）

维度	Spark	Flink	备注
学习资料	中文书多，StackOverflow 答案丰富	资料少，概念门槛高	新手优先 Spark
本地模式	local[*]一键起，调试快	嵌入式 MiniCluster 配置啰嗦	笔记本党福音
批流一体	Structured Streaming 语义略弱	真正流批一体	毕设数据量小，秒级延迟够用即可
内存占用	默认 1 G 堆内存，可调	TaskManager 至少 2 G	8 G 笔记本选 Spark 更稳

维度	MySQL	MongoDB	备注
事务支持	ACID，导师秒懂	最终一致，需解释	答辩时少挖坑
可视化工具	Workbench 免费	Compass 功能阉割	现场演示方便
云服务器镜像	各云平台一键装	需手动开安全组	省时间

结论：
“Spark + MySQL”对本科生最友好，资料全、内存省、答辩省口舌。

系统核心模块设计

整体架构一句话：Kafka 管进，Spark 管算，MySQL 管存，Flask 管出。

1. 数据采集层

• 用 Pythonfaker写模拟订单发生器，每秒 200 条，字段：order_id、user_id、amount、ts
• 生产者脚本producer.py直接写 Kafka，topic 叫order_stream，分区 3，保证笔记本级并发即可

2. 流计算层

Spark Structured Streaming 消费 Kafka，完成两件事：

1. 每 10 秒一个微批，统计成交金额，写 MySQL 表realtime_stats
2. 同时把原始明细落地成 Parquet，留作“离线数仓”噱头，给老师看分层架构

关键代码（Clean Code 版，含注释）：

# spark_job.py from pyspark.sql import SparkSession from pyspark.sql.functions import from_json, col, window, sum as _sum import os KAFKA_BROKER = os.getenv("KAFKA_BROKER", "localhost:9092") MYSQL_URL = "jdbc:mysql://localhost:3306/lab?useSSL=false" MYSQL_PROP = {"user": "root", "password": "123456", "driver": "com.mysql.cj.jdbc.Driver"} spark = SparkSession.builder \ .appName("OrderStats") \ .config("spark.sql.shuffle.partitions", "6") \ .getOrCreate() schema = "order_id STRING, user_id LONG, amount DOUBLE, ts TIMESTAMP" df = spark.readStream \ .format("kafka") \ .option("kafka.bootstrap.servers", KAFKA_BROKER) \ .option("subscribe", "order_stream") \ .option("startingOffsets", "latest") \ .load() \ .select(from_json(col("value").cast("string"), schema).alias("data")) \ .select("data.*") # 指标计算：10 秒窗口成交金额 windowed = df.groupBy( col("user_id"), col("ts").cast("timestamp"), Window(col("ts"), "10 seconds") ).agg(_sum("amount").alias("total_amount")) query = windowed.writeStream \ .foreachBatch(lambda batch_df, _: batch_df.write.jdbc( url=MYSQL_URL, table="realtime_stats", mode="append", properties=MYSQL_PROP)) \ .outputMode("update") \ .trigger(processingTime='10 seconds') \ .start() query.awaitTermination()

3. 存储层

MySQL 两张核心表：

• realtime_stats(user_id, window_start, total_amount)
• user_profile(user_id, gender, age)用于后续多维分析

建表语句记得把window_start设成索引，避免 10 秒聚合查询时全表扫描。

4. API 服务层

Flask 写两个 REST 端点，代码如下：

# api.py from flask import Flask, jsonify from flask_limiter import Limiter from flask_limiter.util import get_remote_address import pymysql app = Flask(__name__) limiter = Limiter(app, key_func=get_remote_address) def get_conn(): return pymysql.connect(host='127.0.0.1', user='root', password='123456', database='lab', charset='utf8mb4') @app.route("/stats/latest") @limiter.limit("30 per minute") # 基础限流 def latest_stats(): with get_conn() as conn: with conn.cursor(pymysql.cursors.DictCursor) as cur: cur.execute("SELECT user_id, total_amount FROM realtime_stats " "ORDER BY window_start DESC LIMIT 50") return jsonify(cur.fetchall()) @app.route("/user/<int:uid>") def user_profile(uid): with get_conn() as conn: with conn.cursor(pymysql.cursors.DictCursor) as cur: cur.execute("SELECT user_id, gender, age FROM user_profile WHERE user_id=%s", (uid,)) return jsonify(cur.fetchone() or {})

5. 前端展示

为了 5 分钟演示，直接用echarts.min.js写单页 HTML，轮询/stats/latest，折线图动态更新。文件放 Flaskstatic目录，省掉跨域麻烦。

性能考量 & 基础安全

1. 小规模数据下资源占用

   • Spark 本地模式 2 核 4 G 堆，10 秒微批处理 2 万条/秒，CPU 40 % 以内
   • Kafka JVM 堆 1 G，生产 200 条/秒，网络 IO 可忽略

2. 冷启动延迟
   Structured Streaming 首次运行要建 checkpoint，本地 SSD 约 3 秒，之后微批稳定 1 秒左右

3. API 限流
   使用flask-limiter默认内存存储，毕设场景够用；若迁移到多进程，可换 Redis

4. 敏感信息脱敏

   • 用户姓名、手机在faker阶段直接生成 MD5 掩码，避免真实泄露
   • 日志关闭spark.sql.adaptive.logLevel，防止把 SQL 明细打到控制台

生产环境避坑指南

1. ZooKeeper 依赖问题
   Kafka 2.8 之后自带 KRaft，毕设单机直接跑kafka_2.13-3.5.0.tgz无 ZK 模式，省一个进程

2. Spark 本地模式调试技巧

   • 在spark-defaults.conf加spark.ui.retainedJobs=10，防止 Web UI 爆内存
   • 用nc -lk 9999快速造 Socket 流，验证逻辑后再接 Kafka，降低排查范围

3. 日志缺失排错
   默认 Spark 只给stderr，在log4j2.properties加：

   appender.console.type=Console appender.console.name=console appender.console.layout.type=JSONLayout

   结构化日志方便倒到grep里定位异常

4. MySQL 连接池
   脚本里裸pymysql.connect每请求一次握手，并发高会打满，毕设演示 30 人同时刷新就会 502。
   解决：

   • 用SQLAlchemy连接池pool_size=10
   • 或者把结果缓存到 Redis，5 秒过期，演示更丝滑

可扩展方向

跑通 MVS 后，可继续加料：

• 实时告警：Spark 侧写foreachBatch把total_amount>10000的记录推送到 Redis，Flask 订阅后 WebSocket 推送到前端弹窗
• 可视化看板：接入 Superset 或 Metabase，直接把 MySQL 当数据源，拖拽出留存、漏斗，老师一看“商业级”
• 数据一致性：MySQL 端增加幂等键window_start+user_id唯一索引，Spark 批内失败重跑不重复累加
• 幂等性保障：Kafka producer 开启enable.idempotence=true，跨会话不重推

写在最后

整套系统从 0 到可演示只花了一个周末，内存占用 6 G 以内，笔记本风扇不转。
毕设不是造火箭，先让数据“跑起来、看得见、能点烂”，再谈高并发和 Exactly-Once。
希望这条最小路径能帮你把精力留给写论文、而不是调环境。
下一步，不妨把告警阈值做成可配置，想想如果金额异常突增，系统该怎么保证短信接口不狂轰滥炸——“让数据不仅动，还动得安全”，这才是毕业设计真正的加分项。

---