1. 项目背景与核心价值
去年参与的一个公共卫生数据分析项目让我印象深刻——当时我们需要基于历史数据预测某地区未来30天的新增病例数。这个看似简单的"回归预测"任务，在实际操作中遇到了数据质量、特征工程、模型选择等一系列挑战。今天就把这个项目的完整实现过程和踩坑经验分享给大家，特别适合需要处理类似时间序列预测问题的公共卫生从业者和数据分析师。
这类预测的核心价值在于：当决策部门能提前预判疫情发展趋势时，就可以更合理地调配医疗资源、制定防控措施。我们最终实现的模型在测试集上达到了87%的预测准确率，比当地疾控中心原有系统提升了22个百分点。下面就从数据准备到模型优化的全流程做个拆解。
2. 数据准备与特征工程
2.1 原始数据获取与清洗
我们获取的数据包含以下关键字段：
- 每日新增确诊数（目标变量）
- 前7日移动平均值
- 疫苗接种率（按行政区统计）
- 人口流动指数（来自手机信令数据）
- 天气数据（温湿度、降水量）
清洗过程中发现几个典型问题：
- 节假日数据缺失（需用前后3天均值填充）
- 个别日期存在统计口径变更（需统一修正）
- 流动指数存在设备采样偏差（需做Z-score标准化）
重要提示：公共卫生数据一定要检查节假日效应。我们最初没注意这点，导致模型在周末预测误差明显偏大。
2.2 特征构造技巧
除了原始特征，我们还构造了以下衍生特征：
- 周同比变化率：(本周数据-上周数据)/上周数据
- 传播系数R_t的7日估计值
- 邻近区域疫情严重程度指数（空间自相关特征）
这里特别推荐加入空间特征。通过计算周边区县的加权平均病例数（使用地理距离倒数作为权重），模型捕捉到了疫情扩散的时空规律，这在后续的SHAP分析中显示为第三重要的特征。
3. 模型选型与实现
3.1 算法对比测试
我们对比了5种主流算法：
| 模型类型 | MAE（平均绝对误差） | 训练时间 | 可解释性 |
|---|---|---|---|
| 线性回归 | 23.4 | 1.2s | ★★★★ |
| 随机森林 | 18.7 | 4.5s | ★★ |
| XGBoost | 15.2 | 3.8s | ★★ |
| LSTM神经网络 | 14.9 | 23min | ★ |
| Prophet | 17.8 | 2.1s | ★★★ |
最终选择XGBoost作为基础模型，因为：
- 在预测精度接近LSTM的情况下训练速度快6倍
- 相比Prophet能更好地处理我们的多维特征
- 提供特征重要性分析，便于向决策者解释
3.2 关键参数调优
通过网格搜索确定的最终参数组合：
params = { 'n_estimators': 150, 'max_depth': 5, # 限制树深度防止过拟合 'learning_rate': 0.1, 'subsample': 0.8, 'colsample_bytree': 0.7, 'gamma': 0.2 # 增加正则化项 }这里有个调参经验：公共卫生数据通常存在明显的自相关性，建议将time_series_split作为交叉验证策略，而不是普通的k-fold。我们采用5时段滚动验证，显著提升了模型在真实场景中的稳定性。
4. 部署与效果验证
4.1 预测系统架构
实现了一个轻量级部署方案：
- 每天凌晨自动拉取最新数据
- 运行数据预处理流水线
- 生成未来7天预测（置信区间采用分位数回归计算）
- 通过API向决策系统输出JSON格式结果
避坑提醒：最初我们尝试实时预测，但发现数据延迟会导致预测抖动。改为T+1模式后，系统稳定性提升40%。
4.2 效果评估指标
除了常规的MAE，我们还监控：
- 方向准确性：预测趋势（上升/下降）的正确率
- 峰值捕捉率：提前3天预测到疫情高峰的能力
- 资源预警准确率：当预测值超过医疗承载阈值时的预警精度
在3个月的试运行期间，系统成功预测了全部4次疫情反弹，最早提前9天发出预警信号。这给医院预留了宝贵的病床扩容时间。
5. 常见问题与解决方案
5.1 数据断崖式下跌
现象：疫苗接种政策突变导致病例骤降，模型持续高估 解决方法：
- 在政策实施日期添加事件标记特征
- 使用变点检测算法自动识别数据分布变化
- 对政策后的数据适当增加样本权重
5.2 节假日异常值
现象：春节假期检测量下降造成"假性改善" 优化方案：
- 构建节假日哑变量
- 采用TRAMO/SEATS方法进行季节调整
- 在节假日前后启用专门的预测子模型
5.3 新毒株影响
现象：Omicron变异株导致传播模式改变 应对策略：
- 监控基因测序比例数据
- 当新毒株占比超阈值时触发模型重训练
- 在过渡期采用集成预测（新旧模型加权平均）
这个项目给我的最大启示是：疫情预测不是单纯的数学问题，必须把公共卫生领域的专业知识融入建模过程。比如我们后来加入的"防控措施严格指数"（根据当地政策文本NLP分析得到），就让模型对封控效果的反应更加符合实际情况。
