基于遗传算法优化算法优化XGBoost(GA-XGBoost)的多变量时间序列预测 GA-XGBoost多变量时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码， 注：暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注：采用 XGBoost 工具箱，仅支持 Windows 64位系统
最近在捣鼓多变量时间序列预测，发现XGBoost虽然好用但参数调起来真是要命。今天分享个野路子——用遗传算法给XGBoost做自动化调参（GA-XGBoost），实测在电力负荷预测场景下MAPE降了2个百分点。先看效果再聊原理，Matlab代码放最后自取。
基于遗传算法优化算法优化XGBoost(GA-XGBoost)的多变量时间序列预测 GA-XGBoost多变量时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码， 注：暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注：采用 XGBoost 工具箱，仅支持 Windows 64位系统
数据准备阶段有个坑：多变量时间序列记得做滑窗处理。假设我们有温度、湿度、电价三个特征预测用电量，用下面这段生成时序特征矩阵：
lookback = 24; % 看过去24小时 X = []; for i = lookback:size(data,1) X = [X; data(i-lookback:i-1, :)]; end y = data(lookback+1:end, 1); % 预测目标列交叉验证要玩点花的：传统时序split容易导致数据泄露，这里用时间序列交叉验证（TimeSeriesSplit）。5折验证的矩阵生成代码：
cv = cvpartition(length(y), 'Holdout', 0.2); % 20%验证集 trainIdx = training(cv); testIdx = test(cv);遗传算法核心在适应度函数。这个函数会评估每组参数的交叉验证得分：
function fitness = ga_fitness(params) num_round = round(params(1)); % 迭代次数 max_depth = round(params(2)); % 树深度 eta = params(3); % 学习率 model = xgb_train(X(trainIdx,:), y(trainIdx),... 'num_round', num_round,... 'max_depth', max_depth,... 'eta', eta); pred = xgb_predict(model, X(testIdx,:)); fitness = -sqrt(mean((pred - y(testIdx)).^2)); % 负RMSE end参数搜索范围设置技巧：
- 迭代次数：50-500（整数）
- 树深度：3-12（整数）
- 学习率：0.01-0.3（指数分布）
options = optimoptions('ga','PopulationSize',20,'MaxGenerations',50); [best_params, fval] = ga(@ga_fitness,3,... [],[],[],[],... [50,3,0.01],... % 下限 [500,12,0.3],... % 上限 [],options);实战发现几个玄学点：
- 树深度超过8后预测波动变大，建议用早停法
- 学习率低于0.05时需要增加迭代次数
- 加入特征重要性筛选能提速30%
完整代码已测试通过（需要安装xgboostwindowsv1.2），某气象数据集上的特征重要性可视化：
importance = xgb_importance(model); bar(importance); xlabel('特征索引'); ylabel('重要性得分'); title('GA-XGBoost特征重要性排名');最后说下硬件要求：普通办公电脑（i5+16G内存）跑一代种群大概3分钟。如果遇到工具箱报错，检查下Matlab是不是2016b之后的64位版本，这个坑我踩过两次...
