简介：这份资源提供基于长短期记忆网络（LSTM）与支持向量回归（SVR）的组合预测方案，核心思路是对两种模型的权重进行协同优化，适用于多输入单输出的时间序列或特征回归任务，适合希望提高预测精度、探索混合模型的研究者和工程师。资源包共14个文件，以MATLAB脚本为主（.m），包含多个主程序入口、误差计算、参数初始化、目标函数以及麻雀搜索算法（SSA）优化等模块，设计较为完整；同时提供.mat与.xlsx数据文件、已编译好的SVM接口（.mexw64，无需自行编译）和说明文档，压缩后整体仅84KB，内容紧凑、即下即用。目前已有357人学习下载。代码质量较高，模块间调用关系清晰，可直接替换数据运行，也便于拆解学习LSTM与SVR如何融合、权重如何优化。评价指标覆盖R2、MAE、MSE、RMSE、MAPE，可全面衡量回归效果，是一份适合科研、毕业设计及课设参考的组合模型预测模板。
1. 先说结论：LSTM-SVR组合回归预测的核心不在模型，而在权重
先说结论：把LSTM和SVR联立起来做回归预测，最值钱的部分不是两个模型本身，而是它们之间的融合权重。我见过不少项目，LSTM-SVR听起来是“组合模型”，实际就是简单平均一把梭，结果比单独训一个LSTM还差。这个问题在使用多输入单输出的时间序列预测场景里尤其明显——输入侧挂了三五个特征，输出只有一条目标曲线，LSTM负责把时序特征提出来，SVR负责做稳健回归，但两边的能力边界不一样，简单平均必然浪费某一侧。这篇笔记就把权重优化这件事讲透，同时给出数据构造、归一化、参数设置和验证的完整路径，即使你是第一次接触LSTM-SVR，也能按步骤复现，并判断它值不值得用于自己的项目。
2. LSTM与SVR的组合逻辑：特征提取与稳健回归的两段式设计
2.1 单模型的边界：LSTM的过平滑和SVR的时序盲区
组合模型的价值来自两个单模型互补，而不是模型越多越准。LSTM在时序特征提取上几乎没有争议——它通过门控机制记住长短期依赖，对波动、趋势、周期性都有建模能力。但它做最终回归时有明显短板：输出层通常用全连接加线性激活，拟合出的曲线偏平滑，遇到突变点容易“钝化”。更麻烦的是LSTM对训练数据量的需求高，小样本场景下非常容易过拟合，验证集上MSE很低，测试集上一换区间就崩。
SVR正好相反。它基于结构风险最小化，在小样本、高维特征回归上很稳，尤其是RBF核，对非线性关系有不错的拟合能力。但SVR有个硬伤——它本质上不感知时间顺序。你把一条序列拆成几十个点扔给它，它把这些点当成相互独立的特征，完全没有“前因后果”的概念。换句话说，SVR对原始时间序列的建模能力很弱，但对LSTM抽出来的高质量特征向量，反而能做一个比全连接层更稳健的回归头。
这是LSTM-SVR组合模型成立的底层逻辑：LSTM负责从多输入的历史窗口里“提炼”出时序表示，SVR负责在这个表示空间里做最终的单输出回归。两者不在一个层面竞争，而是前后接力。
2.2 两种组合模式：串联提取特征与并联加权融合
实际工程里LSTM-SVR有两种接法，很多文章混着写，但你自己做的时候必须先分清，因为后面的权重优化方式完全不同。
第一种是串联模式。LSTM先跑完，取最后一个时间步的隐藏状态（也就是LSTM层输出，而不是最终的Dense层输出）作为特征向量，把它作为SVR的输入。这时候SVR代替了LSTM末端的全连接回归头。这种模式强依赖LSTM特征的质量，SVR几乎没有独立预测能力，权重优化空间不大，主要是调SVR的超参数C和epsilon。
第二种是并联模式。LSTM和SVR各自独立训练、独立预测，然后把两个预测值做加权融合：final_pred = w * lstm_pred + (1-w) * svr_pred。这两个模型输入可以相同，也可以不同——LSTM吃三维滑窗序列，SVR吃展平的特征向量或统计特征。这种模式下，两个模型的误差相关性越低，融合收益越大。标题里讲的“主要对权重优化”，指的就是这个w的寻优。
第二种模式在工程上更实用。因为LSTM和SVR的拟合机制差异大，一个偏平滑逼近，一个偏结构风险最小化，它们的预测误差在很多场景下是互补的。所以下面所有代码和讨论都围绕并联模式展开。
2.3 权重为什么值得单独优化：目标函数与风险
很多人觉得w取0.5最公平，但这是最偷懒也最容易翻车的做法。LSTM和SVR在不同数据区间、不同预测步长上的表现并不一致。某个数据集上LSTM的单模型MSE可能是0.002，SVR是0.005，这时候w取0.5等于强行拉低LSTM的优势。正确做法是把w当成一个超参数，以验证集MSE为目标函数去搜索。目标函数很简单：
min_w MSE(y_val, w * lstm_pred_val + (1-w) * svr_pred_val), 0 <= w <= 1
但这里有个风险：权重完全在验证集上寻优，容易过拟合验证集，导致w在测试集上失效。所以后面第四章会给出三种不同颗粒度的寻优方法，从网格搜索到粒子群，每一种都对应不同的数据量和风险偏好。
3. 多输入单输出的数据构造：滑窗、归一化与训练集划分的完整代码
3.1 滑窗构造样本：用n_steps个历史时刻预测下一时刻
多输入单输出的第一件事，是把原始表格数据变成“窗口样本”。假设你有3个输入特征（f1、f2、f3）和1个目标值（target），数据是一行一个时间点。所谓滑窗，就是用过去n_steps个时间点的所有特征，去预测n_steps之后那一个时刻的target。
import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler # 假设df已经按时间升序排好，前三列是输入特征，最后一列是目标 feature_cols = ['f1', 'f2', 'f3'] target_col = 'target' # 按时间顺序切分：60%训练，20%验证，20%测试 train_df = df.iloc[:int(len(df) * 0.6)] val_df = df.iloc[int(len(df) * 0.6):int(len(df) * 0.8)] test_df = df.iloc[int(len(df) * 0.8):] # 归一化：分别fit训练集，transform验证集和测试集 scaler_x = MinMaxScaler(feature_range=(0, 1)) scaler_y = MinMaxScaler(feature_range=(0, 1)) train_x_raw = scaler_x.fit_transform(train_df[feature_cols]) train_y_raw = scaler_y.fit_transform(train_df[[target_col]]) val_x_raw = scaler_x.transform(val_df[feature_cols]) val_y_raw = scaler_y.transform(val_df[[target_col]]) test_x_raw = scaler_x.transform(test_df[feature_cols]) test_y_raw = scaler_y.transform(test_df[[target_col]]) def make_sequences(x, y, n_steps): X, Y = [], [] for i in range(len(x) - n_steps): X.append(x[i: i + n_steps]) # 形状：(n_steps, n_features) Y.append(y[i + n_steps]) # 预测第i+n_steps时刻的目标值 return np.array(X), np.array(y[n_steps:]) n_steps = 12 X_train, y_train = make_sequences(train_x_raw, train_y_raw, n_steps) X_val, y_val = make_sequences(val_x_raw, val_y_raw, n_steps) X_test, y_test = make_sequences(test_x_raw, test_y_raw, n_steps) print(X_train.shape, y_train.shape) # 期望输出：(样本数, 12, 3) (样本数, 1)这段代码里有几个逻辑必须说清楚。第一，三个数据集是切分后才分别归一化的，scaler_x和scaler_y只在训练集上fit，然后用transform应用到验证集和测试集。这样做的原因后面避坑章会单独讲，这里先记住顺序不能反。第二，make_sequences里i从0取到len(x) - n_steps - 1，也就是每个训练样本的输入是连续的n_steps行，第n_steps+1行的target是标签。第三，y_train取值用了y[n_steps:]和y[i + n_steps]，两者要保持一致，否则会出现标签错位一个时刻的问题，这个错位在时间序列任务里非常致命，它会让你以为模型很准，实际它只是在复制上一个时刻的值。
3.2 参数选择的经验值：n_steps、归一化范围与样本量要求
n_steps是滑窗长度，也是这个模型里最需要花时间试的参数。它代表“看多长的历史来预测未来一步”。如果数据是按天采样的，n_steps=12表示用过去12天预测下一天。太小，LSTM学不到周期；太大，样本数减少，因为每个窗口要消耗掉n_steps行数据，而且LSTM的训练难度会变大。我一般的经验范围是任务周期的1到2倍，比如数据有明显周周期就先试7天或14天。
归一化范围统一用(0, 1)，原因是SVR的RBF核基于样本间距离计算，输入特征不缩放到同一量级，数值大的特征会完全主导核函数，数值小的特征等于被忽略。LSTM的sigmoid和tanh激活函数同样对输入量级敏感。所以所有输入特征和target都统一做MinMaxScaler，输出预测后再用scaler_y反向变换回原始量纲。
样本量方面，LSTM部分要求相对高。如果滑窗后的训练样本少于500条，LSTM基本就是玄学，建议此时只保留SVR部分，或者把LSTM的层数和神经元大幅减小。SVR对样本量的容忍度好很多，200条也能出个能用的结果。
注意：时间序列切分严禁使用随机打乱。必须严格按时间顺序切分训练、验证、测试集，否则验证集和测试集里会混入训练集之后的数据，相当于让模型“偷看未来”。
4. 权重优化的三种可落地方法：网格搜索、误差倒数法与粒子群
4.1 先训练两个基模型并拿到验证集预测值
权重优化之前，先把LSTM和SVR两个基模型训练好，并拿到它们在验证集上的预测值。这个环节最容易出的幺蛾子，是两个模型输入的数据格式问题。LSTM需要三维输入(样本数, n_steps, n_features)，SVR需要二维输入(样本数, n_steps * n_features)。下面这段代码把两个模型的训练和预测完整跑通。
from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense from sklearn.svm import SVR from sklearn.metrics import mean_squared_error # ========== LSTM模型 ========== lstm_model = Sequential() lstm_model.add(LSTM(units=64, activation='tanh', return_sequences=False, input_shape=(n_steps, X_train.shape[2]))) lstm_model.add(Dense(1)) lstm_model.compile(optimizer='adam', loss='mse') lstm_model.fit(X_train, y_train, epochs=60, batch_size=32, validation_data=(X_val, y_val), verbose=0) lstm_pred_val = lstm_model.predict(X_val).flatten() # ========== SVR模型 ========== # SVR无法直接吃三维序列，把窗口展平成一条向量 X_train_flat = X_train.reshape(X_train.shape[0], -1) # (样本数, n_steps * n_features) X_val_flat = X_val.reshape(X_val.shape[0], -1) svr_model = SVR(kernel='rbf', C=100, epsilon=0.01, gamma='scale') svr_model.fit(X_train_flat, y_train.flatten()) svr_pred_val = svr_model.predict(X_val_flat) # 验证两个单模型的表现 print('LSTM val MSE:', mean_squared_error(y_val.flatten(), lstm_pred_val)) print('SVR val MSE:', mean_squared_error(y_val.flatten(), svr_pred_val))LSTM部分的units=64是中等容量，适合几百到几千样本。如果样本量大可以加到128，小则减到32。epochs设60配合validation_data，训练完可以自己画loss曲线看是否过拟合，如果val loss在后期持续上升，说明epochs要回调或加Dropout。SVR部分，C控制误分类惩罚，C太大会过拟合，C太小会欠拟合；epsilon是回归管道宽度，epsilon越小精度越高但训练越慢，0.01到0.1之间比较常用。gamma='scale'让sklearn根据特征数自动设置gamma，如果你对数据分布没把握，这个默认策略比手写gamma稳定。
这两个模型的预测结果直接决定了权重优化的上限。如果两个单模型验证集MSE都很大，权重怎么调都救不回来。我自己做的时候，会先看单模型MSE，确认LSTM和SVR各自都有基本精度，再进入权重优化环节，避免在错误的方向上浪费时间。
4.2 网格搜索：最稳的权重初筛手段
拿到两个预测数组之后，权重优化就是一个单参数寻优问题。网格搜索在[0, 1]区间内按0.01步长扫一遍，计算每个w对应的融合MSE。这个方法简单、可解释、不会陷入局部最优，缺点是只适合w是标量时用。
best_w = 0.0 best_mse = np.inf for w in np.arange(0, 1.01, 0.01): final_pred = w * lstm_pred_val + (1 - w) * svr_pred_val mse = mean_squared_error(y_val.flatten(), final_pred) if mse < best_mse: best_mse = mse best_w = w print(f'最优权重 w={best_w:.2f}, 融合MSE={best_mse:.6f}')这段代码的核心是融合公式：final_pred = w * lstm_pred + (1 - w) * svr_pred。w越接近1说明LSTM更可信，越接近0说明SVR更可信。值得注意的一点是，w并不一定落在0.5附近。很多数据集上w会到0.7甚至0.9，这取决于哪个单模型在你这个数据分布上更占优。
网格搜索的步长选择也有讲究。0.01的步长已经够细，因为验证集MSE对w的变化在小范围内并不敏感，0.05步长往往也能找到差不多的w。如果两个单模型MSE差距很大，比如LSTM明显更好，那w大概率落在0.7以上，可以先粗扫0.1步长锁定区间，再细扫，省时间。
4.3 误差倒数法：零成本的加权基准
网格搜索有理论支撑但它只看验证集表现。误差倒数法是一个不需要搜索的解析解，它的思路是：让表现好的模型拿更大的权重，权重与模型误差成反比。也就是把每个单模型的验证集MSE求倒数，再做归一化。
mse_lstm = mean_squared_error(y_val.flatten(), lstm_pred_val) mse_svr = mean_squared_error(y_val.flatten(), svr_pred_val) w_lstm = (1 / mse_lstm) / (1 / mse_lstm + 1 / mse_svr) w_svr = 1 - w_lstm print(f'误差倒数法权重: lstm={w_lstm:.4f}, svr={w_svr:.4f}') final_pred = w_lstm * lstm_pred_val + w_svr * svr_pred_val print('融合MSE:', mean_squared_error(y_val.flatten(), final_pred))误差倒数法的计算量几乎为零，而且不会过拟合验证集，因为它没有一个显式的寻优过程。它的适用场景是：数据集比较小，或者你怀疑网格搜出来的w在测试集上会崩。我通常的做法是，先用误差倒数法算出一个基准w，再对比网格搜索的结果。如果两者接近，说明权重选择是可靠的；如果差很多，说明验证集上存在偶然过拟合，这时候取误差倒数法的结果更保守。
4.4 粒子群优化：需要调参时的启发式选择
当w不是一个标量，而是一组随时段变化的权重序列时，网格搜索就失效了。比如你想让模型在近端预测时更信任LSTM、远端预测时更信任SVR，那w就变成一个向量。这时候可以用粒子群优化（PSO）来搜。PSO的代码不复杂，核心是每个粒子代表一组权重，速度更新公式控制粒子的移动方向。
n_particles = 20 n_iter = 30 # 粒子位置：每个粒子是一个标量w，限定在[0,1] pos = np.random.rand(n_particles) vel = np.random.rand(n_particles) * 0.1 pbest_pos = pos.copy() pbest_val = np.full(n_particles, np.inf) gbest_val = np.inf gbest_pos = 0.5 for it in range(n_iter): for i in range(n_particles): final_pred = pos[i] * lstm_pred_val + (1 - pos[i]) * svr_pred_val mse = mean_squared_error(y_val.flatten(), final_pred) if mse < pbest_val[i]: pbest_val[i] = mse pbest_pos[i] = pos[i] if mse < gbest_val: gbest_val = mse gbest_pos = pos[i] # 更新粒子速度与位置 r1, r2 = np.random.rand(), np.random.rand() vel = 0.7 * vel + 1.5 * r1 * (pbest_pos - pos) + 1.5 * r2 * (gbest_pos - pos) pos = pos + vel pos = np.clip(pos, 0, 1) print(f'PSO最优权重 w={gbest_pos:.4f}, 融合MSE={gbest_val:.6f}')PSO里有两个参数值得调：惯性权重0.7，决定粒子保持原来运动方向的程度，越大全局搜索能力越强；学习因子1.5，控制粒子向自身历史最优和全局最优靠拢的速度。25个粒子和30次迭代对于标量w来说已经冗余，但如果你把w扩展到向量维度，粒子和迭代次数需要相应增加。注意的是，PSO有随机性，每次跑出来的结果可能略有差异，这是正常的。如果两次结果差很多，说明目标函数不平滑，建议回到网格搜索。
4.5 三种方法怎么选：收敛速度、精度与过拟合风险对比
| 方法 | 收敛速度 | 精度上限 | 过拟合验证集风险 | 适用场景 |
|---|---|---|---|---|
| 网格搜索 | 慢（约100次评估） | 高 | 中 | w为标量，数据量充足 |
| 误差倒数法 | 极快（0次搜索） | 中 | 低 | 小样本，快速基准 |
| 粒子群 | 中（数十次迭代） | 高 | 中到高 | w为向量，或需要扩展 |
我的选择习惯是：第一次做先用误差倒数法，花30秒拿到一个结果作为基线；如果时间允许，再用网格搜索细化，对比两者差异；只有当权重需要分时段或分特征变化时，才上PSO。
5. LSTM-SVR组合模型的避坑记录：五个高频翻车现场
5.1 数据泄漏：归一化在全量数据上做，验证集MSE虚低
现象是验证集MSE低得离谱，测试集却崩了，而且差异比正常波动大得多。原因是在第3章代码之前，如果有人先把整个df的MinMaxScaler fit了一遍，再切分数据集，那scaler_x已经看过验证集和测试集的最大最小值，等价于提前把未来数据的分布信息泄露给了训练过程。模型在两套不同分布的数据上表现必然悬殊。
解决方式就是严格按第3章的顺序：先切分，再对train部分fit_transform，再对val和test部分只transform。这条规则对时间序列任务没有例外。如果数据存在明显季节漂移，连fit都只用在最近的训练窗口上，甚至可以滚动更新scaler。
5.2 反归一化形状错误：inverse_transform要求2D输入
现象是预测结果数值范围明显不对，比如预测出来全是0到1之间，但是原始target是几百到几千。原因是很多人预测完直接写scaler_y.inverse_transform(lstm_model.predict(X_test))，而predict返回的是形状为（样本数，1）的2D数组，这个还好；但如果之前用了.flatten()变成了1D，inverse_transform会直接报错，报错之后有人改成reshape(-1, 1)又发现数值还是不对，因为MinMaxScaler在fit的时候是按列存储min和max的，你喂进去的形状必须和fit时一致。
解决方式：预测完不要急着flatten，先确保数组形状是（样本数，1）再inverse_transform，最后再flatten。建议统一封装成一个函数，避免在多个地方重复处理形状。
5.3 SVR的RBF核被未缩放特征杀死：LSTM的隐藏层输出也要标准化
现象是SVR训练完成后预测值几乎是一个常量，无论输入什么样输出都差不多。原因是LSTM的隐藏层输出经过tanh激活，取值范围在(-1, 1)之间，这本身没问题；但如果是把原始特征直接喂给SVR，并且原始特征没有缩放到同一量级，RBF核的距离计算会被数值大的特征主导。更隐蔽的场景是，有人用LSTM的隐藏层输出作为SVR输入，然后把隐藏层输出和原始统计特征拼在一起，此时隐藏层输出范围窄、原始特征范围宽，SVR基本上只看到原始特征。
解决方式：所有进入SVR的输入特征都用StandardScaler或MinMaxScaler再做一次标准化。SVR对特征的尺度敏感度比树模型高一个量级，这一步省不掉。
5.4 权重在验证集上过拟合：搜出来的权重换个区间就失效
现象是网格搜索在验证集上找到w=0.85，融合MSE显著低于两个单模型，但到了测试集，融合MSE反而比单模型LSTM还差。原因是你把验证集既用来做早停、又用来选权重，验证集信息被反复使用，选出来的w是针对验证集噪声拟合出来的，不是真正的泛化最优值。
解决方式有三个层次：第一，如果数据量够，把数据切成四份，训练、验证、权重选择、测试各司其职；第二，用K折交叉验证选权重，每一折在验证子集上独立计算最优w，最后取平均；第三，退一步用误差倒数法，因为它没有显式寻优，过拟合风险最低。我自己最常用的是第二个层次，权重选择集一般占15%左右的数据量。
5.5 复现翻车：LSTM的随机性让组合模型结果忽高忽低
现象是同一份代码，昨天跑w=0.78，今天跑w=0.64，两个都“对”。原因是LSTM的随机初始化、Dropout、数据shuffle都会引入随机性，SVR的部分是确定性的，但权重寻优依赖LSTM预测结果，LSTM一波动w就跟着波动。如果不在代码开头固定随机种子，任何基于验证集的权重优化结果都不可复现。
解决方式是在脚本开头固定三个随机源：
import random import numpy as np import tensorflow as tf random.seed(42) np.random.seed(42) tf.random.set_seed(42)另外，LSTM训练时把shuffle参数保持为False或固定True并设置相同种子，能让单模型预测更稳定。这里不是要消灭随机性，而是让每次实验可对比。
6. 验证与落地：用滚动预测与多指标判断你的模型是否真有效
6.1 用滚动多步预测暴露滞后问题
单步预测的MSE好看不代表模型能用于实际。常见的做法是拿测试集第一个窗口做输入，预测下一步，然后把预测值当作历史数据继续预测下一步，循环多次。如果模型只是学会了“复制上一个时刻的值”，单步预测会特别准，滚动几步后曲线会快速衰减成一条水平线。我一般固定滚动10步和30步两个长度，分别记录MSE，如果10步之内预测就失去趋势，可以直接判定模型没有学到时序模式。
6.2 三个指标一起看：MAE、MAPE与方向准确率
MSE对异常值敏感，有时候一个离群点把整个误差拉高，模型实际表现还不错。除了MSE，至少同时看MAE和MAPE。MAPE是百分比误差，适合业务汇报；如果目标值接近零，MAPE会失真，这时换用对称MAPE。方向准确率DA则是判断预测值相对上一时刻是涨是跌的正确比例，这个指标对业务决策最有参考价值——预测数值差几个点没关系，方向错了才是真错。一个靠谱的LSTM-SVR模型，DA至少要比随机猜的50%高出10个点以上，否则组合模型的实际业务价值存疑。
6.3 固定随机种子与缓存中间特征
最后一条落地习惯：把LSTM提取的中间特征缓存成.npy文件，SVR预测结果也缓存，权重寻优过程单独抽出来跑。这样调w的时候不用每次都重训LSTM，一次训练多次调权，节约时间的同时也减少随机性干扰。固定随机种子的代码块放在脚本最顶部，和import放在一起，这是我从一开始就养成的习惯，也是踩了无数次复现坑之后才总结出来的规矩。希望帮到你。
本文还有配套的精品资源，点击获取
