简介：这份资源面向需要在Matlab环境下完成多变量回归预测任务的学生与研究人员，提供了一套基于RIME霜冰算法优化CNN-BiLSTM-Attention网络的完整实现方案。核心思路是用霜冰优化算法自动搜索学习率、隐藏层节点数与正则化系数，并在卷积与双向长短期记忆网络后接入SE注意力机制，以提升多特征输入、单变量输出场景下的预测精度。压缩包共5个文件，包含4个m脚本与1个xlsx数据集，整体约19KB，其中主程序负责串联数据读取、模型构建、参数寻优与结果输出，其余脚本分别承担优化算法、初始化与评价指标计算等职责，运行环境为Matlab2021b，所有文件置于同一文件夹即可直接运行。命令窗口会输出R2、MSE、MAE、MAPE四项指标，便于横向对比模型效果。目前已有205人学习下载，适合希望快速复现智能优化与注意力机制结合方案、并在此基础上开展消融实验或参数调优的读者参考使用。
1. RIME-CNN-BiLSTM-Attention：多变量回归预测的霜冰优化路线
做多变量回归预测的人大多经历过这种局面：CNN 提局部变化、BiLSTM 抓时序依赖、Attention 给关键时间步加权，三层堆完，验证集曲线却像心电图，调参调到怀疑人生。问题往往不在网络结构，而在超参数——学习率、卷积核数量、BiLSTM 隐藏单元、Dropout 比例，这几个量彼此耦合，手工网格搜索在四维以上空间里基本是碰运气。RIME（霜冰优化算法）就是冲着这个痛点来的：它把超参数搜索当成连续空间里的寻优问题，用霜冰生长与消融的物理过程驱动种群更新，收敛速度和跳出局部最优的能力比粒子群、遗传算法更稳。这套 RIME-CNN-BiLSTM-Attention 组合，适合手里有多变量时序数据、想做端到端回归预测、又不想把时间全耗在调参上的工程从业者。下面从结构选型讲到 MATLAB 落地，再到踩过的坑，一步步拆开。
2. 网络结构与 RIME 优化器的选型逻辑
2.1 为什么是 CNN-BiLSTM-Attention 这个堆叠顺序
多变量回归的输入通常是一个二维矩阵：行是时间步，列是特征维度。CNN 在这里的作用不是图像识别，而是沿时间轴做一维卷积，提取局部窗口内的跨变量耦合模式。比如气象预测里温度、湿度、气压在连续几个小时内会同步变化，一维卷积核能把这个局部模式压成特征图，降低后续循环层的输入噪声。
BiLSTM 接在 CNN 后面，负责把卷积输出的局部特征串成前后向的时序依赖。单向 LSTM 只能看历史，BiLSTM 同时看历史和未来，对回归任务尤其重要——很多物理量的当前值受前后两端共同影响。Attention 放在 BiLSTM 输出之后，对每个时间步的隐藏状态算权重，让模型自己决定哪些时刻对最终预测贡献大，而不是把最后一个时间步的隐藏状态当成全部信息。
这个顺序不能随意调换。把 Attention 放在 CNN 之前，等于对原始输入加权，噪声没被滤掉就参与权重计算，效果通常更差。把 BiLSTM 放在 CNN 之前，循环层要处理高维原始输入，参数量和训练时间都会上去。
2.2 RIME 优化器相比 PSO、GA 的差异
RIME 的核心是模拟霜冰的两个阶段：软霜冰生长和硬霜冰消融。软霜冰阶段，粒子在解空间里做较大范围的随机游走，对应全局探索；硬霜冰阶段，粒子向当前最优解收缩，对应局部开发。算法用一个自适应因子控制两阶段的切换，前期偏探索，后期偏开发。
和 PSO 比，RIME 不需要调惯性权重和学习因子，参数更少；和 GA 比，它没有交叉变异概率，种群更新靠物理公式驱动，收敛曲线更平滑。在多变量回归的超参数搜索里，RIME 的适应度函数就是验证集上的 RMSE 或 MAE，每个粒子代表一组超参数组合，迭代若干代后输出最优组合。
| 优化器 | 需调参数 | 收敛速度 | 跳出局部最优 | 适合场景 |
|---|---|---|---|---|
| PSO | 惯性权重、学习因子 | 中等 | 一般 | 低维连续优化 |
| GA | 交叉率、变异率 | 较慢 | 较强 | 离散组合优化 |
| RIME | 种群规模、迭代次数 | 较快 | 较强 | 超参数搜索 |
2.3 超参数搜索空间的边界设定
RIME 要优化的超参数一般选四个：初始学习率、CNN 卷积核数量、BiLSTM 隐藏单元数、Dropout 比例。搜索空间不能拍脑袋定，要根据数据规模和算力来卡。
学习率范围建议设在 0.0001 到 0.01 之间，取对数均匀分布。卷积核数量设在 16 到 128，步长取 16 的倍数。BiLSTM 隐藏单元设在 32 到 256，步长取 32。Dropout 设在 0.1 到 0.5。种群规模 10 到 20 就够，迭代次数 15 到 30 代，再多收益递减。
注意：搜索空间上界不要超过显存能承受的批量大小对应的参数量，否则 RIME 会频繁生成无法训练的粒子，浪费迭代次数。
3. MATLAB 落地：数据准备到 RIME 主循环
3.1 多变量时序数据的归一化与滑窗构造
MATLAB 读入数据后，第一步是按列做 Z-score 归一化。多变量数据里各列量纲差异大，不归一化的话 CNN 卷积核会被大量纲特征主导。归一化用mapstd或手写(x - mean(x)) / std(x)都行，但要注意训练集和测试集必须用同一组均值和标准差，不能各自归一化。
滑窗构造是把长序列切成样本对。假设输入窗口长度 24，预测步长 1，那么每个样本的输入是 24 行 × 特征列数的矩阵，标签是第 25 行的目标变量值。
% 假设 data 是 T×F 矩阵，T 为时间步，F 为特征数 % 目标变量在最后一列 data_norm = (data - mean(data)) ./ std(data); win_len = 24; % 输入窗口长度 pred_step = 1; % 预测步长 T = size(data_norm, 1); F = size(data_norm, 2); num_samples = T - win_len - pred_step + 1; X = zeros(win_len, F, 1, num_samples); % 4D 格式适配 CNN 输入 Y = zeros(num_samples, 1); for i = 1:num_samples X(:, :, 1, i) = data_norm(i : i+win_len-1, :); Y(i) = data_norm(i + win_len + pred_step - 1, end); end % 划分训练集和测试集，前 80% 训练 idx = round(num_samples * 0.8); X_train = X(:, :, :, 1:idx); Y_train = Y(1:idx); X_test = X(:, :, :, idx+1:end); Y_test = Y(idx+1:end);这段代码里win_len和pred_step是两个关键参数。窗口太短，CNN 提不出有意义的局部模式；窗口太长，样本数减少，训练容易过拟合。一般从 12 到 48 之间试，用验证集 RMSE 来定。X构造成 4D 数组是因为 MATLAB 的convolution1dLayer要求输入格式为[空间维度, 通道数, 批量, 样本数]，这里空间维度是时间步，通道数是特征数。
3.2 CNN-BiLSTM-Attention 网络的 MATLAB 搭建
MATLAB 从 R2021a 开始支持bilstmLayer，Attention 层需要自己写一个自定义层或者用selfAttentionLayer（R2023b 之后提供）。如果版本较老，可以用全连接层加 softmax 手动实现注意力加权。
function lgraph = buildNetwork(win_len, num_features, hp) % hp 是 RIME 传入的超参数结构体 % hp.conv_filters, hp.lstm_units, hp.dropout, hp.lr layers = [ sequenceInputLayer(num_features, 'MinLength', win_len) % 一维卷积提取局部跨变量模式 convolution1dLayer(3, hp.conv_filters, 'Padding', 'same') batchNormalizationLayer reluLayer % BiLSTM 捕捉前后向时序依赖 bilstmLayer(hp.lstm_units, 'OutputMode', 'sequence') dropoutLayer(hp.dropout) % 自注意力层对时间步加权 selfAttentionLayer(4, hp.lstm_units) % 4 个注意力头 % 输出回归值 fullyConnectedLayer(1) regressionLayer ]; lgraph = layerGraph(layers); endconvolution1dLayer的第一个参数是卷积核大小，取 3 表示每次看 3 个连续时间步。selfAttentionLayer的第一个参数是注意力头数，第二个是键值维度，一般设成和 LSTM 隐藏单元数一致。如果 MATLAB 版本不支持selfAttentionLayer，可以替换成fullyConnectedLayer(hp.lstm_units)加softmaxLayer再乘回原特征，效果接近但代码量更大。
3.3 RIME 主循环与适应度函数
RIME 的每个粒子是一组超参数，适应度是训练后验证集的 RMSE。为了控制单次评估时间，训练轮数设 30 到 50 轮，用早停防止过拟合。
function [best_hp, best_fitness] = rime_optimize(X_train, Y_train, X_val, Y_val, max_iter, pop_size) % 搜索空间边界 lb = [1e-4, 16, 32, 0.1]; % lr, conv_filters, lstm_units, dropout ub = [1e-2, 128, 256, 0.5]; dim = 4; % 初始化种群 pop = repmat(lb, pop_size, 1) + rand(pop_size, dim) .* repmat(ub - lb, pop_size, 1); fitness = zeros(pop_size, 1); for i = 1:pop_size fitness(i) = evaluate_particle(pop(i, :), X_train, Y_train, X_val, Y_val); end [best_fitness, best_idx] = min(fitness); best_hp = pop(best_idx, :); for iter = 1:max_iter % 自适应因子控制探索与开发切换 mu = 0.5 * (1 + cos(pi * iter / max_iter)); for i = 1:pop_size % 软霜冰阶段：大范围随机游走 if rand < mu r1 = rand(1, dim); new_pos = pop(i, :) + r1 .* (best_hp - pop(i, :)) .* (1 - iter/max_iter); else % 硬霜冰阶段：向最优解收缩 r2 = randn(1, dim); new_pos = best_hp + r2 .* (ub - lb) .* (1 - iter/max_iter); end % 边界处理 new_pos = max(new_pos, lb); new_pos = min(new_pos, ub); new_fitness = evaluate_particle(new_pos, X_train, Y_train, X_val, Y_val); if new_fitness < fitness(i) pop(i, :) = new_pos; fitness(i) = new_fitness; if new_fitness < best_fitness best_fitness = new_fitness; best_hp = new_pos; end end end fprintf('Iter %d, Best RMSE: %.4f\n', iter, best_fitness); end end function rmse = evaluate_particle(hp, X_train, Y_train, X_val, Y_val) lgraph = buildNetwork(size(X_train, 1), size(X_train, 2), ... struct('conv_filters', round(hp(2)/16)*16, ... 'lstm_units', round(hp(3)/32)*32, ... 'dropout', hp(4), 'lr', hp(1))); options = trainingOptions('adam', ... 'InitialLearnRate', hp(1), ... 'MaxEpochs', 40, ... 'MiniBatchSize', 32, ... 'ValidationData', {X_val, Y_val}, ... 'ValidationFrequency', 10, ... 'Shuffle', 'every-epoch', ... 'Verbose', false, ... 'Plots', 'none'); net = trainNetwork(X_train, Y_train, lgraph, options); Y_pred = predict(net, X_val); rmse = sqrt(mean((Y_pred - Y_val).^2)); end主循环里mu是自适应因子，用余弦退火从 1 降到 0，前期偏探索后期偏开发。evaluate_particle里对卷积核数量和隐藏单元做了取整，保证生成的网络层参数是整数。训练选项里MiniBatchSize设 32，显存不够就降到 16。ValidationFrequency设 10 表示每 10 轮验证一次，配合早停能省不少时间。
4. 避坑与排查：RIME 调参时最容易翻车的五个点
4.1 适应度函数震荡不收敛
现象：RIME 迭代过程中最优 RMSE 上下跳动，没有下降趋势。原因通常是单次训练轮数太少，网络还没收敛就评估，噪声淹没了超参数差异。解决：把MaxEpochs提到 60 以上，或者用固定随机种子消除训练随机性。如果算力有限，可以先用小规模数据筛一轮，再用全量数据精调。
4.2 粒子早熟收敛到局部最优
现象：前几代 RMSE 快速下降，之后连续十几代不变。原因是种群多样性丢失，所有粒子挤在同一个区域。解决：把种群规模从 10 提到 20，或者在硬霜冰阶段加入高斯扰动，扰动幅度随迭代次数衰减。另一个办法是每 5 代重新初始化最差的 20% 粒子。
4.3 BiLSTM 层显存溢出
现象：训练到一半报Out of memory，或者 MATLAB 直接崩溃。原因是lstm_units设得太大，或者MiniBatchSize和窗口长度乘积超过显存。解决：把隐藏单元上限从 256 降到 128，批量大小从 32 降到 16，窗口长度从 48 降到 24。如果还不行，用sequenceLength参数把长序列切成短段分批训练。
4.4 Attention 层权重全均分
现象：训练完后提取注意力权重，发现每个时间步的权重几乎一样，Attention 没起作用。原因是 BiLSTM 输出的隐藏状态区分度不够，或者注意力头数太少。解决：把selfAttentionLayer的头数从 4 提到 8，或者在 BiLSTM 后面加一层dropoutLayer(0.3)增加扰动。另一个可能是学习率太小，注意力参数没更新到位，把学习率下限从 1e-4 提到 5e-4 试试。
4.5 归一化不一致导致预测值偏移
现象：测试集 RMSE 比验证集高出一大截，预测曲线整体偏高或偏低。原因是训练集和测试集用了各自的均值和标准差归一化，反归一化时基准不一致。解决：归一化参数只在训练集上算，测试集直接用训练集的均值和标准差做变换。反归一化时用同一个标准差乘回去再加均值。
提示：每次改完归一化逻辑，先拿一条已知样本手动算一遍反归一化结果，确认和原始值对得上再跑全量。
5. 进阶技巧：用注意力权重做特征归因与模型验证
RIME 搜完超参数、网络训练完之后，Attention 层的权重矩阵不只是装饰。把最后一个注意力头的权重按时间步平均，能得到一条长度为窗口长度的权重曲线，这条曲线告诉你模型在做预测时最关注哪几个时刻。如果权重集中在窗口末尾，说明模型主要靠最近几个时间步做预测，符合多数物理过程的惯性特征；如果权重均匀分布或者集中在窗口开头，就要怀疑数据里存在泄漏或者窗口构造有问题。
具体操作是在predict之后，用activations函数提取 Attention 层的输出，然后对注意力头维度求平均。
% 提取注意力权重 Y_pred = predict(net, X_test); attn_out = activations(net, X_test, 'selfAttentionLayer', 'OutputAs', 'channels'); % attn_out 维度为 [win_len, num_heads, num_samples] attn_weight = squeeze(mean(attn_out, 2)); % 对头数平均 attn_curve = mean(attn_weight, 2); % 对样本平均，得到窗口内权重分布 figure; bar(1:win_len, attn_curve); xlabel('时间步'); ylabel('平均注意力权重'); title('模型关注的时间步分布');这条曲线还能反过来验证 RIME 搜出来的超参数是否合理。如果最优超参数对应的注意力曲线非常平坦，说明窗口长度可能设得太短，模型没有足够的时间上下文可以区分。这时候可以把win_len从 24 提到 36 或 48，重新跑一轮 RIME，通常 RMSE 会再降一截。
另一个进阶用法是把注意力权重和输入特征做相关性分析。对每个特征列，算它和注意力权重的皮尔逊相关系数，相关系数高的特征就是模型认为重要的变量。这个结果可以和领域知识对照：如果模型认为重要的特征和机理分析一致，说明网络学到了真实规律；如果不一致，要么是数据质量问题，要么是网络容量不够。
我自己在这个方向上踩得最狠的一次，是忘了把归一化参数存下来，换了一台机器重新跑测试集，反归一化时用了新算的均值，预测曲线整体平移了一个量级，排查了一整天才定位到。从那以后，归一化参数和网络权重一起存成 mat 文件，加载时先校验均值标准差是否一致，再跑预测。这个习惯帮我省掉了至少三次类似的返工。希望帮到你。
本文还有配套的精品资源，点击获取
