PSO-CNN-LSTM，即粒子群优化CNN_LSTM网络做预测的算法，优化隐含层单元个数和初始学习率，预测精度要比CNN-LSTM高。
最近在折腾时序预测项目的时候，发现CNN-LSTM组合网络虽然能捕捉时空特征，但超参调起来简直要命。特别是当我面对电力负荷预测这种既要局部特征又要长期依赖的场景，隐含层单元数和学习率的手工调试直接让键盘寿命缩短三年。
那天盯着验证集损失曲线发呆，突然想起实验室师兄提过一嘴粒子群优化。这玩意儿能不能把参数空间当粒子群觅食来搞？抄起Python就开始魔改传统CNN-LSTM结构，结果发现PSO加持后的预测误差率硬是比原版降了1.8个百分点。
先看核心操作——粒子编码策略。每个粒子携带两个关键参数：
class Particle: def __init__(self): self.position = { 'lstm_units': np.random.randint(32, 128), 'learning_rate': 10**np.random.uniform(-4, -2) } self.velocity = np.zeros(2) self.best_position = copy.deepcopy(self.position) self.best_loss = float('inf')这里把LSTM单元数限制在32-128之间，学习率取对数空间随机值。粒子速度初始化为零向量，后续迭代中会根据全局最优和个体最优动态调整。
重点来了，适应度函数设计直接决定优化方向。我直接用验证集的MAE作为评判标准：
def evaluate_particle(particle, X_train, y_train, X_val, y_val): model = build_model(particle.position) history = model.fit(X_train, y_train, validation_data=(X_val, y_val), epochs=20, verbose=0) return history.history['val_mae'][-1] def build_model(params): model = Sequential() model.add(Conv1D(16, 3, activation='relu', input_shape=(24, 6))) model.add(MaxPooling1D(2)) model.add(LSTM(params['lstm_units'], return_sequences=False)) model.add(Dense(1)) model.compile(optimizer=Adam(learning_rate=params['learning_rate']), loss='mse', metrics=['mae']) return model注意这里验证集参与到了适应度计算，但实际训练只用训练数据。有个坑是粒子群迭代次数不宜过多，否则计算成本爆炸，我一般控制在20代左右。
跑起来后观察粒子群的收敛过程特别有意思：
for epoch in range(20): for particle in swarm: current_loss = evaluate_particle(particle, ...) if current_loss < particle.best_loss: particle.best_loss = current_loss particle.best_position = copy.deepcopy(particle.position) global_best = min(swarm, key=lambda x: x.best_loss) for particle in swarm: r1, r2 = np.random.rand(2) particle.velocity = 0.5*particle.velocity + \ 2*r1*(particle.best_position - particle.position) + \ 2*r2*(global_best.position - particle.position) # 参数越界处理 particle.position['lstm_units'] = np.clip( int(particle.position['lstm_units'] + particle.velocity[0]), 32, 128) particle.position['learning_rate'] = 10**np.clip( np.log10(particle.position['learning_rate']) + particle.velocity[1], -4, -2)这里速度更新公式的惯性权重设为0.5，加速系数都是2。实际跑下来发现LSTM单元数参数容易陷入局部最优，后来在位置更新时加了随机扰动才改善。
最终得到的最佳参数组合往往出乎意料。有次跑出LSTM单元数87，学习率0.00326这种奇葩数值，手动调参绝对想不到。可视化训练过程发现，PSO找到的参数在初期loss下降更快，且验证集曲线更平稳。
不过要注意的是，这种融合算法计算成本比普通网格搜索高一个量级。建议先用PSO找大致范围，再配合贝叶斯优化做精细调参。另外数据量较小时容易过拟合，需要在适应度函数里加正则项惩罚。
