做风电功率预测的人，大概都体会过那种尴尬：天气预报明明说夜里要起大风，单一模型却把功率曲线报得又平又稳；等风真起来了，模型又跟不上爬坡的节奏，眼睁睁看着预测误差被拉大。我前阵子做某风电场短期功率预测项目时，最初用单一LSTM模型，几个典型工况下的表现都还行，一旦数据里混入冷暖空气交替、机组限电这类复杂场景，误差立刻变得很难看。后来我把思路调整成“先聚类、再分模型”，也就是用高斯混合模型（GMM）对历史样本做软聚类，再为每个簇训练CNN-BiLSTM-Attention子模型，问题一下子清晰了很多。
这篇文章把我在这套方案里踩过的坑、调过的参、拆过的模块全部整理出来，覆盖从GMM聚类原理、特征工程、滑窗构造，到Python和Matlab两端如何分工实现，再到消融实验和常见报错排查，适合正在做风电功率预测、或者是第一次接触“聚类+深度学习”组合方案的开发者直接参考。
1. 项目概述与方案动机——为什么把“聚类”和“深度学习”放在一起
1.1 风电功率预测的痛点
风力发电的最大特点就是“靠天吃饭”。同一个风电场，在季风稳定期和锋面过境期，功率曲线形态完全不同；同样是高风速时段，湍流强度不同，功率波动特性也差得很远。你让一个模型覆盖所有天气形态，它要么为了压低某个工况的误差而牺牲另一个工况的精度，要么在训练时被样本量占优的工况带偏。
短期功率预测的时间范围一般指未来0~72小时，最常用的是未来4小时的分钟级或15分钟级滚动预测。这个场景对模型的要求不只是“拟合历史”，还要在气象输入发生转折时快速调整出力估计。单一模型很难同时做到“平稳时段够准、突变时段够敏”，这是所有做预测的人都绕不开的问题。
1.2 为什么选中GMM而不是K-means
很多人在做工况划分时，第一反应是K-means。但K-means有个天然缺陷：硬分配。每个样本只能属于一个簇，边界样本被强行归到某一边。风电数据里，天气状态本来就是渐变的，一个样本可能六成像“大风平稳工况”，四成像“切变爬坡工况”，硬切会制造大量边界失真。
GMM是概率模型，每个样本给出属于各个簇的后验概率，属于软聚类。比如某个样本可能被分配为“簇0的概率0.65、簇1的概率0.35”，训练子模型时可以用这个概率做权重，也可以在预测阶段直接取最大后验概率归属到最可能的工况。这样更符合气象过程连续变化的物理直觉，也是GMM在风功率预测里比K-means好用的关键原因。
另外，GMM只需要设定簇数量K，然后用EM算法迭代估计每个高斯分量的均值、协方差和混合系数，实现上不依赖复杂调参，在Matlab的统计工具箱和Python的scikit-learn里都有成熟接口。对工程落地来说，这是一个足够稳定、又能解释得清楚的选择。
1.3 整体方案路线图概览
整个方案可以拆成五条主线：
- 数据清洗与特征工程：处理测风塔数据、风机SCADA数据、数值天气预报（NWP）数据，构造与功率强相关的特征。
- GMM工况聚类：用历史样本（比如风速、风向分量、气温、气压、历史功率、功率变化率）训练GMM，把运行状态划分成若干典型工况。
- 子模型训练：每个簇的样本分别训练一个CNN-BiLSTM-Attention模型，卷积层提取局部模式，双向LSTM刻画时序依赖，注意力机制聚焦关键历史时刻。
- 预测阶段映射：新样本先计算GMM后验概率，选择概率最高的簇对应模型做预测，必要时可按概率对多个模型结果做加权融合。
- 评价反馈：用RMSE、MAE、MAPE等指标量化效果，并结合消融实验验证每个模块的贡献。
这套路线的核心价值是“分而治之”，把混合分布的数据拆成若干个相对同质的子问题，再用结构稍复杂的模型分别攻克。后面几章我会按这条路线逐步展开讲。
2. 核心模型拆解：CNN、BiLSTM与注意力各自解决什么问题
2.1 CNN：在时间维度上抓局部模式
有些人一听到CNN就觉得是处理图像的。但在时间序列里，一维卷积同样很好用。它的作用可以理解为：沿着时间轴滑动一个小窗口，在这个窗口内提取局部模式，比如“过去15分钟内风速连续爬升”“功率出现锯齿状波动”，这些局部特征会被卷积核捕捉并映射成更高层的表示。
在CNN-BiLSTM-Attention这个组合里，CNN通常放在最前面。原因有两个：一是它能以很小的参数代价对原始输入做初步特征提炼，把时序中的局部依赖先抓出来；二是经过卷积和池化后，序列长度会压缩，后续BiLSTM处理的是“提炼后的特征序列”，而非原始噪声较多的输入，这对长期依赖建模有正面作用。
我在实际项目里用的是两层一维卷积，第一层卷积核数量64，第二层128，卷积核大小都取3，步长为1，后面接一个最大池化层把序列长度降为原来的一半。这里要注意，卷积核大小不要盲目加大，核太大会把局部的突变信息直接“抹平”，风速顶峰的形态特征就丢了。
2.2 BiLSTM：双向时序记忆
LSTM的核心价值在于门控机制，能记住长时间之前的信息，又能在新信息到来时决定是否更新记忆。单向LSTM只能看到过去的上下文，BiLSTM在结构上增加了一条反向传播路径，相当于同时读“正向历史”和“逆向未来”的上下文。
这里说的“逆向未来”需要解释一下。训练时我们输入的是一个完整的时间窗口，比如过去72个时间点，BiLSTM的正向层从t=1扫到t=72，反向层从t=72扫到t=1。在窗口内部，反向层能看到“这个窗口后来发生了什么”，这种双向视角可以帮助模型更好地理解当前时刻的状态不是孤立的，而是处在某段变化趋势的中间位置。
我做消融实验时对比过单向LSTM和BiLSTM，在同样的输入条件下，BiLSTM在爬坡段的RMSE降低了大概8%~12%。代价是参数翻倍，训练时间变长。考虑到风电预测对突变段的精度敏感，这个代价值得付。
2.3 Attention：让模型学会“挑重点”
BiLSTM虽然能记住上下文，但它把整个窗口的信息压缩成最后一个隐藏状态（或双向状态拼接）后再解码，问题在于：预测未来功率时，历史上每个时刻的重要性不一样。比如风速在某个时刻突然从6米/秒跳到11米/秒，这个跳变点对预测接下来的功率爬坡至关重要，但普通LSTM在输出最终状态时，不保证给它更高权重。
注意力机制解决的就是这个问题。它让模型根据当前需求，对每个时间步的隐藏状态打分，再用softmax归一化成权重，最后对隐藏状态做加权求和。权重越大，说明模型认为该时刻的信息对当前预测越关键。
我在工程里用的是加性注意力，公式上相当于：
score_i = v · tanh(W · h_i + b) alpha_i = softmax(score_i) context = Σ alpha_i · h_i其中h_i是BiLSTM第i个时间步的输出，context是注意力加权后的上下文向量，最后接全连接层输出功率预测值。这个模块代码不复杂，但对整体精度的提升非常明显，尤其在风功率突变段，注意力权重会自动聚焦到风速跳变的那些时间步，效果比“一视同仁”的池化好很多。
2.4 三种结构如何串联
串联结构是：输入序列 → 一维卷积层 → 池化 → BiLSTM → 注意力加权 → 全连接输出。这里有一个很多人都踩过的坑：BiLSTM的return_sequences设置问题。
如果你想在BiLSTM后面接注意力层，BiLSTM必须返回每个时间步的隐藏状态，也就是return_sequences=True。很多初学者在Keras里把return_sequences设成False，结果注意力层拿到的只有一个向量，整条链路就断了。PyTorch里对应的是需要保留seq_len维度的输出，不能只取最后一步。
我把这个串联完的整体结构称为“特征感知-时序建模-重点聚焦”三层管线：CNN层负责局部感知，BiLSTM层负责上下文理解，注意力层负责筛选关键信息，三层各管一段，大家各司其职，最后再通过全连接收敛到功率数值。
3. GMM聚类的原理、实现与适用性
3.1 高斯混合模型的数学直觉
GMM假设整个数据集是从K个高斯分布混合生成的。每个高斯分量代表一种“隐状态”，也就是我们所说的工况。模型要学习的就是每个分量的均值μ_k、协方差Σ_k，以及混合权重π_k。
给定一个样本x，它属于第k个分量的后验概率是：
γ(z_k|x) = π_k · N(x|μ_k, Σ_k) / Σ_j π_j · N(x|μ_j, Σ_j)这组概率就是软分配的语义。训练用EM算法，E步算每个样本对每个分量的责任度，M步根据责任度更新参数，反复迭代直到收敛。和K-means相比，GMM多了一组协方差矩阵，能刻画不同工况下各特征相关性的差异，这是很大的信息增量。
在实际数据里，不同工况下风速和功率的相关系数有明显差异，比如平稳大风工况下两者相关性很高，过渡工况下则相对松散。这种差异如果被硬聚类忽略，模型的表达能力就打折扣了。
3.2 聚类特征的构造与选择
聚类不是随便找几个列就往里丢。我试过把原始风速、风向、温度、气压、湿度、历史功率、功率变化率全部直接丢进GMM，结果聚类结果非常散，簇之间物理语义不清晰。
后来做了两件事，效果立刻改善：
- 风向做sin/cos分解，避免0度和360度被当成两个极端值。这一点在风功率数据里极其重要，后面的特征工程章节会细说。
- 加入“功率变化率”，即当前时刻功率相对于前一时刻的变化幅度。这个特征对爬坡段的工况识别很有帮助，能把“平稳段”和“变速段”分开。
聚类特征维数不用太高，五到八个就够。我在项目里用的是风速、风向sin分量、风向cos分量、温度、历史功率、功率变化率这六个特征。这里有个经验：不要放入目标值本身，比如未来4小时的平均功率，否则聚类会“偷看未来”，导致训练和预测阶段的特征分布不一致。
3.3 聚多少类合适——BIC与季节性试探
K值怎么定是个经典问题。GMM可以用赤池信息准则AIC或者贝叶斯信息准则BIC来筛。
BIC的计算公式是：
BIC = -2 · log(L) + p · log(N)其中L是似然值，p是参数数量，N是样本数。BIC值越小越好，但也不是越小越好，太小意味着聚类数过多、过拟合。
我在项目中把K从2试到8，画BIC曲线，观察拐点。实际得到的结果是K=4或K=5比较合适，再往上BIC改善幅度明显变小。然后我从业务角度做校验：把4个簇的样本按时间画成功率曲线，看每个簇是否对应清晰的物理场景。比如簇0对应“大风平稳”、簇1对应“小风波动”、簇2对应“爬坡”、簇3对应“切变过程”，这种可解释性验证比单纯看BIC更可靠。
3.4 训练期的软分配与预测期的映射
这里要特别讲清楚聚类环节怎么和预测模型结合，因为很多人在这里会搞混。
训练期有两个选择：硬分配和软分配。硬分配是每个样本只归入后验概率最高的簇，然后每个簇独立训练子模型。软分配是按概率给样本加权，让一个样本以不同权重进入多个簇的训练集。
我实际测试下来，GMM本身的软聚类特性结合硬分配在工程上最稳定。具体做法是：训练GMM后，对每个样本取argmax得到簇标签，然后按簇划分训练集和验证集，分别训练子模型。这样做的好处是简洁、推理速度快，不会出现预测时需要为每个簇都跑一遍模型再做加权的高延迟。
预测期则不同。新样本进来后，我计算它属于每个簇的后验概率，然后取概率最大的簇对应的子模型来预测。这里有一个trick：如果最大概率低于某个阈值，比如0.45，说明该样本处于工况边界，我会用概率最高的两个模型的结果按权重加权融合。这个边界处理在换季时段特别有用，能避免模型频繁“跳变”导致预测曲线抖动。
4. 数据预处理与特征工程实操
4.1 现场数据拿到手先做的三件事
做风功率预测的人普遍有共识：数据质量对结果的影响，经常大于模型结构的选择。我拿到某风电场数据后，第一步不是建模，而是做数据体检。
第一件事是时间对齐。测风塔数据、SCADA功率数据、NWP气象预报数据往往来自不同的采集系统，时间戳精度可能不同，有的间隔10分钟，有的间隔15分钟。我统一重采样到10分钟一个点，用线性插值补齐缺失值，确保后面滑窗操作不会错位。
第二件事是异常值处理。风速出现负值、功率超过装机容量、温度突变超过合理范围，这些要么是传感器故障，要么是通信丢包，必须剔除或替换。我一般用分位数法，把超出[1%，99%]分位数范围的点标记为异常，再结合邻域均值替换。
第三件事是限电/停机标记。风电场在电网调度指令下可能主动限功率，这会导致“高风速低功率”的反常样本。如果不把这些样本剔除，模型会认为高风速时也可能低功率，严重干扰训练。原始数据里一般有运行状态码，要专门处理。
4.2 风向周期性处理与其他重点特征
风向是个特殊变量，直接用角度数值进模型会出大问题。比如角度0度和360度都是北风，物理上完全一致，但数值上相隔360。如果直接喂给神经网络，模型会认为它们差异巨大，白白引入噪声。常规做法是把风向拆成两个分量：
wind_dir_sin = sin(θ · π / 180) wind_dir_cos = cos(θ · π / 180)这样一来，任意角度都映射到单位圆上，角度之间的连续性就保住了。除了风向，我还会构造“风切变指数”，即轮毂高度风速与测风塔低层风速的比值，这个特征对大气稳定度敏感，在夜间和白天切换时段效果尤其明显。
特征工程的另一个重点是对NWP数据进行时效对齐。NWP数据提供的是“预报时效链”，比如T+0、T+1、T+2……小时的预报值。建模时一定要取与预测目标时间对应的时效，而不能混用。这一点很容易被忽略，我见过不少团队直接把一整条NWP时间序列塞进模型，完全不管每个时刻对应的预报时效不同，结果训练和推理时的特征含义不一致，误差被系统性放大。
4.3 时间滑窗构造与多步预测标签
短时功率预测通常不是只预测未来一个点，而是预测未来若干步。我做的目标是未来4小时，按10分钟间隔就是24个点。建模方式有两种：
直接多步：输出24个值，对应未来24个时刻的功率。这种方式简洁，但误差会随着步长增大。多步循环：先预测t+1，再把预测值拼到输入末尾，滚动预测t+2……这样容易误差累积，哪怕第一步预测很准，后续也会越偏越大。
我最终用的是直接多步，让模型同时输出24个值。损失函数用均方误差MSE。
滑窗构造的输入矩阵形状是：
X: [样本数, 历史窗口长度, 特征数] Y: [样本数, 预测步长]历史窗口长度我设为72，也就是用过去12小时的数据预测未来4小时。窗口太长，模型容易抓到很旧的过时信息，增加计算量；窗口太短，气象演变趋势不完整。12小时窗口在项目里表现比较均衡。
4.4 训练/验证/测试的数据切片原则
时间序列建模里最容易犯的错就是随机划分训练集和测试集。风电数据有强时序相关性，如果随机打乱，训练集里混入测试集前后的样本，模型相当于提前看到了“未来信息”，测试指标会虚高得离谱。
正确的切分方式是按时间顺序切：比如前70%做训练，中间15%做验证，最后15%做测试。验证集用于选超参数和早停，测试集只用来做最终评估，测试期间不能回头调参。
这里还有一个细节：如果按簇划分训练集，千万不能先整体切分再聚类，否则测试集样本可能进入训练用的GMM，导致信息泄漏。正确的做法是先在全部历史数据上训练GMM，然后用这个GMM给所有样本打簇标签，再按时间顺序对每个簇分别切训练/验证/测试集。这样预测阶段的新样本只是“映射”到已经训好的GMM，不会泄漏信息。
5. 完整实现流程与Python/Matlab代码结构
5.1 Python端：GMM+CNN-BiLSTM-Attention的整体训练脚本
我用Python实现了从数据加载到模型训练的完整流程，里面几个核心模块写成函数，方便复用。
import numpy as np import pandas as pd from sklearn.mixture import GaussianMixture from sklearn.preprocessing import StandardScaler # 1. 加载清洗后的数据 df = pd.read_csv("wind_farm_processed.csv", parse_dates=["time"]) features = ["wind_speed", "wind_dir_sin", "wind_dir_cos", "temperature", "power", "power_diff"] X_cluster = df[features].values # 2. 标准化后训练GMM scaler_cluster = StandardScaler() X_cluster_scaled = scaler_cluster.fit_transform(X_cluster) gmm = GaussianMixture(n_components=4, covariance_type="full", max_iter=200, random_state=42) gmm.fit(X_cluster_scaled) # 3. 打簇标签 cluster_labels = gmm.predict(X_cluster_scaled) df["cluster"] = cluster_labels # 4. 按时间顺序切分每个簇的数据 train_ratio, val_ratio = 0.7, 0.15 for c in sorted(df["cluster"].unique()): df_c = df[df["cluster"] == c].sort_values("time") n = len(df_c) n_train, n_val = int(n * train_ratio), int(n * val_ratio) df_c.iloc[:n_train].to_csv(f"train_cluster{c}.csv", index=False) df_c.iloc[n_train:n_train + n_val].to_csv(f"val_cluster{c}.csv", index=False) df_c.iloc[n_train + n_val:].to_csv(f"test_cluster{c}.csv", index=False)这里要留意的是covariance_type参数。特征维数不多时用full协方差可以得到更精细的工况描述，但特征多的时候矩阵参数量会爆炸，容易出现收敛问题。我试过diag和full两种，六维特征下full合适；如果特征超过10维，建议先用PCA降维再聚类，或者改成diag。
5.2 关键模块代码与参数解释
滑窗构造是数据管线里最关键的一环，我写了个函数：
def create_sequences(data, feature_cols, target_col, window=72, horizon=24): X, y = [], [] values = data[feature_cols].values targets = data[target_col].values for i in range(len(data) - window - horizon + 1): X.append(values[i:i + window]) y.append(targets[i + window:i + window + horizon]) return np.array(X), np.array(y)这个函数保证输入窗口严格位于标签之前，不会出现未来信息泄漏。每个簇训练模型时，我都会额外留出一段最近的样本做早停监测，防止模型在训练集上过拟合。
模型结构我用PyTorch搭：
import torch import torch.nn as nn class CNNBiLSTMAttention(nn.Module): def __init__(self, n_features, hidden_size=64, n_layers=2, horizon=24): super().__init__() self.conv1 = nn.Conv1d(n_features, 64, kernel_size=3, padding=1) self.conv2 = nn.Conv1d(64, 128, kernel_size=3, padding=1) self.pool = nn.MaxPool1d(2) self.lstm = nn.LSTM(128, hidden_size, num_layers=n_layers, bidirectional=True, batch_first=True) self.attention = nn.Linear(hidden_size * 2, 1) self.fc = nn.Linear(hidden_size * 2, horizon) def forward(self, x): # x: [batch, seq_len, features] x = x.permute(0, 2, 1) # [batch, features, seq_len] x = torch.relu(self.conv1(x)) x = torch.relu(self.conv2(x)) x = self.pool(x) x = x.permute(0, 2, 1) # [batch, seq_len_after_pool, 128] lstm_out, _ = self.lstm(x) attn_scores = torch.softmax(self.attention(lstm_out), dim=1) context = torch.sum(lstm_out * attn_scores, dim=1) return self.fc(context)这个结构有几个值得注意的地方。
第一，一维卷积的输入布局是[batch, channels, seq_len]，所以要用permute把特征和序列维度交换。
第二，池化操作会改变序列长度。窗口72经过卷积和一次池化后变成36，BiLSTM返回的序列长度也是36。注意力层直接作用在这36个时间步上，语义就是对压缩后的时序特征做加权。
第三，注意力得分用softmax作用在时间步维度上，即dim=1，保证所有时刻的权重和为1。如果你不小心对别的地方做softmax，整个加权逻辑就错了。
训练参数我常用的组合是：批大小64，初始学习率0.001，每30轮衰减为原来的0.5，早停轮数15。优化器用AdamW，比Adam多了权重衰减解耦，对稳定训练有帮助。
5.3 Matlab端在流程中的分工
这个项目标题里同时写了Python和matlab，很多读者会疑惑两种语言怎么分工。我的实际做法是：Matlab负责数据预处理和GMM聚类的快速验证，Python负责深度学习模型的训练和推理。
Matlab的统计工具箱里fitgmdist接口非常成熟，几行代码就能拟合GMM：
X = table2array(data(:, feature_cols)); X = zscore(X); gmm_model = fitgmdist(X, 4, 'CovarianceType', 'full', 'RegularizationValue', 0.01); idx = cluster(gmm_model, X);这里面我特意写了RegularizationValue参数。当某个簇的样本数量偏少时，协方差矩阵可能接近奇异，加一个小的正则项能防止矩阵求逆失败。Python端同样会遇到这个问题，scikit-learn里对应的参数是reg_covar。
Matlab的另一个优势是画图方便。聚类后用gscatter按簇绘制风速-功率散点图，可以直观看到每个簇的分布边界，硬件迭代验证时比Python的matplotlib快很多。我通常先用Matlab完成聚类的可行性和K值验证，确认工况划分合理后，再把固定下来的K值和预处理流程迁移到Python管线里，实现全自动化训练。
5.4 训练策略与超参数参考
我把超参数列成一张表，方便直接抄作业。需要说明的是，不同风电场数据特性不同，表里的值是基于我做的某风电场数据调的，适合作为起点而非最终值。
| 超参数 | 设置值 | 说明 |
|---|---|---|
| GMM聚类数K | 4~5 | 用BIC和业务场景双重验证 |
| GMM协方差类型 | full | 特征小于10维时推荐 |
| 历史窗口长度 | 72个点（12小时） | 依据数据时间间隔调整 |
| 预测步长 | 24个点（4小时） | 直接多步输出 |
| 卷积核大小 | 3 | 避免抹平突变信息 |
| 隐藏层大小 | 64 | BiLSTM单向隐藏单元数 |
| BiLSTM层数 | 2 | 再加深收益变小 |
| 批大小 | 64 | 显存不足时降到32 |
| 学习率 | 0.001 | AdamW配合衰减 |
| 早停轮数 | 15 | 监控验证集Loss |
训练顺序上，我一般先训所有簇的模型，记录每个簇验证集上的RMSE，然后再分析误差来源。如果某一个簇的模型误差特别高，先怀疑这个簇的样本量是否太少，再怀疑特征在该工况下是否完备。
6. 评价指标、结果对比与实用经验
6.1 行业通用评价指标
风电功率预测领域最常用的三个指标是均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE。
RMSE的计算式是：
RMSE = sqrt(1/N · Σ (y_true - y_pred)²)RMSE对大误差敏感，适合用来发现“极端情况是否被模型捕捉”。MAE则是绝对误差的平均，更贴近日常预测的平均表现。MAPE则把所有误差按真实值归一化，方便跨场站对比，但要注意真实功率接近0的时候MAPE会爆炸，实际使用时通常设置一个功率下限，比如低于装机容量5%的样本不计入MAPE。
业内还常用“预测合格率”这个概念，也就是预测误差在允许范围内的点数占总点数的比例。这个指标更接近电网考核口径，做工程项目时客户经常直接拿它验收。我一般四个指标都算，放在同一张结果表里，不同维度看效果。
6.2 消融实验与对照设计
为了搞清楚每个模块到底贡献了多少，我设计了五组对照实验：
- 单一LSTM（基线）
- CNN-LSTM
- CNN-BiLSTM
- CNN-BiLSTM-Attention
- GMM聚类 + CNN-BiLSTM-Attention
每组用相同的数据划分和随机种子，保证可比性。结果大致趋势是：CNN的加入让RMSE降低3%~6%，BiLSTM比LSTM再低5%左右，Attention又带来4%~7%的改善，而GMM聚类带来的收益最显著，整体RMSE比单模型下降15%以上，尤其在爬坡段的改善接近20%。
我还专门对比过“聚类后的简单模型”和“不聚类的复杂模型”，也就是用GMM+LSTM打GMM+CNN-BiLSTM-Attention的效果，发现前者的预测合格率反而不低。这印证了一个观点：在风电功率预测里，“把问题拆分成可建模的子问题”往往比“追求更大更复杂的模型”性价比更高。
6.3 可视化与结果解读
预测结果画图时，我习惯把“实际功率曲线”“预测功率曲线”“预测误差曲线”三张图画在同一个子图里，额外标出爬坡段和切风段。你可以看到，无聚类的模型在爬坡段经常出现“反应滞后”，预测曲线比实际曲线慢一到两个时间点；而GMM聚类后的模型在爬坡段的预测开始时间和斜率都明显更贴近实际。
注意力权重也可以可视化，把所有时间步的权重画成热力图，横轴是时间步，纵轴是样本。你会发现在风速快速上升的样本里，权重显著集中到爬坡起始点附近；而平稳样本的权重分布则相对均匀。这类可视化既方便向客户解释模型行为，也能用来排查“注意力学废了”的问题。
7. 常见问题与避坑实录
7.1 按序号速查的七类高频问题
| 问题现象 | 可能原因 | 解决办法 |
|---|---|---|
| GMM训练不收敛 | 特征维数过高，协方差矩阵奇异 | 增加reg_covar正则项，或改用diag协方差 |
| 某个簇样本极少 | K值选得太多 | 用BIC折线图重新定K，或合并样本量过小的簇 |
| 测试集指标远好于验证集 | 随机划分导致信息泄漏 | 改成严格按时间顺序切分 |
| 爬坡段预测滞后 | 输入窗口太短 | 适当扩窗口到96个点 |
| 预测曲线抖动大 | 边界样本频繁切换簇 | 用后验概率加权融合解决 |
| 夜间误差明显大于白天 | 特征缺少大气稳定度信息 | 加入风切变指数或温度廓线特征 |
| 多步预测后面几步误差爆炸 | 直接用MSE同时训24步 | 对越远的时间步给予更大权重，或分段加权 |
7.2 数据泄漏：时序任务里最容易犯的错
数据泄漏在时序预测里是个隐蔽又致命的错误。我见过有人用StandardScaler在全部数据上拟合，然后在训练集和测试集中分别用这个缩放器做变换，看起来流程很规范，但问题在于：scaler是在包含测试集在内的全部数据上拟合的，均值和方法已经偷看了测试集的分布。正确的做法是先切分数据，再在训练集上拟合scaler，然后把同一套参数应用到验证集和测试集。
聚类环节同样存在类似的坑。如果先把整个数据集标准化再切分，GMM也在全部数据上训练，虽然测试样本在GMM训练时没有提供标签，但标准化参数已经泄漏了测试集信息。严格的做法是：先按时间切训练/验证/测试，再对训练集做标准化，然后把标准化的参数迁移到验证集和测试集；GMM同理，只在训练集上拟合。
7.3 注意力学废了的判断方法
注意力机制不是加了就一定有用。我碰到过一次情况：注意力权重学得几乎均匀分布，和池化没区别，说明注意力没有找到有效的聚焦模式。问题出在初始化和优化上，注意力层的打分向量需要合适的初始化范围，我把它初始化为均匀小随机数，并且把打分做缩放。
另外一个判断技巧：训练后期打印部分样本的注意力权重分布，人为挑选几个明显的爬坡样本，检查权重是否集中在突变附近。如果完全分散，先检查是否数据标准化没做，或者梯度过大导致注意力参数更新不稳定。加上梯度裁剪（gradient clipping, 阈值1.0）通常能解决。
还有一点，注意力权重和模型性能没有绝对正相关。有时候注意力权重聚焦得很明显，但总误差并没有明显下降，这可能是因为模型把注意力过度集中到某些“巧合”的时间步上，实际情况中多观察几个样本再下结论。
最后再分享一个小技巧：实际部署的时候，不要每个簇跑一次模型再找最大值，可以提前把GMM的后验概率计算封装成单个算子，推理时一次性得到样本对所有簇的归属概率，然后查表索引到对应的子模型。这一步能让单次预测延迟从几十毫秒降到十几毫秒，对在线滚动预测很有价值。这套“先聚类拆分、再分模型预测”的方案，对我来说最大的收获不是指标降了多少，而是让我对风电场运行工况有了更结构化的理解。数据里的规律从来不是铁板一块，先把它拆开，再让模型各司其职，很多看似难啃的问题会顺很多。
