简介：本资源面向机器学习初学者与研究者，系统整理了极限学习机（ELM）及其多种变体的MATLAB实现，覆盖从有监督到半监督、无监督的完整学习范式。包内共31个文件，以23个m脚本为核心，辅以sinc_train、sinc_test、diabetes_train、diabetes_test等训练测试数据及mat、txt文件，压缩包约451KB，结构紧凑便于直接运行调试。内容涵盖基础ELM、正交ELM（OSELM）、核ELM（KELM）、半监督ELM（SSELM）与无监督ELM（USELM），并配有demo示例脚本与多种激活函数实现，可帮助读者快速搭建实验环境，对比不同变体在回归与分类任务上的性能差异。已有1025人学习下载，适合作为课程设计、论文复现或算法入门的实践参考，通过调整核函数与参数可进一步适配复杂数据集。
1. 从一次「训练 3 秒、调参 3 天」的翻车说起
如果你手头有一批几千到几万条的工业传感器数据，标签贵得要命，想训个能跑在 PLC 边缘盒子上的分类器，那你大概率绕不开极限学习机（ELM）这条线。它的核心卖点很朴素：随机生成输入层到隐层的权重，隐层输出矩阵用一次最小二乘就解完，不需要反向传播迭代，训练速度比 BP 神经网络快一到两个数量级。但真正上手你会发现，单隐层 ELM 在数据一多、隐层节点一涨的时候，pinv那一步直接吃满内存；在线场景下新样本来了只能全量重训；核方法 KELM 精度上去了但核矩阵是 N×N，N 过万就卡死；而无标签数据堆在硬盘里没人用，半监督 SSELM、USELM 又不知道从哪下手。
这篇笔记就围绕 ELM、OSELM、KELM、SSELM、USELM 这五个变体，把 MATLAB 里能直接跑通的实现路径、参数怎么设、哪一步最容易翻车讲清楚。适合两类人：一类是刚接触 ELM、想拿一份能改的 MATLAB 代码跑通自己数据的新手；另一类是已经用过 ELM、但被在线更新和半监督卡住的熟手。下面所有代码都是按「一个函数一个变体」组织的，你可以直接拼成一个工程目录。
2. ELM 与 OSELM：从批量最小二乘到在线递推
2.1 为什么 ELM 能一次解完，OSELM 又为什么要递推
先把 ELM 的数学骨架摆出来。给定 N 个样本 $(x_i, t_i)$，隐层节点数 L，激活函数 g，随机生成输入权重 W 和偏置 b 后，隐层输出矩阵 H 是 N×L 的：
$$H = g(WX + b)$$
输出权重 $\beta$ 通过最小化 $|H\beta - T|^2$ 得到，解是 $\beta = H^\dagger T$，其中 $H^\dagger$ 是 Moore-Penrose 广义逆。这就是 ELM 全部的训练过程，没有迭代、没有学习率、没有梯度消失。选它的理由很直接：当你的特征维度不高、样本量在几千级别、又要求毫秒级推理时，ELM 的性价比极高。
OSELM（Online Sequential ELM）解决的是「数据分批到达」的问题。它不去重算整个 $H^\dagger$，而是用 Sherman-Morrison-Woodbury 公式递推更新输出权重。设第 k 批数据的隐层输出为 $H_k$，递推公式是：
$$P_k = P_{k-1} - P_{k-1}H_k^T(I + H_kP_{k-1}H_k^T)^{-1}H_kP_{k-1}$$ $$\beta_k = \beta_{k-1} + P_kH_k^T(T_k - H_k\beta_{k-1})$$
其中 $P = (H^TH)^{-1}$。这个递推的关键在于：每来一批新数据，只做 L×L 规模的矩阵运算，和总样本量 N 无关。这就是 OSELM 能在流式数据上跑的根本原因。
2.2 用 MATLAB 跑通 ELM 的最小命令
下面这段是 ELM 训练和预测的核心函数，我一般把它存成elm_train.m和elm_predict.m两个文件。激活函数用 sigmoid，隐层节点数先设 100 起步。
function [beta, H] = elm_train(X, T, L, act_func) % X: N x d 输入, T: N x m 目标, L: 隐层节点数 % act_func: 'sig' | 'sin' | 'relu' N = size(X, 1); d = size(X, 2); rng(42); % 固定随机种子，保证可复现 W = rand(L, d) * 2 - 1; % 输入权重，范围 [-1,1] b = rand(L, 1); % 偏置，范围 [0,1] H = X * W' + repmat(b', N, 1); switch act_func case 'sig' H = 1 ./ (1 + exp(-H)); case 'sin' H = sin(H); case 'relu' H = max(H, 0); end beta = pinv(H) * T; % 核心一步：广义逆求解 end逻辑说明：rng(42)是为了让每次跑出来的随机权重一致，方便你对比不同参数的影响，不然调参时结果飘来飘去会怀疑人生。W和b的范围是经验值，sigmoid 激活下 [-1,1] 和 [0,1] 比较稳。pinv(H)内部走 SVD，当 L 接近 N 时会很慢，这是后面避坑章节要重点说的。
参数说明：L是最关键的参数。太小欠拟合，太大过拟合且pinv变慢。我一般从L = round(sqrt(N))开始试，再按 50 的步长往上加，看验证集精度什么时候不再涨。act_func里 sigmoid 最通用，sin适合周期性数据，relu在特征稀疏时收敛更干脆。
预测阶段就一行：
function Y = elm_predict(X, W, b, beta, act_func) H = X * W' + repmat(b', size(X,1), 1); switch act_func case 'sig', H = 1 ./ (1 + exp(-H)); case 'sin', H = sin(H); case 'relu', H = max(H, 0); end Y = H * beta; end注意训练时算出的W、b必须存下来传给预测，不能重新随机生成，这是新手最常犯的错误之一。
2.3 OSELM 的递推实现与初始化块大小
OSELM 的代码比 ELM 多一个初始化阶段。第一块数据用来算初始 $P_0$ 和 $\beta_0$，后续每块走递推。
function [beta, P, W, b] = oselm_train(X, T, L, block_size, act_func) N = size(X, 1); rng(42); W = rand(L, size(X,2)) * 2 - 1; b = rand(L, 1); % 初始化块 X0 = X(1:block_size, :); T0 = T(1:block_size, :); H0 = activate(X0 * W' + repmat(b', block_size, 1), act_func); P = pinv(H0' * H0); beta = P * H0' * T0; % 递推块 for k = block_size+1 : block_size : N idx = k : min(k+block_size-1, N); Hk = activate(X(idx,:) * W' + repmat(b', length(idx), 1), act_func); Tk = T(idx, :); I = eye(size(Hk, 1)); P = P - P * Hk' * ((I + Hk * P * Hk') \ (Hk * P)); beta = beta + P * Hk' * (Tk - Hk * beta); end end逻辑说明：初始化块大小block_size必须大于等于隐层节点数 L，否则 $H_0^TH_0$ 秩亏，pinv出来的 $P$ 不可靠。递推里用左除\而不是inv，数值稳定性更好。每块只做 L×L 的逆运算，所以总耗时和 N 基本线性。
参数说明：block_size我一般设成2*L到5*L之间。太小递推次数多、累积误差大；太大就退化成批量 ELM，失去在线意义。如果你的数据是逐条到达的，block_size=1也能跑，但要注意数值抖动，建议加一个小的正则项。
3. KELM：核矩阵把精度拉上去，也把内存吃干净
3.1 核方法替代随机映射的逻辑
ELM 的随机权重虽然快，但隐层映射是「碰运气」的，数据分布复杂时精度不稳。KELM 的思路是把隐层映射换成核函数，用 Mercer 核直接算样本间的相似度，等价于在无穷维特征空间里做最小二乘。输出权重解变成：
$$\beta = \left(\frac{I}{C} + \Omega\right)^{-1}T$$
其中 $\Omega_{ij} = K(x_i, x_j)$ 是核矩阵，C 是正则化系数。预测时：
$$y(x) = \begin{bmatrix} K(x, x_1) \ \vdots \ K(x, x_N) \end{bmatrix}^T \beta$$
选 KELM 的理由：小样本、高维特征、非线性边界明显的场景，KELM 通常比 ELM 高几个点。代价是核矩阵是 N×N，N=10000 时单精度就要 400MB，N=50000 直接爆内存。
3.2 KELM 的 MATLAB 实现与核参数选择
function [alpha, X_train, K_param] = kelm_train(X, T, C, kernel, K_param) % kernel: 'rbf' | 'lin' | 'poly' N = size(X, 1); Omega = compute_kernel(X, X, kernel, K_param); alpha = (Omega + eye(N) / C) \ T; % 正则化最小二乘 X_train = X; end function K = compute_kernel(X1, X2, kernel, K_param) switch kernel case 'rbf' % K_param 是 gamma D = pdist2(X1, X2).^2; K = exp(-K_param * D); case 'lin' K = X1 * X2'; case 'poly' K = (X1 * X2' + 1).^K_param; end end逻辑说明：Omega + eye(N)/C这一步是 Tikhonov 正则化，C 越大越接近硬间隔，越小越平滑。用左除\解线性方程组，比显式求逆快且稳。RBF 核的 gamma 参数控制核宽度，gamma 太大核矩阵接近单位阵，模型退化成最近邻；太小则所有样本相似度都接近 1，模型退化成常数。
参数说明：C 和 gamma 是 KELM 的两个命门。我一般用网格搜索，C 取[1e-2, 1e-1, 1, 10, 100, 1000]，gamma 取[1e-3, 1e-2, 1e-1, 1, 10]乘以特征维度的倒数。如果 N 超过 8000，建议先做核矩阵的 Nyström 近似或者直接换回 ELM，别硬扛。
3.3 核矩阵内存爆炸前的三个信号
第一个信号是 MATLAB 报Out of memory之前，你会先看到pdist2那一步耗时突然从秒级跳到分钟级。第二个信号是任务管理器里 MATLAB 进程内存曲线变成一条陡峭的斜线。第三个信号是\求解时警告矩阵接近奇异。出现任何一个，都说明你的 N 已经超出 KELM 的舒适区。这时候要么降采样，要么改用随机特征近似（把核映射近似成有限维随机特征，再走 ELM 那套），要么直接上 OSELM 分批处理。
4. SSELM 与 USELM：把无标签数据用起来的两种姿势
4.1 半监督 ELM 的流形正则化框架
SSELM（Semi-Supervised ELM）的核心假设是：如果两个样本在输入空间里离得近，它们的输出也应该接近。这个假设通过流形正则项加进目标函数：
$$\min_\beta |H\beta - T|^2 + \lambda \text{Tr}(\beta^T H^T L H \beta)$$
其中 L 是图拉普拉斯矩阵，由有标签和无标签样本一起构建。解出来是：
$$\beta = (H^TH + \lambda H^TLH)^{-1}H^TT$$
USELM（Unsupervised ELM）走的是另一条路：没有标签，那就用聚类或者重构误差来定义目标，本质上是把 ELM 当成一个非线性降维或聚类工具。实际工程里 SSELM 用得更多，因为半监督场景下你总归有几个标签。
4.2 构建图拉普拉斯矩阵的 MATLAB 步骤
function L = build_laplacian(X, k, sigma) % X: 全部样本（含有标签+无标签）, k: 近邻数, sigma: 热核宽度 N = size(X, 1); D = pdist2(X, X).^2; [~, idx] = sort(D, 2); W = zeros(N, N); for i = 1:N nb = idx(i, 2:k+1); % 排除自身 W(i, nb) = exp(-D(i, nb) / (2*sigma^2)); end W = max(W, W'); % 对称化 Dg = diag(sum(W, 2)); L = Dg - W; end逻辑说明：k一般取 5 到 15，sigma取样本间欧氏距离的中位数。W = max(W, W')是为了保证对称性，因为 k 近邻关系不一定对称。图拉普拉斯 L 是半正定的，所以H^TLH也是半正定，加上H^TH后整个矩阵可逆性有保障。
参数说明：正则化系数lambda控制无标签数据的影响强度。lambda 太大，模型被图结构主导，有标签信息被淹没；太小则半监督退化成监督。我一般从lambda = 0.1开始，按对数刻度调到 10 左右看验证集表现。
4.3 SSELM 训练函数与标签传播的衔接
function beta = sselm_train(X_labeled, T_labeled, X_unlabeled, L, lambda, act_func) X_all = [X_labeled; X_unlabeled]; Nl = size(X_labeled, 1); N = size(X_all, 1); rng(42); W = rand(L, size(X_all,2)) * 2 - 1; b = rand(L, 1); H = activate(X_all * W' + repmat(b', N, 1), act_func); Lmat = build_laplacian(X_all, 10, median(pdist(X_all))/2); % 只对有标签部分算监督项 Hl = H(1:Nl, :); beta = (Hl' * Hl + lambda * H' * Lmat * H) \ (Hl' * T_labeled); end逻辑说明：监督项只用有标签样本的 H 子矩阵，正则项用全部样本的 H。这样无标签数据通过图结构影响 beta，但不直接提供标签信息。build_laplacian里的近邻数固定 10 是经验值，数据维度高时可以适当加大。
参数说明：lambda和近邻数k需要一起调。如果无标签数据量远大于有标签数据，lambda 可以适当放大，让图结构发挥更大作用。但要注意，如果无标签数据本身噪声很大，图结构会把噪声传播进模型，这时候 lambda 反而要调小。
5. 避坑与排查：五个让我重跑实验的瞬间
5.1 现象：ELM 训练精度 99%，测试精度 50%
原因：隐层节点数 L 设得太大，pinv(H)把训练集里的噪声也拟合进去了。ELM 没有正则项，L 接近 N 时就是插值，泛化必然崩。
解决：加 L2 正则，把beta = pinv(H) * T改成beta = (H'*H + eye(L)/C) \ (H'*T)，C 取 100 到 1000。或者直接把 L 降到sqrt(N)附近，用验证集早停。
5.2 现象：OSELM 递推到第 50 批时输出变成 NaN
原因：$P$ 矩阵在递推中逐渐失去正定性，数值误差累积导致(I + Hk*P*Hk')接近奇异。
解决：每递推 20 批重新用当前所有数据算一次P = pinv(H'*H)做重置，或者给递推公式加一个遗忘因子。另外检查block_size是不是小于 L，秩亏是 NaN 的常见源头。
5.3 现象：KELM 在 N=12000 时 MATLAB 直接卡死
原因：pdist2生成 12000×12000 的矩阵，双精度下是 1.15GB，加上Omega + eye(N)/C又复制一份，内存直接翻倍。
解决：用single精度算核矩阵，或者分块计算Omega。更彻底的办法是换 Nyström 近似，取 1000 个采样点构造低秩近似，精度损失通常在 1 到 2 个点以内。
5.4 现象：SSELM 加了无标签数据后精度反而降了
原因：无标签数据里混入了和任务无关的样本，图拉普拉斯把这些样本连到了有标签样本上，标签信息被稀释。
解决：先对无标签数据做一次置信度筛选，用有标签数据训一个初始 ELM，只保留预测置信度高的无标签样本进图。或者把lambda降到 0.01 以下，让监督项主导。
5.5 现象：五个变体代码混在一起，改一个参数全崩
原因：没有统一的数据接口和参数结构体，每个函数各管各的随机种子和归一化。
解决：把所有变体统一成train(X, T, opts)接口，opts里放L、C、lambda、kernel等字段。归一化只在数据加载时做一次，随机种子统一在顶层设。这样切换变体只改opts.method一个字段。
6. 把五个变体塞进一个可切换的 MATLAB 工程
真正让这套代码在项目里活下来的，不是某个变体的精度，而是你能不能在一分钟内从 ELM 切到 OSELM 再切到 SSELM，而不改数据加载和评估代码。我的习惯是写一个顶层调度函数，用opts.method控制走哪条分支，所有变体共享同一份归一化和评估逻辑。
function [model, acc] = train_elm_family(X, T, opts) % opts.method: 'elm' | 'oselm' | 'kelm' | 'sselm' | 'uselm' [Xn, ps] = mapminmax(X', 0, 1); Xn = Xn'; switch opts.method case 'elm' [beta, H] = elm_train(Xn, T, opts.L, opts.act); model = struct('beta', beta, 'ps', ps, 'opts', opts); case 'oselm' [beta, P, W, b] = oselm_train(Xn, T, opts.L, opts.block, opts.act); model = struct('beta', beta, 'P', P, 'W', W, 'b', b, 'ps', ps); case 'kelm' [alpha, Xt, kp] = kelm_train(Xn, T, opts.C, opts.kernel, opts.gamma); model = struct('alpha', alpha, 'Xt', Xt, 'kp', kp, 'ps', ps); case 'sselm' beta = sselm_train(Xn(1:opts.Nl,:), T(1:opts.Nl,:), ... Xn(opts.Nl+1:end,:), opts.L, opts.lambda, opts.act); model = struct('beta', beta, 'ps', ps); case 'uselm' model = uselm_train(Xn, opts.L, opts.act); end acc = evaluate(model, X, T, opts); end逻辑说明：mapminmax把数据归一化到 [0,1]，ps结构体存归一化参数，预测时必须用同一个ps做变换，否则训练和推理的输入分布不一致，精度会莫名其妙掉。evaluate函数根据opts.method调用对应的预测函数，统一算准确率或 RMSE。
参数说明：opts建议用结构体一次性传，字段包括method、L、C、lambda、kernel、gamma、block、act、Nl。这样你在脚本里改一行opts.method = 'oselm'就能切换，不用动其他代码。
验证方法上，我一般用 5 折交叉验证跑一遍五个变体，记录训练时间、测试精度、内存峰值三个指标。经验值是：样本量小于 2000 时 KELM 精度最高但训练最慢；样本量 2000 到 10000 时 ELM 和 OSELM 性价比最好；有大量无标签数据且标签少于 10% 时 SSELM 能比纯监督高 3 到 8 个点。如果 OSELM 的在线精度比批量 ELM 低超过 2 个点，先检查block_size是不是太小，再检查递推有没有加正则。
最后说个我自己的习惯：每次换数据集，先跑一遍L = round(sqrt(N))的 ELM 作为基线，把精度和耗时记在实验日志第一行。后面所有变体的提升都跟这个基线比，不然很容易被 KELM 的高精度迷惑，忘了它多花的那几十倍内存和时间到底值不值。希望帮到你。
本文还有配套的精品资源，点击获取
