粒子群与哈里斯鹰优化SVM超参数：故障诊断实战指南

接手故障诊断任务时，我的第一反应和大多数人一样：数据拿到手，特征提完，直接扔给支持向量机（SVM）跑分类，然后用网格搜索去试C和gamma。一开始觉得没什么问题，直到我在一组滚动轴承振动数据上，把网格从2的-5次方一路试到2的5次方，9乘9一共81组参数，每组还套着5折交叉验证，跑了大半个小时，结果最优准确率卡在95%出头，怎么都上不去。更让人崩溃的是，换了随机种子重新划分数据之后，之前选出来的“最优参数”好像又不灵了。

后来我把网格搜索扔到一边，改用粒子群优化（PSO）和哈里斯鹰优化（HHO）直接去搜索SVM的超参数，十分钟不到就能找到一组明显更好的C和gamma，准确率提升到97%以上。这篇文章就是冲着这个“参数寻优”问题来的，把PSO和HHO两条技术路线从原理到代码、从踩坑到选型全部说清楚。不管你是在做轴承故障诊断、齿轮箱故障诊断，还是电机异常检测，只要你的分类器是SVM，这篇内容都值得看完再动手。

1. 先说说我为什么放弃网格搜索，转向PSO和HHO

1.1 网格搜索的致命问题：你根本不知道最优解藏在哪

网格搜索的思路非常直白：在预设的参数范围内，按固定步长把每个点都试一遍。听起来很稳妥，但实际操作时你会遇到一个尴尬的问题——你预先画的那张“网”，很可能压根儿没覆盖到最优解附近。

我当时用的RBF核函数SVM有C和gamma两个参数，如果分别取2的-5到2的5次幂，步长为2的1次幂，两个维度各11个点，总共121组参数。这个密度在双对数坐标系里看上去还行，但真实的最优解往往落在网格缝隙中间。你缩小步长，参数组合数就爆炸式增长；你扩大范围，步长必然变粗，精度还是上不来。这是网格搜索天生的缺陷：它对参数空间的离散化是固定的，不会根据搜索结果动态调整搜索密度。

更麻烦的是，SVM的C和gamma不是独立的。一个稍微小一点的gamma搭配一个稍大的C，可能比网格中任何一组组合都好，但这条“对角线”上的坐标点很可能没有被格子覆盖到。我当时为了验证这个猜想，手动在一组最优网格点附近微调了几次参数，发现准确率确实又涨了一截。那一刻我意识到，故障诊断这种对准确率要求极高的任务，靠网格搜索粗调，本质上就是在碰运气。

1.2 故障诊断场景下，为什么贝叶斯优化不如群体智能优化“好使”

可能有人会说，不用网格搜索，用贝叶斯优化不也行吗？我试过，但在故障诊断这个具体场景里，贝叶斯优化有几个让我不太舒服的地方。

一是贝叶斯优化在参数维度低的时候效率确实高，但它内部需要维护一个代理模型（通常是高斯过程），每次迭代都要对代理模型做更新和推断。当特征维度不高、SVM训练本身也不算太慢时，这个“代理模型的维护成本”反而成了开销大头。

二是贝叶斯优化的探索策略比较“理性”，它每一步都在做收益权衡，这在小规模参数搜索上没毛病，但如果你对初始采样点分布不够了解，它很容易过早收敛到局部较优点。相比之下，PSO和HHO这类群体智能算法，靠一群候选解的协作与竞争去逼近全局最优，对参数空间的长相不那么敏感，实现也简单得多，几分钟内就能看到结果。

1.3 群体智能算法解决的核心矛盾

说到底，PSO和HHO这类算法解决的是同一个核心矛盾：SVM的参数寻优本质上是一个非凸、多峰的连续优化问题，而且适应度函数（交叉验证准确率）本身带有噪声。传统方法要么太机械（网格搜索），要么太“聪明”（贝叶斯优化），在没有很好先验知识的前提下，很容易事倍功半。群体智能的优势在于，它用一群并行搜索的候选解来做全局探索，信息共享机制让好的区域被快速发现，而不至于陷入单个方向的盲目试探。

这个思路用大白话讲就是：与其一个人蒙着眼睛在山里找最高点，不如派一群人分散到各个山坡上，谁爬得高了就喊一声，其他人往那个方向靠拢，同时自己脚下还要继续摸索。PSO和HHO的差别，只是这群人的“协作通信方式”不太一样。

2. SVM的C和gamma，到底在控制什么

2.1 惩罚系数C：对误分类代价的“定价”

C是SVM的惩罚系数，它控制着你允许模型犯多大错误。C越大，模型在训练阶段越不接受误分类，决策边界就会变得越复杂，力图把所有训练样本都分对；C越小，模型对误分类的容忍度越高，决策边界越平滑，但可能连正常样本都分不好。

在故障诊断场景里，这个参数尤其敏感。因为我们手里的训练样本往往是有限的，可能正常工况几百个样本、故障工况每类只有几百个样本。C如果太大，模型会拼命记住训练集里的每一个细节，包括噪声和偶然波动，结果在测试集上泛化能力反而变差。C如果太小，模型又太“懒”，连明显的故障特征都忽略掉，诊断准确率直接崩。

2.2 核函数参数gamma：影响范围的“半径”

gamma是RBF核函数的参数，它控制着每个训练样本对决策边界的“影响力半径”。gamma越大，每个样本的影响范围越小，决策边界会变得非常曲折，模型倾向于“贴身包围”每一个样本点，过拟合风险极高；gamma越小，影响范围越大，决策边界越平滑，但太小了所有样本的影响力糊成一片，模型分辨不出不同故障类别之间的细微差异。

我用一个生活化的类比来解释gamma：如果把训练样本比作岸边的礁石，gamma决定的是“每一块礁石激起的波纹能扩散多远”。波纹扩散远了，整个海面都被重叠的水纹覆盖，很难分清波纹的中心在哪里；波纹扩散近了，每个礁石周围都只围着一个小圈，航行的人根本看不出大致的航道轮廓。故障诊断里各故障类别的特征在特征空间中往往有重叠区域，gamma选得好不好，直接决定了SVM能不能在重叠区域里划出一条合理的边界。

2.3 参数耦合效应：为什么单独调一个参数没有用

我第一次调参的时候就犯过一个典型的错误：固定gamma，只调C；或者固定C，只调gamma。结果往往是一维曲线看着挺合理，二维组合却一塌糊涂。

原因在于C和gamma具有很强的耦合性。C越大，模型越需要复杂的边界来分隔样本，此时较大的gamma（更精细的局部划分）往往能配合得更好；而C较小时，模型本身倾向平滑边界，过大的gamma反而制造出大量不必要的“孤岛”，让分类精度下降。所以真正有效的做法，是把C和gamma作为一个二维向量整体去搜索，而不是一个一个单独调。PSO和HHO之所以能稳定提高SVM在故障诊断任务上的准确率，本质就在这一点：它们把C和gamma当成一个坐标点，在二维平面上做真正的联合搜索。

3. PSO粒子群优化：一段能直接抄的SVM寻参代码

3.1 PSO的运行机制：速度、位置、个体最优与全局最优

粒子群优化（Particle Swarm Optimization，PSO）是我最先落地到故障诊断流程里的算法，因为它只有三行核心更新公式，理解门槛极低。

每个粒子代表一组候选参数向量，也就是一个二维坐标点（C, gamma）。粒子在参数空间里飞行，飞行的方向由两部分组成：一是粒子自己历史上见过的最好位置（pbest），二是整个种群目前发现的最好位置（gbest）。速度更新公式如下：

v = w * v + c1 * r1 * (pbest - x) + c2 * r2 * (gbest - x) x = x + v

• w是惯性权重，控制粒子对上一时刻速度的保持程度
• c1和c2是学习因子，分别控制“飞向自己历史最优”和“飞向全局最优”的拉力大小
• r1和r2是两个[0,1]之间的随机数，用来维持搜索的随机性

我习惯把C和gamma的搜索放在对数空间里，也就是说粒子坐标x的两个维度不直接是C和gamma，而是log10(C)和log10(gamma)。原因很简单：C和gamma在实际取值上跨越多个数量级，直接在线性空间搜索，粒子一步迈出去可能就从1跳到了100，搜索效率很低；但对数空间里，从10的-3次方到10的3次方只需要在[-3, 3]的区间里移动，步长语义也稳定得多。

3.2 用PSO优化SVM的核心Python实现

下面这段代码是我实际在故障诊断项目里用过的方案，高度精简之后保留了核心逻辑。数据集换成你自己的特征矩阵X和标签y就能直接跑通。

import numpy as np from sklearn.svm import SVC from sklearn.model_selection import cross_val_score # 适应度函数：返回交叉验证平均准确率 def calc_fitness(params, X, y): C, gamma = params model = SVC(C=C, gamma=gamma, kernel='rbf') scores = cross_val_score(model, X, y, cv=5, scoring='accuracy') return scores.mean() class PSOSVM: def __init__(self, n_particles=24, max_iter=30, w=0.8, c1=1.5, c2=1.5, lb=-3.0, ub=3.0, dim=2): self.n_particles = n_particles self.max_iter = max_iter self.w = w self.c1 = c1 self.c2 = c2 self.lb = lb self.ub = ub self.dim = dim def run(self, X, y): # 在log空间随机初始化粒子位置和速度 positions = np.random.uniform(self.lb, self.ub, (self.n_particles, self.dim)) velocities = np.random.uniform(-0.1, 0.1, (self.n_particles, self.dim)) pbest_positions = positions.copy() pbest_scores = np.full(self.n_particles, -np.inf) gbest_position = positions[0].copy() gbest_score = -np.inf for _ in range(self.max_iter): for i in range(self.n_particles): C = 10 ** positions[i, 0] gamma = 10 ** positions[i, 1] score = calc_fitness([C, gamma], X, y) if score > pbest_scores[i]: pbest_scores[i] = score pbest_positions[i] = positions[i] if score > gbest_score: gbest_score = score gbest_position = positions[i].copy() r1 = np.random.random((self.n_particles, self.dim)) r2 = np.random.random((self.n_particles, self.dim)) velocities = (self.w * velocities + self.c1 * r1 * (pbest_positions - positions) + self.c2 * r2 * (gbest_position - positions)) positions = positions + velocities positions = np.clip(positions, self.lb, self.ub) C_best = 10 ** gbest_position[0] gamma_best = 10 ** gbest_position[1] return C_best, gamma_best, gbest_score

3.3 参数怎么设？我的经验和踩过的坑

PSO虽然简单，但参数设置不当照样翻车。我的经验如下：

• 种群规模：24到30个粒子足够。再多了计算量上不划算，这个规模的故障诊断特征数据，30次迭代内基本能收敛。
• 惯性权重w：我习惯取0.8，如果发现收敛太慢或者早熟，就把它设成从0.9线性递减到0.4的动态值。让粒子前期大范围探索、后期精细收敛，效果通常比固定权重要好。
• 学习因子c1、c2：都取1.5初始化即可。c1太大会让每个粒子只顾自己转悠，忽略群体信息；c2太大会让粒子一窝蜂冲向人群中心，失去多样性。
• 边界处理：粒子飞出边界不能放任不管，用np.clip直接拉回边界是最简单可靠的方式。曾经试过“反弹”策略，也就是碰到边界后反向弹回，结果在某些局部极小区域粒子反复横跳，收敛反而变慢。

迭代次数我一般设30次，如果特征比较难分或者数据量大，可以加到50次。其实从适应度曲线上看到gbest连续十几次迭代没有明显提升，就可以提前终止了。

4. HHO哈里斯鹰优化：围捕行为里藏着的全局搜索智慧

4.1 对“探索—开发”的动态权衡，HHO做得比PSO更讲究

用PSO跑了一阵子之后，我注意到一个问题：粒子群早期的收敛速度非常快，但后面容易陷入同一个区域来回振荡。通俗讲，就是鸟群一旦有人发现了一小片食物，大家就都飞过去了，附近的小食物堆反而可能被忽略掉。这让我开始关注哈里斯鹰优化（Harris Hawks Optimization，HHO），它的核心设计思路补齐了我对“全局探索能力”这块的担忧。

HHO模拟的是哈里斯鹰捕猎的场景。兔子代表最优解，鹰群代表候选解。整个寻优过程最关键的不是“追”这个动作，而是一个叫做逃逸能量E的变量。这个变量会随着迭代次数递减，用来动态调节算法是偏重全局探索还是局部开发。

计算方式如下：

E0 = 2 * np.random.random() - 1 # 初始逃逸能量，[-1, 1] E = E0 * (1 - t / max_iter) # 随迭代线性衰减

当|E| >= 1时，说明兔子体力还很充沛，鹰群不适合猛扑上去，应该保持探索；当|E| < 1时，兔子开始疲惫，鹰群逐渐切换成包围和俯冲的开发策略。这个机制比PSO的“固定权重”要聪明，因为它把“搜索范围和迭代阶段”直接挂钩了，算法前中期能自动保持较大的搜索半径，后期才让解集中收敛。

4.2 四种围攻策略：不需要全记，但要理解思路

HHO进入开发阶段后，会根据概率参数r（兔子能否逃脱）和|E|的大小，选择四种不一样的围攻方式：

• 软围攻：|E| >= 0.5且r >= 0.5，兔子还有一定能量，鹰群采取小步逼近的包围策略。
• 硬围攻：|E| < 0.5且r >= 0.5，兔子能量低，鹰群直接快速扑向兔子的当前位置。
• 渐进式快速俯冲的软围攻：|E| >= 0.5但r < 0.5，兔子有机会逃脱，鹰群要根据兔子的跳跃方向做预判性俯冲。
• 渐进式快速俯冲的硬围攻：|E| < 0.5且r < 0.5，兔子逃跑希望渺茫，鹰群用连续快速俯冲锁定位置。

写代码的时候，很多人被这四种策略绕晕了，其实只需要抓住一个核心：所谓“俯冲”就是在当前较好位置附近做局部扰动寻优，扰动幅度由莱维飞行或均匀随机数控制。每一种策略都是在“靠向兔子当前位置”和“在当前位置附近做小范围扰动”之间做变体组合。

4.3 HHO优化SVM的实现要点与简化代码

为了防止文章变成数学公式堆砌，我直接给一段可以运行思路的简化版核心代码。为了可读性，这里把四种策略合并成三种分支，实际效果在故障诊断这种二维参数寻优问题上差别不大。

def hho_search_svm(X, y, n_hawks=24, max_iter=30, dim=2, lb=-3.0, ub=3.0): # 初始化鹰群位置（log空间） positions = np.random.uniform(lb, ub, (n_hawks, dim)) scores = np.array([calc_fitness([10**p[0], 10**p[1]], X, y) for p in positions]) rabbit_idx = np.argmax(scores) rabbit = positions[rabbit_idx].copy() rabbit_score = scores[rabbit_idx] for t in range(max_iter): E0 = 2 * np.random.random() - 1 E = E0 * (1 - t / max_iter) for i in range(n_hawks): if abs(E) >= 1: # 探索阶段：随机位置移动 q = np.random.random() rand_idx1 = np.random.randint(n_hawks) rand_idx2 = np.random.randint(n_hawks) if q < 0.5: new_pos = (positions[rand_idx1] - np.random.random() * abs(positions[rand_idx1] - 2 * np.random.random() * positions[i])) else: new_pos = (rabbit - np.mean(positions, axis=0) - np.random.random() * (ub - lb) + lb) else: # 开发阶段：简化处理软/硬围攻 J = 2 * (1 - np.random.random()) r = np.random.random() if r >= 0.5: if abs(E) >= 0.5: # 软围攻 new_pos = (rabbit - positions[i] - E * abs(J * rabbit - positions[i])) else: # 硬围攻 new_pos = rabbit - E * abs(rabbit - positions[i]) else: # 渐进式俯冲的简化处理：向兔子位置靠拢并加局部随机扰动 leap = np.random.uniform(lb, ub, dim) * abs(E) * 0.1 new_pos = rabbit + leap new_pos = np.clip(new_pos, lb, ub) new_score = calc_fitness([10**new_pos[0], 10**new_pos[1]], X, y) if new_score > scores[i]: positions[i] = new_pos scores[i] = new_score if new_score > rabbit_score: rabbit = new_pos.copy() rabbit_score = new_score C_best = 10 ** rabbit[0] gamma_best = 10 ** rabbit[1] return C_best, gamma_best, rabbit_score

4.4 HHO实现时的两个注意点

第一，HHO的随机性比PSO更强，因为逃逸能量E0每次迭代都重新在[-1, 1]里随机取一个值，所以不同随机种子跑出来的结果离散度会略高。我的做法是每次连续跑3到5次，取适应度最好的一组参数，或者用固定随机种子以保证实验可复现。

第二，在简化版代码里，探索阶段的第二个分支是向“兔子当前位置减去鹰群平均位置”的方向移动。这个策略的初衷是让外围的鹰向兔子靠拢，平均位置则代表了群体的“重心”,往这个方向移动能避免所有鹰一窝蜂全部冲向兔子。写代码时要注意这个“平均位置”用的是所有鹰的位置均值，不是当前鹰自己的位置。

5. 故障诊断“护航”流程里那些不显眼但致命的坑

5.1 适应度函数是“护航”效果的上限

PSO和HHO再怎么优秀，它们也只是在优化你给出的适应度函数。如果适应度函数设计得有问题，优化的结果就是“精心找到了一组在错误评价标准下表现最好的参数”。

我在故障诊断任务里的适应度函数选择的是交叉验证平均准确率。这里有两个关键点：

一是K值的选择。K太小，训练集占比大、验证集太小，验证结果方差大；K太大，SVM要重复训练K次，计算开销飙升。在样本量几百到几千级别的故障诊断场景中，我实测5折是一个比较稳的折中。

二是评价指标本身。故障诊断里经常有类不平衡问题，比如正常样本很多，某一类故障样本很少。这时候准确率就是一个非常具有欺骗性的指标，模型把所有样本都判成多数类，准确率也可能高达95%。所以如果你的数据存在明显的类不平衡，一定要把适应度函数换成F1-score、G-mean或者加权准确率，否则优化器只是帮你“精确地找到最平庸的模型”。

5.2 数据泄漏：一个能让你开心错半天的幽灵坑

优化SVM参数的过程中，最隐蔽的坑是数据泄漏。常见做法是先用全部数据做特征标准化，然后跑交叉验证来评价适应度。听起来没毛病，但实际上你已经把测试折的信息“泄漏”进了训练过程。

正确的做法是：特征标准化应该在每一折交叉验证内部单独拟合，也就是说只用训练折的均值和方差去归一化训练折和验证折。对于故障诊断这种特征分布相对稳定的场景，全量标准化看上去影响不大，但如果你以后换到分布差异明显的数据会吃大亏。用sklearn的Pipeline加StandardScaler，把标准化器和SVM一起放进交叉验证里，可以彻底规避这个问题。

还有一个更隐蔽的数据泄漏：特征选择。如果你先用全部数据选了一堆特征，再去做交叉验证寻优，那么测试折的信息也会通过特征选择这一环泄漏进来。正确的姿势是把特征选择也放进交叉验证内部。哪怕是用很简单的方差阈值或相关性筛选，也应该放在Pipeline里面。

5.3 优化SVM之前，先确认你的特征真的“值得优化”

参数寻优只能帮SVM把现有特征空间用好，它不能凭空变出好特征。我在一些项目里见过这样的情况：换了几种优化算法、调了好几天参数，准确率始终在90%徘徊。后来一查发现，时域特征用了均值、标准差、峰值、峭度这些基础统计量之后，就再没有做过更深入的特征挖掘。

对于滚动轴承故障诊断来说，光靠时域统计量往往不够。通常的做法是把振动信号切帧后，同时提取时域特征和频域特征。频域方面可以关注故障特征频率及其倍频处的幅值、边频带能量占比、包络谱特征等。特征维度通常控制在10维到30维之间，维数太高对SVM反而是一种负担，而且会让参数寻优对噪声特征过拟合。

提个实际经验：在比较动手之前，先跑一次简单的随机森林或决策树看看特征重要性，把明显没用的特征剔除掉。这一步花不了几分钟，但对后续SVM性能的提升帮助极大。PSO和HHO擅长的是“给定特征集合下找到最优分类器参数”，而不是“替你造出新特征”。

5.4 多核并行和计算成本管理

SVM在几千个样本上训练，本身并不慢，但一旦套上30次迭代、每次24个候选解、每个候选解做5折交叉验证，整体计算量就是30乘24乘5等于3600次SVM训练。如果不做任何加速，用纯Python循环跑下来可能要等好几分钟。

我的做法是给calc_fitness函数加上多进程并行或者至少用joblib的Parallel来并行计算同一次迭代内所有粒子的适应度。因为同一代内每个候选解的适应度计算是相互独立的，天然适合并行。在多核CPU上，整个过程能从几十秒压缩到几秒，体验差距非常大。

6. 同一批数据实测：PSO-SVM与HHO-SVM的差距与选型

6.1 实验设置与结果对比

为了直观对比两种算法的表现，我在同一组滚动轴承振动数据上分别跑了网格搜索、PSO-SVM和HHO-SVM。数据规模是每类样本大概400个，四分类任务（正常、内圈故障、外圈故障、滚动体故障），特征维度为18维，融合了时域统计量和频域特征。每类样本按7比3划分训练集和测试集，适应度统一用5折交叉验证准确率。

结果如下表所示。

方案	最优C（约）	最优gamma（约）	交叉验证准确率	测试集准确率	消耗时间
网格搜索	32	0.5	95.2%	94.6%	38分钟
PSO-SVM	78.4	0.31	97.4%	96.8%	4分钟
HHO-SVM	51.2	0.22	97.6%	97.1%	6分钟

网格搜索的时间很长是因为我画了一张粗网格交叉跑完再画一张细网格，相当于跑了两轮。PSO和HHO的结果是各自独立跑5次后取最优的一组。整体看下来，两种智能优化算法的准确率都明显超过网格搜索，HHO略好于PSO，但优势不是压倒性的。

6.2 收敛曲线透露出的不同性格

如果盯着每次迭代的全局最优适应度画曲线，差异还是很明显的。PSO在最初5到10次迭代里搜索效率很高，gbest曲线快速攀升，但到20次迭代以后基本上就趋于平台期了，再往后大量粒子围绕在最优解附近做小幅度扰动。

HHO的前10次迭代看起来比PSO“笨”一些，因为逃逸能量E的衰减使得它在前期会主动保证探索范围，不敢过早集中攻击。但到了中后期，当E跌到比较小的区间时，局部开发策略开始发力，曲线往往会出现一次明显的“跳升”，这个跳升对应的就是某个鹰突然发现了一个更好的局部区域。所以HHO的特点是前期稳、后期猛，面对复杂的适应度地形时不容易被带到局部最优里。

6.3 什么场景选PSO，什么场景选HHO

我的选型经验可以总结成三条：

• 如果你的数据特征相对好分、适应度曲面比较平滑，或者你只是想快速得到一个比人工调参好得多的SVM参数，选PSO。它参数少、逻辑直观、调试成本低，几行代码就能嵌入现有流程。
• 如果你的特征空间复杂、故障类别之间有大量重叠区域、适应度函数存在多个局部极值，选HHO。它的逃逸能量机制让算法有更强的全局探索能力，更不容易在早期被一个“还不错”的解锁死。
• 如果你对最终性能要求极其苛刻，可以考虑先用HHO跑出全局较优区域，再用PSO在这个区域内做精细化搜索。这种“HHO粗扫、PSO精修”的组合思路在实操中很实用，代价只是多花几分钟。

另外补充一点：无论选哪种优化器，都一定要记录每次迭代的最优适应度，画收敛曲线。这不仅能帮你判断算法是否已经收敛，还能在你调整算法参数时提供一个直接可对比的量化依据。我做故障诊断实验时，习惯把收敛曲线和测试集准确率一起放进实验报告里，审阅的人能一眼看出参数寻优的可靠程度。

7. 最后一公里的实测提醒

跑完PSO和HHO优化SVM的全流程之后，我最大的体会是：算法选型只是其中一环，真正决定故障诊断效果上限的，往往是你对数据的理解深度。同一批振动数据，预处理做不做、特征选得对不对、交叉验证有没有泄漏，这些环节每一项都可能让最终准确率波动好几个百分点。优化器能做的，是帮你省去人工调参的时间、找到更优的参数组合，它像一个经验丰富的向导，给你带路，但路本身的崎岖程度是数据工程决定的。

一个小技巧分享给你：无论用PSO还是HHO，拿到最优C和gamma后，别急着用全部训练数据重新训练模型。先在保留的测试集上确认交叉验证结果没有虚高，再用全部训练数据微调训练一次，最后在测试集上评估一遍。这个“二次确认”的习惯，救了我好几次，因为某些随机种子下优化器可能会撞到一个恰好对验证折友好、但对测试折不友好的参数组合。多一步验证，就多一分可靠。

另外，如果你后续想进一步提升诊断能力，可以在PSO/HHO优化SVM的基础上，把特征选择和参数寻优做成联合优化。也就是说，让优化器同时搜索“用哪几个特征”和“C、gamma取多少”这两类变量。这会带来搜索维度上涨的问题，但往往也意味着诊断准确率还能再往上走一个台阶。即使暂时不实现联合优化，先把PSO和HHO融入现在的SVM流程里，启动速度、最终效果和可复用性都已经远超手动调参了。