支持向量机（SVM）是经典监督学习模型，具有坚实的统计学习理论基础与优秀的小样本泛化能力，在分类、回归及异常检测等任务中被广泛应用。其核心思想是寻找一个最优分离超平面，使得两类样本到超平面的间隔最大化，同时通过核技巧高效解决非线性分类问题。接下来会基于斯坦福大学 ex6data1.mat 和 ex6data2.mat 数据集，完整落地 SVM 实战流程：验证线性 SVM 中软间隔参数 C 的影响、探索高斯核 SVM 中 gamma 参数的作用、可视化核技巧的低维到高维映射过程，并对比不同参数下的模型性能。
一、SVM 核心理论基础
SVM 的本质是在特征空间中构建最大间隔的分离超平面，可分为硬间隔SVM和软间隔SVM两类，同时借助核技巧拓展至非线性场景。
1. 硬间隔 SVM：适用于完全线性可分的数据集，要求所有样本都被超平面正确分类，目标是最大化分类间隔，找到能将两类样本完全分开，且分类间隔最大的超平面。但该模型对噪声极其敏感，现实中几乎无法直接应用。
2. 软间隔 SVM：引入松弛变量和惩罚参数 C，允许少量样本被错误分类，平衡“分类间隔最大化”与“分类错误最小化”，提升模型的鲁棒性。
二、实验准备：环境配置与数据加载
1. 环境配置
本次实验基于 Python 实现，需要安装以下核心库：
import numpy as np
import scipy.io as sio
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
scipy.io 用于加载 .mat 格式的数据集
sklearn.svm.SVC 是 Scikit-learn 中的 SVM 分类器
matplotlib 用于数据可视化和决策边界绘制
2. 数据加载与可视化
斯坦福大学的 ex6data1.mat 是带少量噪声的线性可分数据， ex6data2.mat 是环形分布的非线性数据。我们先加载并可视化这两个数据集：
运行代码后，我们可以看到 ex6data1 中大部分样本线性可分，但存在 1 个异常点； ex6data2 中样本呈环形分布，无法用线性超平面划分。
三、软间隔与 C 参数的影响（线性 SVM）
1. C 参数的物理意义
惩罚参数 C 是软间隔 SVM 的核心超参数，其取值直接决定模型的学习偏好：
C 越大：对错误分类的惩罚越重，模型会尽可能将所有样本正确分类，分类间隔被压缩，容易过拟合。
C 越小：对错误分类的惩罚越轻，模型允许更多样本被错误分类，追求更大的分类间隔，容易欠拟合。
2. 不同 C 值下的线性 SVM 实验
我们选择 C = 0.1, 1, 100 三个典型值，训练线性 SVM 并绘制决策边界：
3. 实验结果分析
当 C = 0.1 时：模型对错误分类惩罚轻，决策边界间隔大，容忍了异常点的错误分类，准确率略低，但泛化能力强。
当 C = 1 时：模型在“间隔”和“错误”之间达到平衡，决策边界合理，准确率适中。
当 C = 100 时：模型对错误分类惩罚极重，为了正确分类所有样本，决策边界间隔被压缩，支持向量数量增多，容易过拟合。
四、核函数与 gamma 参数的影响（非线性 SVM）
1. 高斯核与 gamma 参数
对于非线性可分的环形数据，我们采用高斯核（RBF 核），其公式为：
其中γ是高斯核的核心参数，控制映射后高维空间的复杂度：
γ越大：高斯核的作用范围越窄，每个样本仅对周围的样本产生影响，模型拟合能力强，容易过拟合。
γ越小：高斯核的作用范围越广，样本的影响范围更大，模型拟合能力弱，容易欠拟合。
2. 不同 gamma 值下的高斯核 SVM 实验
选择 gamma = 0.1, 1, 100 三个值，在非线性数据集 ex6data2 上训练模型并可视化：
3. 结果分析
当 gamma = 0.1 时：gamma 较小，高斯核的作用范围广，映射后的高维空间复杂度低，决策边界平滑，但无法完全拟合环形数据，准确率较低。
当 gamma = 1 时：gamma 适中，决策边界能够精准匹配环形数据的分布，准确率最高，泛化能力最优。
当 gamma = 100 时：gamma 过大，高斯核的作用范围极窄，模型过度拟合训练数据，决策边界变得极其复杂，在训练集上准确率接近 100%，但泛化能力极差。
五、核技巧可视化——低维到高维的映射
核技巧的关键是低维到高维的非线性映射，但高维空间难以直接可视化。我们以 二维高斯核映射到三维空间 为例，直观展示核技巧的作用过程。
1. 映射原理
对于二维样本 x=(x1, x2)，我们构造一个简单的非线性映射：
该映射可以将二维环形数据映射到三维空间，使其在三维空间中形成两个明显分离的簇，进而可用线性超平面划分。
可视化代码实现：
3. 结果分析
运行代码后可以看到：二维环形分布的样本，在经过非线性映射后，在三维空间中形成了两个明显分离的簇，此时可以用一个平面（高维线性超平面）轻松划分。这直观地证明了核技巧的有效性——将低维非线性问题转化为高维线性问题，同时核函数避免了直接在高维空间计算的复杂度。
六、总结与核心结论
通过本次 SVM 完整实战，我们可以得出以下核心结论：
1. C 参数（软间隔）：C 是“分类间隔”与“分类错误”的权衡系数，C 过大易过拟合，C 过小易欠拟合，需结合交叉验证选择最优值。
2. gamma 参数（高斯核）：gamma 控制高斯核的作用范围，gamma 越大模型拟合能力越强，易过拟合；gamma 越小模型拟合能力越弱，易欠拟合。
3. 核技巧：无需显式计算高维映射，通过核函数即可实现低维到高维的转换，是解决非线性分类问题的高效利器。
SVM 的参数调优没有固定的标准，需结合具体数据集的特点，通过网格搜索或交叉验证选择最优参数组合，才能充分发挥其强大的分类能力。
