1. 线性分类基础与核心概念
线性分类是机器学习中最基础也最重要的算法类别之一，它通过构造线性决策边界来实现数据分类。在实际工程应用中，线性分类器因其简单高效、可解释性强等优势，成为解决分类问题的首选方案。
线性分类的核心思想可以直观理解为：在特征空间中找到一个超平面（二维情况下就是一条直线），将不同类别的数据点分开。这个超平面的数学表达式为： [ w^Tx + b = 0 ] 其中w是权重向量，决定了超平面的方向；b是偏置项，决定了超平面与原点的距离。
重要提示：虽然线性分类器结构简单，但在实际应用中往往需要配合特征工程才能发挥最佳效果。例如在文本分类中，TF-IDF特征配合线性分类器的效果常常优于复杂模型。
线性分类器家族中有两个最具代表性的成员：逻辑回归和支持向量机(SVM)。虽然它们都属于线性分类器，但在优化目标和数学特性上存在本质差异：
- 逻辑回归采用概率框架，通过最大化似然函数来优化参数
- SVM基于几何间隔最大化原理，寻找最优分类超平面
2. 逻辑回归：原理与推导
2.1 模型定义与概率解释
逻辑回归虽然名字中有"回归"，但实际上是一种经典的线性分类算法。它通过sigmoid函数将线性预测值转换为概率输出：
[ P(y=1|x) = \frac{1}{1+e^{-(w^Tx+b)}} ]
这个公式的直观解释是：对于输入特征x，模型给出它属于正类的概率估计。sigmoid函数的S形曲线特性保证了输出值在0到1之间，非常适合概率解释。
在实际工程实现中，我们通常会将偏置项b纳入权重向量w，即在特征向量x中增加一个值为1的维度，这样公式可以简化为： [ P(y=1|x) = \sigma(w^Tx) ] 其中σ表示sigmoid函数。
2.2 损失函数与优化
逻辑回归通过最大似然估计来确定最优参数。对于包含N个样本的训练集，似然函数可以表示为：
[ L(w) = \prod_{i=1}^N P(y_i|x_i)^{y_i}(1-P(y_i|x_i))^{1-y_i} ]
为方便计算，我们通常取对数得到对数似然函数：
[ \ell(w) = \sum_{i=1}^N [y_i \log P(y_i|x_i) + (1-y_i)\log(1-P(y_i|x_i))] ]
这个函数就是我们要最大化的目标函数。在实际优化时，我们通常会将其转化为最小化问题，即定义损失函数为负对数似然：
[ J(w) = -\ell(w) ]
对于这个凸优化问题，最常用的求解方法是梯度下降法。损失函数关于参数w的梯度为：
[ \nabla_w J(w) = \sum_{i=1}^N (P(y_i|x_i) - y_i)x_i ]
这个简洁的梯度表达式使得逻辑回归的训练非常高效，即使在大规模数据集上也是如此。
2.3 正则化与模型调优
为防止过拟合，逻辑回归通常会加入正则化项。最常用的有两种形式：
L2正则化（岭回归）： [ J(w) = -\ell(w) + \lambda |w|_2^2 ]
L1正则化（Lasso）： [ J(w) = -\ell(w) + \lambda |w|_1 ]
工程经验：L1正则化会产生稀疏解，适合特征选择；L2正则化通常能获得更好的泛化性能。在实际应用中，可以通过交叉验证来选择最优的正则化系数λ。
逻辑回归的超参数调优主要包括：
- 学习率（梯度下降时）
- 正则化类型及系数
- 迭代次数与收敛阈值
- 类别不平衡处理（如class_weight参数）
3. 支持向量机(SVM)：原理与推导
3.1 最大间隔分类器
SVM的核心思想是寻找一个能够最大化分类间隔的超平面。对于线性可分的数据，这个优化问题可以表述为：
[ \min_{w,b} \frac{1}{2}|w|^2 ] [ \text{s.t. } y_i(w^Tx_i + b) \geq 1, \forall i ]
这个问题的解具有很好的几何解释：支持向量是那些距离决策边界最近的点，它们决定了最终的分类超平面。
在实际应用中，数据往往不是严格线性可分的。为此，我们引入松弛变量ξ，允许一些样本违反间隔约束：
[ \min_{w,b,\xi} \frac{1}{2}|w|^2 + C\sum_{i=1}^N \xi_i ] [ \text{s.t. } y_i(w^Tx_i + b) \geq 1-\xi_i, \xi_i \geq 0 ]
这里的C是一个重要的超参数，控制着模型对误分类的容忍度。C越大，模型越不允许误分类；C越小，模型对误分类越宽容。
3.2 对偶问题与核技巧
通过拉格朗日乘子法，我们可以将原始优化问题转化为对偶问题：
[ \max_\alpha \sum_{i=1}^N \alpha_i - \frac{1}{2}\sum_{i,j=1}^N \alpha_i \alpha_j y_i y_j x_i^T x_j ] [ \text{s.t. } 0 \leq \alpha_i \leq C, \sum_{i=1}^N \alpha_i y_i = 0 ]
这个对偶形式有一个重要特性：它只涉及样本之间的内积x_i^T x_j。这使我们能够应用核技巧，将原始特征空间映射到高维空间：
[ K(x_i, x_j) = \phi(x_i)^T \phi(x_j) ]
常用的核函数包括：
- 线性核：K(x_i, x_j) = x_i^T x_j
- 多项式核：K(x_i, x_j) = (γ x_i^T x_j + r)^d
- RBF核：K(x_i, x_j) = exp(-γ|x_i - x_j|^2)
实现技巧：在实践中，RBF核通常是一个不错的默认选择。γ参数控制着单个样本的影响范围，γ越大，决策边界越复杂。
3.3 SVM的工程实现细节
在实际使用SVM时，有几个关键点需要注意：
- 特征缩放：SVM对特征的尺度敏感，因此在使用前应对特征进行标准化处理
- 核缓存：对于大规模数据，合理设置核缓存大小可以显著提高训练速度
- 多类分类：SVM本质上是二分类器，多类问题需要通过一对多或一对一策略扩展
- 概率估计：通过Platt scaling可以为SVM输出提供概率估计
4. 逻辑回归与SVM的对比分析
4.1 理论特性比较
虽然逻辑回归和SVM都是线性分类器，但它们在多个方面存在显著差异：
| 特性 | 逻辑回归 | SVM |
|---|---|---|
| 优化目标 | 最大化似然函数 | 最大化几何间隔 |
| 输出 | 概率估计 | 决策函数值 |
| 正则化 | 显式通过L1/L2 | 隐式通过间隔最大化 |
| 异常值敏感度 | 较高 | 较低（仅受支持向量影响） |
| 核方法支持 | 需要显式特征变换 | 天然支持核技巧 |
4.2 实际应用选择指南
在实际项目中如何选择这两种算法？以下是一些经验法则：
- 当需要概率输出时，优先考虑逻辑回归
- 对于高维稀疏数据（如文本），线性SVM通常表现更好
- 当特征数量远大于样本数量时，逻辑回归更稳定
- 对于中小规模数据集，带核SVM可能获得更好性能
- 当计算资源有限时，逻辑回归训练速度更快
性能优化技巧：在实际应用中，可以先用逻辑回归建立baseline，再用SVM进行性能提升。对于大规模数据，线性SVM的随机梯度下降实现（如SGDClassifier）通常是最佳选择。
5. 实战中的常见问题与解决方案
5.1 类别不平衡处理
在实际数据中，经常会遇到类别分布不均衡的情况。对于线性分类器，有以下应对策略：
- 调整类别权重（class_weight参数）
- 对少数类过采样或多数类欠采样
- 使用适合不平衡数据的评估指标（如F1-score、AUC-ROC）
- 调整决策阈值（对于概率输出模型）
5.2 特征工程技巧
虽然线性模型相对简单，但好的特征工程能显著提升性能：
- 非线性特征变换（如多项式特征、交互项）
- 分箱处理连续特征
- 基于领域知识的特征构造
- 特征选择（如基于L1正则化或统计检验）
5.3 模型解释性
线性模型的一个重要优势是可解释性强：
- 权重系数大小反映特征重要性
- 可以使用LIME或SHAP等工具进行局部解释
- 对于逻辑回归，优势比(odds ratio)提供直观解释
- 可以通过可视化决策边界来理解模型行为
6. 高级话题与扩展方向
6.1 在线学习与增量训练
对于流式数据或超大规模数据，可以使用在线学习版本的线性分类器：
- 随机梯度下降(SGD)实现
- 感知器算法
- 被动攻击算法(Passive Aggressive)
- FTRL-Proximal算法（常用于在线广告系统）
6.2 结构化预测与多任务学习
线性模型可以扩展到更复杂的预测任务：
- 结构化SVM（用于序列标注等任务）
- 多任务线性模型（共享特征表示）
- 多标签分类（问题转化或专用算法）
6.3 与深度学习的结合
虽然深度学习在很多领域超越了传统方法，但线性模型仍有其价值：
- 作为神经网络的最后一层（如逻辑回归层）
- 模型蒸馏中的教师模型
- 可解释性要求高的场景
- 资源受限环境下的轻量级解决方案
在实际项目中，我通常会先尝试简单的线性模型建立baseline，这不仅能够快速验证特征的有效性，也为后续更复杂模型的性能提升提供了参照。特别是在处理高维稀疏数据时，线性模型的性能常常能媲美甚至超过更复杂的非线性模型。
