感知机的对偶形式是怎么来的-平芜编程栈

感知机的对偶形式是怎么来的：

1. 原始形式：老师亲自调整教案

想象你在教一个学生分类水果：

原始形式：你（老师）心中有一个“标准答案”（权重向量www）
看到学生把苹果误判为橘子：你直接修改你的“标准答案”
每次错误都直接调整你的知识体系

特点：知识都储存在你（老师）的脑子里

2. 对偶形式：老师记下所有错题

现在换一种教学方法：

你准备一个错题本，记录每个学生犯的错
学生A把红苹果当橘子：在错题本上给“红苹果”记一笔
学生B把青苹果当橘子：在错题本上给“青苹果”记一笔
…
最终考试时：遇到新水果，就拿出来跟错题本上的所有记录比较

数学表达：
w=∑(错题次数)×(错题样本) w = \sum (\text{错题次数}) \times (\text{错题样本})w=∑(错题次数)×(错题样本)
判断新样本=比较新样本与所有错题的相似度 \text{判断新样本} = \text{比较新样本与所有错题的相似度}判断新样本=比较新样本与所有错题的相似度

3. 具体数学推导

原始更新规则：

w←w+αyixi(当 yi(w⋅xi)≤0) w \leftarrow w + \alpha y_i x_i \quad (\text{当 } y_i(w \cdot x_i) \leq 0)w←w+αyixi(当yi(w⋅xi)≤0)

假设从w0=0w_0 = 0w0=0开始：

第一次更新：w1=αy1x1w_1 = \alpha y_1 x_1w1=αy1x1
第二次更新：w2=w1+αy2x2=αy1x1+αy2x2w_2 = w_1 + \alpha y_2 x_2 = \alpha y_1 x_1 + \alpha y_2 x_2w2=w1+αy2x2=αy1x1+αy2x2
…
第T次更新后：w=α∑i=1Tyixiw = \alpha \sum_{i=1}^T y_i x_iw=α∑i=1Tyixi

令αi\alpha_iαi= 第i个样本被误分类的次数 × α
w=∑i=1Nαiyixi w = \sum_{i=1}^N \alpha_i y_i x_iw=i=1∑Nαiyixi

4. 为什么说这像“加权K近邻”？

决策函数变成：
f(x)=sign(w⋅x)=sign(∑i=1Nαiyi(xi⋅x)) f(x) = \text{sign}(w \cdot x) = \text{sign}\left( \sum_{i=1}^N \alpha_i y_i (x_i \cdot x) \right)f(x)=sign(w⋅x)=sign(i=1∑Nαiyi(xi⋅x))

解读：

xi⋅xx_i \cdot xxi⋅x：新样本xxx与训练样本xix_ixi的相似度，点积就是相似度
αiyi\alpha_i y_iαiyi：样本xix_ixi的“投票权重”
决策= 所有训练样本的加权投票

5. 对偶形式的巨大价值

（1）核函数技巧的基石

原始形式：w⋅xw \cdot xw⋅x
对偶形式：∑αiyi(xi⋅x)\sum \alpha_i y_i (x_i \cdot x)∑αiyi(xi⋅x)

关键洞察：把内积xi⋅xx_i \cdot xxi⋅x替换成核函数K(xi,x)K(x_i, x)K(xi,x)，就能处理非线性问题！

（2）支持向量的自然浮现

αi>0\alpha_i > 0αi>0的样本就是支持向量
αi=0\alpha_i = 0αi=0的样本对最终模型没有贡献
自动实现了“只记住重要样本”

（3）更直观的解释性

每个预测都可以追溯到具体的训练样本：“我判断这个是苹果，因为它很像之前那几个被多次误分类的苹果”

6. 对偶形式 vs 原始形式的对比

特性	原始形式 (Primal)	对偶形式 (Dual)
参数存储	存储权重向量 w	存储对偶系数 alpha
决策函数	`sign(w·x + b)`	`sign(sum(alpha_iy_i(x_i·x)) + b)`
更新规则	`w += lr * y_i * x_i`	`alpha_i += lr`
支持向量	隐式	显式 (`alpha_i > 0`的样本)
核技巧	困难	容易 (替换内积为核函数)