[模式识别-从入门到入土] 专栏总结

[模式识别-从入门到入土] 专栏总结

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

文章目录

• [模式识别-从入门到入土] 专栏总结
• 沧海拾遗
• 贝叶斯决策
• • • • 拓展-似然
• 判别函数
• 无监督学习
• • • • 拓展-高斯混合模型
      • 拓展-最大似然估计
      • 拓展-EM算法
• 特征选择
• 支持向量机SVM
• • • • 拓展-KKT条件
      • 拓展-拉格朗日乘子法
      • 拓展-核技巧
• 组合分类器
• 半监督学习
• • • • 拓展-生成式模型

沧海拾遗

基于统计方法的模式识别主要由5部分组成:
数据采集, 预处理, 特征提取, 分类器设计, 分类判决

对于欧氏距离, 马氏距离具有尺度不变形和考虑模式分布的优点

采用贝叶斯进行分类时, 需要已知先验概率和类条件概率密度函数

Fisher线性判别函数的求解过程是将N维特征向量映射在一维空间进行

模式识别中, 模式的表示方法最常使用特征向量

Fisher最佳投影向量是 矩阵S w − 1 S b S_w^{-1}S_bSw−1​Sb​对应特征值λ \lambdaλ的特征向量

• 参数学习算法:预先假设数据服从某种固定形式的分布，并通过训练数据估计该分布的有限个参数，模型的复杂度由参数数量决定，与训练样本数量无关
• 非参数学习算法:不预先假设数据的分布形式，也不固定模型的参数数量，模型的复杂度会随着训练样本数量的增加而自适应增长，完全由数据本身来刻画模型
  e.g.决策树

贝叶斯决策

拓展-似然

判别函数

无监督学习

拓展-高斯混合模型

拓展-最大似然估计

拓展-EM算法

特征选择

支持向量机SVM

拓展-KKT条件

拓展-拉格朗日乘子法

拓展-核技巧

组合分类器

半监督学习

拓展-生成式模型