[模式识别-从入门到入土] 拓展-似然
知乎：https://www.zhihu.com/people/byzh_rc
CSDN：https://blog.csdn.net/qq_54636039
注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码
参考文章：各方资料
文章目录
基本公式
P ( A , B ) = P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P ( A ∣ B ) = P ( A ) P ( B ) P ( B ∣ A ) P ( B ) = ∑ i = 1 n P ( B ∣ A i ) P ( A i ) P ( A ∣ B ) = P ( A ) P ( B ∣ A ) ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(A,B)=P(A|B)P(B)=P(B|A)P(A) \\ P(A|B)= \frac{P(A)}{P(B)} P(B|A) \\ P(B)=\sum_{i=1}^n P(B|A_i)P(A_i) \\ P(A \mid B) = \frac{P(A)\, P(B \mid A)}{\sum_{i=1}^{n} P(A_i)\, P(B \mid A_i)}P(A,B)=P(A∣B)P(B)=P(B∣A)P(A)P(A∣B)=P(B)P(A)P(B∣A)P(B)=i=1∑nP(B∣Ai)P(Ai)P(A∣B)=∑i=1nP(Ai)P(B∣Ai)P(A)P(B∣A)
先验概率：P ( ω i ) P(\omega_i)P(ωi)
不考虑任何观测时，属于类别ω i \omega_iωi的概率后验概率：P ( ω i ∣ x ) P(\omega_i|x)P(ωi∣x)
已知样本x xx后，属于类别ω i \omega_iωi的概率类条件概率：P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi)
在类别ω i \omega_iωi条件下，特征x xx出现的概率密度
类条件概率P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi)
给定样本类别ω i \omega_iωi的情况下，样本特征x xx出现的概率密度
->在类别ω \omegaω下，样本会长成什么样
->P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi)
变量(参数):x xx
已知(观测值):ω i \omega_iωi
似然L ( ω i ∣ x ) L(\omega_i|x)L(ωi∣x)(Likelihood)
给定样本特征x xx的情况下，样本属于某一类别ω i \omega_iωi的 “可能性度量”
->对这个已经发生的样本x = x 0 x=x_0x=x0，哪个ω \omegaω更“支持”它
->L ( 待优化的参数 ∣ 观测值 ) = L ( ω i ∣ x ) L(\text{待优化的参数}|\text{观测值})=L(\omega_i|x)L(待优化的参数∣观测值)=L(ωi∣x)
变量(参数):ω i \omega_iωi
已知(观测值):x xx
似然函数L ( ω i ∣ x ) L(\omega_i|x)L(ωi∣x)被定义为P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi)在x xx固定时的函数
L ( ω i ∣ x ) = P ( x ∣ ω i ) , (已观测到x) L(\omega_i|x)=P(x|\omega_i), \quad \text{(已观测到x)}L(ωi∣x)=P(x∣ωi),(已观测到x)
似然不是“概率”，而是“把同一个函数换了看法”:
∑ ω i L ( ω i ∣ x ) = 无需 1 \sum_{\omega_i} L(\omega_i|x) \stackrel{\text{无需}}{=} 1ωi∑L(ωi∣x)=无需1
似然是后验概率的正比项:
P ( ω i ∣ x ) ∝ L ( ω i ∣ x ) P ( ω i ) P(\omega_i|x) \propto \mathbf{L(\omega_i|x)} P(\omega_i)P(ωi∣x)∝L(ωi∣x)P(ωi)
为何可以丢弃P ( x ) P(x)P(x):
因为x xx在该概念下, 是常数
-> 而这是概率论的角度不能做到的
如果不引入“似然”这个视角：
- 无法说“我在对参数做优化”
- 只能说“这是一个概率公式”，但不知道要最大化谁
-> 找一组参数，让已观测数据“最有可能被生成”
概率论回答的是“随机变量取值的分布”
统计学习要做的是“在已观测数据固定的前提下，反推未知参数”
世界生成数据（概率论） ω ──▶ x 用 P(x|ω) 现实观察数据（统计学习） x ──▶ ω 用 L(ω|x)证据P ( x ) P(x)P(x)
$P(x) $ 衡量的是:“这个模型整体上，对已观测数据x xx的解释有多好”
| 视角 | 核心问题 | 用到的量 |
|---|---|---|
| 模型评估 | 模型能否解释数据 | P ( x ) P(x)P(x) |
证据P ( x ) P(x)P(x)是 “模型在不区分类别的情况下生成样本x xx的总体概率”
在 Bayes 公式中负责归一化后验分布，在参数或类别比较中是常数，因此可以被省略
但P ( x ) P(x)P(x)在模型选择中至关重要
