1. 什么是点估计
现实中我们经常不知道总体参数，却能抽到样本。例如：想知道某厂灯泡的平均寿命 μ（总体均值），不可能把所有灯泡都点亮测一遍；想知道一枚硬币是否均匀，即正面概率 p，只能抛若干次记录结果。
点估计（Point Estimation）就是：从样本 X₁, X₂, …, Xₙ 出发，构造一个统计量 θ̂ = θ̂(X₁, …, Xₙ)，用它的一个具体数值去“猜”未知参数 θ。
点估计的逻辑链条是：总体分布 → 抽样得到样本 → 构造统计量 → 输出一个数。关键问题是：这个统计量怎么构造？最常用的两套推导思路是：
- 矩估计法：用“样本矩”代替“总体矩”；
- 最大似然估计：找让现有样本“最有可能出现”的那个参数。
2. 方法一：矩估计法（Method of Moments, MOM）
2.1 原理
矩（moment）是分布的数字特征。k 阶总体原点矩定义为：
μₖ = E(Xᵏ)，k = 1, 2, …
其中一阶原点矩 μ₁ = E(X) 就是均值。对应的样本原点矩是把期望换成“平均”：
Aₖ = (1/n) · Σᵢ Xᵢᵏ
矩估计的核心假设极其朴素：样本矩依概率收敛到总体矩（大数定律），所以当样本量 n 较大时，可以令
Aₖ = μₖ(θ)，k = 1, 2, …
待估参数有几个，就列几个方程，解出来的就是矩估计 θ̂。
推导步骤（通用模板）：
- 写出总体矩关于 θ 的函数 μₖ(θ)；
- 写出样本矩 Aₖ；
- 令 μₖ(θ) = Aₖ，解方程组；
- 把解中的样本符号换成观测值，得到估计。
2.2 例子 1：正态分布 N(μ, σ²) 的矩估计
设 X ~ N(μ, σ²)，两个未知参数 θ = (μ, σ²)，列两个方程。
第一步：求总体矩。一阶原点矩和二阶原点矩分别为
μ₁ = E(X) = μ
μ₂ = E(X²) = Var(X) + [E(X)]² = σ² + μ²
第二步：写样本矩。
A₁ = (1/n) Σ Xᵢ = X̄，A₂ = (1/n) Σ Xᵢ²
第三步：令总体矩 = 样本矩。由第一个方程直接得
μ̂ = A₁ = X̄
把 μ̂ = X̄ 代入第二个方程：
σ² + X̄² = (1/n) Σ Xᵢ²
移项并利用恒等式 Σ(Xᵢ − X̄)² = Σ Xᵢ² − nX̄²：
σ̂² = (1/n) Σ Xᵢ² − X̄² = (1/n) Σ (Xᵢ − X̄)²
数值例子
某灯泡寿命（单位：小时）抽了 5 只，测得：1010, 990, 1020, 980, 1000
样本均值：
x̄ = (1010 + 990 + 1020 + 980 + 1000) / 5 = 1000 小时
样本二阶中心矩：
σ̂² = [10² + (−10)² + 20² + (−20)² + 0²] / 5 = 1000 / 5 = 200
所以矩估计结果为：μ̂ = 1000 小时，σ̂² = 200（小时²），σ̂ ≈ 14.14 小时。
2.3 例子 2：指数分布 Exp(λ) 的矩估计
指数分布常用于“寿命/等待时间”建模，密度为
f(x; λ) = λ · e^(−λx)，x > 0，λ > 0
它的一阶原点矩（均值）是
μ₁ = E(X) = ∫₀^∞ x · λ e^(−λx) dx = 1/λ
令 μ₁ = A₁ = X̄，即 1/λ = X̄，解得 λ̂ = 1/X̄。
数值例子
某设备故障间隔时间（天）记录为：2, 4, 3, 7, 4。
x̄ = (2 + 4 + 3 + 7 + 4) / 5 = 4 天
λ̂ = 1/4 = 0.25 次/天
含义：平均每 4 天发生一次故障，故障率约为 0.25 次/天。
矩估计的优缺点：原理直观、计算简单，不需要完整写出密度；但它只用到分布的前几阶矩信息，没有利用分布的全部形状，在小样本下不一定最优。
3. 方法二：最大似然估计（Maximum Likelihood Estimation, MLE）
3.1 原理：似然函数是什么
设总体密度为 f(x; θ)，样本 X₁, …, Xₙ 独立同分布。当样本已经抽出来了（记观测值为 x₁, …, xₙ），我们反过来问：取哪个 θ，最容易抽到眼前这组样本？
把联合密度看作 θ 的函数，就是似然函数：
L(θ) = ∏ᵢ f(xᵢ; θ)
由于连乘容易下溢，且对数单调，通常改用对数似然：
ℓ(θ) = ln L(θ) = Σᵢ ln f(xᵢ; θ)
MLE 就是求
θ̂_MLE = argmax L(θ) = argmax ℓ(θ)
在可微情形下，令一阶导数为零：
∂ℓ(θ)/∂θ = 0
直观上，似然函数随参数 θ 变化，其峰值对应的就是 MLE。
3.2 例子 1：伯努利分布（抛硬币）
设 Xᵢ ~ Bernoulli(p)，即
f(x; p) = pˣ (1−p)^(1−x)，x ∈ {0, 1}
其中 x = 1 表示正面，x = 0 表示反面。
第一步：写似然函数。
L(p) = ∏ p^(xᵢ) (1−p)^(1−xᵢ) = p^(Σxᵢ) · (1−p)^(n−Σxᵢ)
第二步：取对数。
ℓ(p) = (Σxᵢ) ln p + (n − Σxᵢ) ln(1−p)
第三步：对 p 求导并令其为零。
dℓ/dp = (Σxᵢ)/p − (n−Σxᵢ)/(1−p) = 0
第四步：解方程。两边乘以 p(1−p)：
(Σxᵢ)(1−p) = (n − Σxᵢ)p
Σxᵢ − pΣxᵢ = np − pΣxᵢ
含 pΣxᵢ 的项抵消，得
Σxᵢ = np ⟹ p̂ = (1/n) Σxᵢ = x̄
数值例子
抛一枚硬币 10 次，结果为：正、反、正、正、反、正、反、正、正、正，即正面次数 Σxᵢ = 7。
p̂ = 7/10 = 0.7
于是我们估计这枚硬币正面概率约为 0.7（有偏倾向于正面）。
3.3 例子 2：正态分布 N(μ, σ²) 的 MLE
密度为
f(x; μ, σ²) = 1/√(2πσ²) · exp[ −(x−μ)² / (2σ²) ]
第一步：对数似然。
ℓ(μ, σ²) = −(n/2) ln(2π) − (n/2) ln(σ²) − (1/(2σ²)) Σ(xᵢ−μ)²
第二步：对 μ 求偏导并令为零。
∂ℓ/∂μ = (1/σ²) Σ(xᵢ−μ) = 0
Σxᵢ − nμ = 0 ⟹ μ̂ = x̄
第三步：把 μ̂ = x̄ 代入，对 σ² 求偏导。为方便记 σ² = v：
∂ℓ/∂v = −n/(2v) + (1/(2v²)) Σ(xᵢ − x̄)² = 0
两边乘 2v²：
−nv + Σ(xᵢ − x̄)² = 0 ⟹ v̂ = σ̂² = (1/n) Σ(xᵢ − x̄)²
数值例子
用 2.2 节那组灯泡寿命 1010, 990, 1020, 980, 1000：
μ̂ = x̄ = 1000 小时
σ̂² = (1/5) Σ(xᵢ−1000)² = 200
可见对于正态分布，矩估计和 MLE 给出了完全相同的结果（这不是巧合，正态分布的总体矩恰好由均值和方差决定）。
4. 点估计的评价标准
同一个参数往往有多个估计量，怎么判断谁好？常用三条标准。
4.1 无偏性（Unbiasedness）
若 E(θ̂) = θ，称 θ̂ 是 θ 的无偏估计。直观含义是：在大量重复抽样下，估计值的平均恰好落在真值上，没有系统偏差。
样本均值是无偏的：
E(X̄) = E[(1/n) Σ Xᵢ] = (1/n) Σ E(Xᵢ) = (1/n)·nμ = μ
但 MLE 的方差估计是有偏的！可以证明
E[ (1/n) Σ(Xᵢ−X̄)² ] = ((n−1)/n) · σ² ≠ σ²
因此统计学里常把它修正为除以 n−1 的样本方差：
S² = (1/(n−1)) Σ(Xᵢ−X̄)²，E(S²) = σ²（无偏）
关键区分：MLE 的 σ̂² = (1/n)Σ(Xᵢ−X̄)² 有偏；教材中常用的无偏样本方差是 S² = (1/(n−1))Σ(Xᵢ−X̄)²。在 2.2 的灯泡例子中，σ̂² = 200，若要无偏估计则 s² = (5/4)×200 = 250。
4.2 有效性（Efficiency）
在所有无偏估计中，方差越小越有效。方差大小由克拉默–拉奥下界（Cramér–Rao Lower Bound）决定：
Var(θ̂) ≥ 1 / [n·I(θ)]，I(θ) = E[ ∂ ln f(X;θ)/∂θ ]²
对于大样本，MLE 恰好达到这个下界，因此它是渐近有效的——这也是 MLE 备受青睐的原因之一。
4.3 一致性（Consistency）
当 n → ∞ 时，θ̂ 依概率收敛到真值 θ：
θ̂ →ᴾ θ（n → ∞）
矩估计由大数定律保证一致；MLE 在温和条件下也是一致的。通俗说：样本越多，估计越准。
| 估计量 | 针对参数 | 无偏性 | 一致性 |
|---|---|---|---|
| X̄ | μ | 无偏 | 一致 |
| (1/n)Σ(Xᵢ−X̄)² | σ² | 有偏（偏 (n−1)/n） | 一致 |
| S²=(1/(n−1))Σ(...) | σ² | 无偏 | 一致 |
| 1/X̄ | λ（指数分布） | 近似无偏 | 一致 |
5. 总结：两种推导思路对比
| 矩估计 MOM | 最大似然估计 MLE | |
|---|---|---|
| 核心思想 | 样本矩 ≈ 总体矩 | 找让样本“最可能出现”的参数 |
| 需要什么 | 只需总体矩表达式 | 需要完整密度/分布律 |
| 推导关键 | 解方程 Aₖ = μₖ(θ) | ∂ln L/∂θ = 0 |
| 优点 | 直观、计算简单 | 利用全部分布信息，大样本下有效、一致、渐近正态 |
| 缺点 | 只用矩信息，可能低效 | 需要可微/可求极值，小样本可能有偏（如 σ̂²） |
一句话串起来：点估计 = 构造一个统计量 θ̂ 去猜总体参数；矩估计靠“样本矩等于总体矩”列方程；MLE 靠“最大化对数似然”求导；两者得到的估计还要用无偏性、有效性、一致性三条标准来检验。
下一篇将继续推导最大似然估计在更多分布上的应用，以及如何用梯度下降法数值求解 MLE。
