9.4 概率图模型基础：贝叶斯网络、马尔可夫网络与条件独立性

9.4 概率图模型基础：贝叶斯网络、马尔可夫网络与条件独立性

概率图模型是一种将概率论与图论相结合的强大框架，用于表示和推断多个随机变量之间的复杂依赖关系。它通过图结构直观地揭示变量间的条件独立性，并以此为基础紧凑地参数化高维联合概率分布，从而为不确定性推理、机器学习任务提供结构化的模型基础。根据图中边的性质，概率图模型主要分为两大类：使用有向无环图表示因果或生成关系的贝叶斯网络，以及使用无向图表示关联或约束关系的马尔可夫网络（也称马尔可夫随机场）。本节将系统阐述这两种基本模型的结构定义、参数化方法及其与条件独立性之间的核心联系。

9.4.1 概率图模型的核心思想与表示

概率图模型的核心在于利用图G=(V,E)G = (V, E)G=(V,E)来编码一个联合概率分布P(X1,X2,...,Xn)P(X_1, X_2, ..., X_n)P(X1​,X2​,...,Xn​)的分解性质，其中节点VVV对应随机变量，边EEE表示变量间的直接依赖或交互关系。其优势体现在两个方面：

1. 结构化表示：图提供了变量间依赖关系的可视化与可解释性表示。
2. 计算效率：基于图中蕴含的条件独立性，可以将高维联合分布的表示、学习和推断分解为对局部子结构的操作，极大降低了计算复杂度。

条件独立性是连接图结构与概率分布的桥梁。若在给定变量集ZZZ的条件下，变量集XXX与YYY独立，则记为X⊥ ⁣ ⁣ ⁣⊥Y∣ZX \perp\!\!\!\perp Y | ZX⊥⊥Y∣Z，这意味着P(X,Y∣Z)=P(X∣Z)P(Y∣Z)P(X, Y|Z) = P(X|Z)P(Y|Z)P(X,Y∣Z)=P(X∣Z)P(Y∣Z)。概率图模型的关键在于，图GGG中特定的分离性质（如d-分离、图分离）恰好对应着概率分布PPP中的条件独立性断言。

9.4.2 贝叶斯网络

贝叶斯网络，又称信念网络或有向图模型，是一种基于有向无环图（DAG）的概率图模型[1]。

9.4.2.1 结构定义与因子分解

一个贝叶斯网络由两部分定义：

1. 一个有向无环图结构：每个节点对应一个随机变量，有向边表示直接的依赖或影响方向（通常可解释为因果或时序关系）。节点XiX_iXi​的父节点集合记为Pa(Xi)\text{Pa}(X_i)Pa(Xi​)。
2. 一组条件概率分布：每个节点XiX_iXi​关联一个条件概率分布P(Xi∣Pa(Xi))P(X_i | \text{Pa}(X_i))P(Xi​∣Pa