电子科技大学人工智能期末复习笔记（四）：概率与贝叶斯网络

前言

本复习笔记基于李晶晶老师的课堂PPT与复习大纲，供自己期末复习与学弟学妹参考用。

2023-02-10更新：增加了贝叶斯网络中的抽样问题

概率

概率公式

贝叶斯公式

链式条件概率

例题

1. 求联合概率分布/边缘概率分布/条件概率分布

首先明确，P(W | dry)是一个概率分布，而不是一个概率值。不能写成 P(W | dry)=....

①求联合概率分布P(D,W);

②求边缘概率分布P(D);

③求条件概率分布P(W | D).

P(W | dry)

D

W

P

dry

sun

0.9231

dry

rain

0.0769

2. 灵活运用贝叶斯公式

概率总结

贝叶斯网络

判断独立性

两个事件独立的判断

条件独立性的判断

假设条件独立的链式法则

⚠Active / Inactive Paths 判断独立性

要判断X，Y的独立性：

1. 找到X到Y的所有路径paths

2. 如果一个path的所有三元组都是active那么此path就是active

3. 若存在一个path为active，那么X、Y就是非独立的，反之独立

简言之：找到一条path的所有三元组都是active那么就非独立；

若只存在一条路径，那么找到一个inactive的三元组就独立，如果全部active才非独立。

⭐可以把X、Y理解为两个水池，如果有一根连通水管（path）里的开关全打开了（active）那么二者连通，不独立（independence）；如果就只有一根水管连接，那么只要有一个开关被关闭（inactive）那么就独立。

【上图阴影表示确定条件，即given。】

⭐只需要记间接因果（中间条件已知）、已知同因（父节点已知）、未知共果是active（子节点未知），其他三个对立的象限自己就出来了。

25-bn (washington.edu)

贝叶斯网络中的条件概率

文字描述： 遍历每一项，分别以它们的父节点为条件，连乘即可。

举例说明比较直观：

多重连接和多重消除 Multiple Joins & Multiple Elimination

对应乘起来就行了，没什么。

贝叶斯网络抽样(Bayes' Nets Sampling)

贝叶斯网络的抽样大致分为：

• 先验抽样 ▪ Prior Sampling
• 拒绝抽样 ▪ Rejection Sampling
• 加权抽样 ▪ Likelihood Weighting
• 吉布斯抽样 ▪ Gibbs Sampling

其目的是进一步加快贝叶斯网络近似的速度。

采样是什么？——Sampling

采样，顾名思义就是从特定的概率分布中抽取相应样本点的过程。它可以将复杂的分布简化为离散的样本点、可以用于随机模拟已进行复杂模型的近似求解或推理等。

先验抽样 ▪ Prior Sampling

获取样本的方式为祖先抽样，从父节点开始逐渐扩展，类似于贝叶斯网络中的联合分布，下面以一个经典的例题直观感受一下：

如图，它的核心思想是根据有向图的顺序，先对祖先节点进行采样，只有当某个节点的所有父节点都已完成采样，采对该结点进行采样。以上图为场景，先对Cloudy变量进行采样，然后对Sprinkle和Rain变量进行采样，最后对WetGrass变量采样。根据贝叶斯网络的全概率公式

    可以看出祖先采样得到的样本服从贝叶斯网络的联合概率分布。
     如果只需要对贝叶斯网络中一部分随机变量的边缘分布进行采样，可以用祖先采样对全部随机变量进行采样，然后直接忽视那些不需要的变量的采样值即可。由图可见，如果需要对边缘分布p(Rain)进行采样，先用祖先采样得到全部变量的一个样本，如（Cloudy=T，Sprinkler=T，Rain=T，WetGrass=T），然后忽略掉无关变量，直接把这个样本看成是Coludy=T即可。 

大致流程：

1. 设一个事件的样本数为：
2. 计算生成样本的概率：
3. 套用公式：
4. 采样程序是一致的，这样就估计出联合分布的概率。

例题：

从贝叶斯网络中得到的样本：

需要求P（W）

• 计数：+w——4；-w——1
• 计算概率：+w——4/5=0.8；-w——1/5=0.2
• （样本越多越接近真实概率）

总结：

拒绝抽样 ▪ Rejection Sampling

类似，就不赘述了，它采样的方式就是根据条件取，不符合条件的丢弃：

假设在上例中我们要求C的概率，此时保留所有样本就没有意义了，我们选择对C计数；

假设我们想要Ｐ（C|+s），同样的，我们要统计C结果，但忽略（拒绝）没有+s的样本。

这就是拒绝抽样，它对于条件概率而言也是一致的。

似然加权 ▪ Likelihood Weighting

举一个例子：在有观测变量（Sprikeler = T, WetGrass = T）时，可以先对Cloudy进行采样，再对Rain进行采样，对于Sprikeler、WetGrass则直接赋观察值，得到下面的一个样本：

这样得到的样本的重要性权值为：

w 正比于 p(Sprinkler = T| Cloudy = T)*p(WetGrass = T| Sprinkler = T,Rain = T) = 0.1**0.99 = 0.099
该式子可以理解为：当其他变量取得样本中的取值时(Cloudy = T,Rain = T)，预测变量取得其确定值的可能性。

吉布斯抽样 ▪ Gibbs Sampling

总结

直接采样：按照拓扑顺序依次对每个变量进行采样。变量值被采样的概率分布依赖于父结点已得到的赋值。

拒绝采样：给定一个易于采样的分布，为一个难于采样的分布生成采样样本。

似然加权（likelihood weighting）只生成与证据e一致的事件，从而避免拒绝采样算法的低效率。

Gibbs采样算法：贝叶斯网络的Gibbs采样算法从任意的状态出发，通过(给定马尔可夫覆盖)对一个非证据变量Xi随机采样而生成下一个状态。对Xi的采样条件依赖于Xi的马尔可夫覆盖中的变量的当前值。

⚠作业题