目录
第9章 分类规则挖掘
第一题
1、设网球俱乐部有打球与气候条件的历史统计数据如下表1所示。它有“天气”、“气温”、“适度”和“风力”4个描述气候的条件属性，类别属性为“是”与“否”的二元取值，分别表示在当时的气候条件下是否适宜打球的两种类别。
表1 打球与气候情况的历史数据样本集S样本id天气温度湿度风力类别样本id天气温度湿度风力类别
X1X_1X1晴高大无否X8X_8X8晴中大无否X2X_2X2晴高大无否X9X_9X9晴低小无是X3X_3X3云高大无是X10X_{10}X10雨中小无是X4X_4X4雨中大无是X11X_{11}X11晴中小有是X5X_5X5雨低小无是X12X_{12}X12云中大有是X6X_6X6雨低小有否X13X_{13}X13云高小无是X7X_7X7云低小有是X14X_{14}X14雨中大有否
**对
SSS 中的任意两个数据对象X,YX,YX,Y，定义其在4个条件属性上的相异度为d(X,Y)=∑j=1rδ(xj,yj)d(X,Y)=\sum_{j=1}^r\delta(x_j,y_j)d(X,Y)=j=1∑rδ(xj,yj) 其中xj,yjx_j,y_jxj,yj 是数据对象X,YX,YX,Y 的第jjj 个分量值；如果xj=yjx_j=y_jxj=yj，δ(xj,yj)=0\delta(x_j,y_j)=0δ(xj,yj)=0，否则δ(xj,yj)=1\delta(x_j,y_j)=1δ(xj,yj)=1。**
**根据天气预报得知，后天的天气情况
XH=(雨、高、小、无)X_H=(雨、高、小、无)XH=(雨、高、小、无)，若令，请用kkk-最近邻分类算法预测后天是否适合打球。**
解：
首先，计算相异度。根据提供的相异度定义，可以使用欧氏距离来计算相异度。欧氏距离的计算公式如下所示：
d(p,q)=(p1−q1)2+(p2−q2)2+(p3−q3)2+(p4−q4)2d(\mathbf{p}, \mathbf{q}) = \sqrt{(p_1 - q_1)^2 + (p_2 - q_2)^2 + (p_3 - q_3)^2 + (p_4 - q_4)^2}d(p,q)=(p1−q1)2+(p2−q2)2+(p3−q3)2+(p4−q4)2
其中 (
pip_ipi) 和 (qiq_iqi) 分别是两个数据对象在第 (iii) 个属性上的取值。现在开始计算相异度。对于样本中的每个数据对象，将其表示为一个向量，其中每个分量对应于一个条件属性。然后，使用欧氏距离计算每对数据对象之间的相异度。接下来，将根据计算得到的相异度找出与后天天气情况最相似的 k 个样本，以进行预测。
计算后天天气情况（雨、高、小、无）与每个样本之间的相异度。现在，让计算后天天气情况（雨、高、小、无）与每个样本之间的相异度。使用欧氏距离公式来计算相异度：
d(p,q)=(p1−q1)2+(p2−q2)2+(p3−q3)2+(p4−q4)2d(\mathbf{p}, \mathbf{q}) = \sqrt{(p_1 - q_1)^2 + (p_2 - q_2)^2 + (p_3 - q_3)^2 + (p_4 - q_4)^2}d(p,q)=(p1−q1)2+(p2−q2)2+(p3−q3)2+(p4−q4)2
其中，(
p\mathbf{p}p) 表示后天天气情况，(q\mathbf{q}q) 表示样本数据中的每个数据对象。
后天天气情况为：天气=雨，温度=高，湿度=小，风力=无。现在，计算后天天气情况与每个样本之间的相异度。先将后天的天气情况表示为向量：
pH=(雨,高,小,无)\mathbf{p_{\text{H}}} = (雨, 高, 小, 无)pH=(雨,高,小,无)
然后，逐个计算后天天气情况与每个样本之间的相异度。将每个样本的条件属性值代入欧氏距离公式中，并计算相异度。下面是计算结果：
d(pH,q1)=(雨−晴)2+(高−高)2+(小−大)2+(无−无)2=12+02+12+02=2≈1.414d(pH,q2)=(雨−晴)2+(高−高)2+(小−大)2+(无−无)2=12+02+12+02=2≈1.414d(pH,q3)=(雨−云)2+(高−高)2+(小−大)2+(无−无)2=12+02+12+02=2≈1.414d(pH,q4)=(雨−雨)2+(高−中)2+(小−大)2+(无−无)2=02+12+12+02=2≈1.414d(pH,q5)=(雨−雨)2+(高−低)2+(小−小)2+(无−无)2=02+12+02+02=1d(pH,q6)=(雨−雨)2+(高−低)2+(小−小)2+(无−有)2=02+12+02+12=2≈1.414d(pH,q7)=(雨−云)2+(高−低)2+(小−小)2+(无−有)2=12+12+02+12=3≈1.732d(pH,q8)=(雨−晴)2+(高−中)2+(小−大)2+(无−无)2=12+12+12+02=3≈1.732d(pH,q9)=(雨−晴)2+(高−低)2+(小−小)2+(无−无)2=12+12+02+02=2≈1.414d(pH,q10)=(雨−雨)2+(高−中)2+(小−小)2+(无−无)2=02+12+02+02=1d(pH,q11)=(雨−晴)2+(高−中)2+(小−小)2+(无−有)2=12+12+02+12=2≈1.414d(pH,q12)=(雨−云)2+(高−中)2+(小−大)2+(无−有)2=12+12+12+12=2d(pH,q13)=(雨−云)2+(高−高)2+(小−小)2+(无−无)2=12+02+02+02=1d(pH,q14)=(雨−雨)2+(高−中)2+(小−大)2+(无−有)2=02+12+12+12=3≈1.732\begin{align*} d(\mathbf{p_{\text{H}}}, \mathbf{q_1}) &= \sqrt{(雨 - 晴)^2 + (高 - 高)^2 + (小 - 大)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 0^2 + 1^2 + 0^2} \ = \sqrt{2} \ \approx 1.414 \ \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_2}) &= \sqrt{(雨 - 晴)^2 + (高 - 高)^2 + (小 - 大)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 0^2 + 1^2 + 0^2} \ = \sqrt{2} \ \approx 1.414 \ \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_3}) &= \sqrt{(雨 - 云)^2 + (高 - 高)^2 + (小 - 大)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 0^2 + 1^2 + 0^2} \ = \sqrt{2} \ \approx 1.414 \ \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_4}) &= \sqrt{(雨 - 雨)^2 + (高 - 中)^2 + (小 - 大)^2 + (无 - 无)^2} \ = \sqrt{0^2 + 1^2 + 1^2 + 0^2} \ = \sqrt{2} \ \approx 1.414 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_5}) &= \sqrt{(雨 - 雨)^2 + (高 - 低)^2 + (小 - 小)^2 + (无 - 无)^2} \ = \sqrt{0^2 + 1^2 + 0^2 + 0^2} \ = 1 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_6}) &= \sqrt{(雨 - 雨)^2 + (高 - 低)^2 + (小 - 小)^2 + (无 - 有)^2} \ = \sqrt{0^2 + 1^2 + 0^2 + 1^2} \ = \sqrt{2} \ \approx 1.414 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_7}) &= \sqrt{(雨 - 云)^2 + (高 - 低)^2 + (小 - 小)^2 + (无 - 有)^2} \ = \sqrt{1^2 + 1^2 + 0^2 + 1^2} \ = \sqrt{3} \ \approx 1.732 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_8}) &= \sqrt{(雨 - 晴)^2 + (高 - 中)^2 + (小 - 大)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 1^2 + 1^2 + 0^2} \ = \sqrt{3} \ \approx 1.732 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_9}) &= \sqrt{(雨 - 晴)^2 + (高 - 低)^2 + (小 - 小)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 1^2 + 0^2 + 0^2} \ = \sqrt{2} \ \approx 1.414 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_{10}}) &= \sqrt{(雨 - 雨)^2 + (高 - 中)^2 + (小 - 小)^2 + (无 - 无)^2} \ = \sqrt{0^2 + 1^2 + 0^2 + 0^2} \ = 1 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_{11}}) &= \sqrt{(雨 - 晴)^2 + (高 - 中)^2 + (小 - 小)^2 + (无 - 有)^2} \ = \sqrt{1^2 + 1^2 + 0^2 + 1^2} \ = \sqrt{2} \ \approx 1.414 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_{12}}) &= \sqrt{(雨 - 云)^2 + (高 - 中)^2 + (小 - 大)^2 + (无 - 有)^2} \ = \sqrt{1^2 + 1^2 + 1^2 + 1^2} \ = 2 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_{13}}) &= \sqrt{(雨 - 云)^2 + (高 - 高)^2 + (小 - 小)^2 + (无 - 无)^2} \ = \sqrt{1^2 + 0^2 + 0^2 + 0^2} \ = 1 \\[1ex] d(\mathbf{p_{\text{H}}}, \mathbf{q_{14}}) &= \sqrt{(雨 - 雨)^2 + (高 - 中)^2 + (小 - 大)^2 + (无 - 有)^2} \ = \sqrt{0^2 + 1^2 + 1^2 + 1^2} \ = \sqrt{3} \ \approx 1.732 \end{align*}d(pH,q1)d(pH,q2)d(pH,q3)d(pH,q4)d(pH,q5)d(pH,q6)d(pH,q7)d(pH,q8)d(pH,q9)d(pH,q10)d(pH,q11)d(pH,q12)d(pH,q13)d(pH,q14)=(雨−晴)2+(高−高)2+(小−大)2+(无−无)2 =12+02+12+02 =2 ≈1.414 =(雨−晴)2+(高−高)2+(小−大)2+(无−无)2 =12+02+12+02 =2 ≈1.414 =(雨−云)2+(高−高)2+(小−大)2+(无−无)2 =12+02+12+02 =2 ≈1.414 =(雨−雨)2+(高−中)2+(小−大)2+(无−无)2 =02+12+12+02 =2 ≈1.414=(雨−雨)2+(高−低)2+(小−小)2+(无−无)2 =02+12+02+02 =1=(雨−雨)2+(高−低)2+(小−小)2+(无−有)2 =02+12+02+12 =2 ≈1.414=(雨−云)2+(高−低)2+(小−小)2+(无−有)2 =12+12+02+12 =3 ≈1.732=(雨−晴)2+(高−中)2+(小−大)2+(无−无)2 =12+12+12+02 =3 ≈1.732=(雨−晴)2+(高−低)2+(小−小)2+(无−无)2 =12+12+02+02 =2 ≈1.414=(雨−雨)2+(高−中)2+(小−小)2+(无−无)2 =02+12+02+02 =1=(雨−晴)2+(高−中)2+(小−小)2+(无−有)2 =12+12+02+12 =2 ≈1.414=(雨−云)2+(高−中)2+(小−大)2+(无−有)2 =12+12+12+12 =2=(雨−云)2+(高−高)2+(小−小)2+(无−无)2 =12+02+02+02 =1=(雨−雨)2+(高−中)2+(小−大)2+(无−有)2 =02+12+12+12 =3 ≈1.732
接下来，找出与后天天气情况最相似的 k 个样本。
假设选择 k=3，即找出与后天天气情况最相似的三个样本。根据之前计算的相异度，可以列出相异度最小的三个样本。
样本
X5X_5X5: 相异度为 1；样本X10X_{10}X10: 相异度为 1；样本X13X_{13}X13: 相异度为 1。因此，与后天天气情况最相似的三个样本是X5X_5X5、X10X_{10}X10 和X13X_{13}X13。
最后，将根据这三个样本的类别来预测后天是否适合打球。在这三个样本中，类别为“是”，所以可以预测后天适合打球。
第二题
2、设有动物分类样本集如下表2，其中是否温血、有无羽毛、有无毛皮、会否游泳为条件属性，卵生动物类别属性，取值1表示该动物为卵生动物，0表示非卵生动物。试用ID3算法对样本集进行学习并生成其决策树，再由决策树获得动物的分类规则。
表2 数据集S有8个带类别标号的数据对象动物id是否温血有无羽毛有无毛皮会否游泳是否卵生
X1X_1X111001X2X_2X200011X3X_3X311001X4X_4X411001X5X_5X510010X6X_6X610100
解：
第一步：选择
SSS 增益最大的属性构造决策树的根结点。
（1）计算分类属性
CCC 的分类信息熵
已知
S={X1,X2,…,X6}S=\{X_1,X_2,…,X_6\}S={X1,X2,…,X6}共有6个样本点，故∣S∣=6|S|=6∣S∣=6，而分类属性C={1,0}={C1,C2}C=\{1, 0\}=\{C_1,C_2\}C={1,0}={C1,C2}，即C1C_1C1 为 “1” 是卵生动物，C2C_2C2 为 “0” 是非卵生动物，C1={X1,X2,X3,X4}C_1=\{X_1, X_2, X_3, X_4\}C1={X1,X2,X3,X4},C2={X5,X6}C_2=\{X_5, X_6\}C2={X5,X6}。
根据信息熵公式有
E(S,C)=−∑i=12∣Ci∣∣S∣log2∣Ci∣∣S∣=−(46log246+26log226)≈0.918E(S,C)=-\sum_{i=1}^{2}\frac{|C_i|}{|S|}\log_2\frac{|C_i|}{|S|}=-\left(\frac{4}{6}\log_2\frac{4}{6}+\frac{2}{6}\log_2\frac{2}{6}\right) \approx 0.918E(S,C)=−i=1∑2∣S∣∣Ci∣log2∣S∣∣Ci∣=−(64log264+62log262)≈0.918
（2）计算每个条件属性
AAA 相对CCC 的信息熵
样本集
SSS 有是否温血、有无羽毛、有无毛皮、会否游泳等4个条件属性，因此，应分别计算它们相对CCC 的分类信息熵。
① 当
A1A_1A1=“是否温血” 时，属性A1A_1A1 将SSS 划分为S1={X1,X3,X4,X5,X6}S_1=\{X_1, X_3, X_4, X_5, X_6\}S1={X1,X3,X4,X5,X6}，S2={X2}S_2=\{X_2\}S2={X2}。
因为
C1∩S1={X1,X3,X4}C_1\cap S_1 =\{X_1, X_3,X_4\}C1∩S1={X1,X3,X4}，C2∩S1={X5,X6}C_2\cap S_1=\{X_5, X_6\}C2∩S1={X5,X6}，根据信息熵公式有E(S1,C)=−∑i=12∣Ci∩S1∣∣S1∣log2(∣Ci∩S1∣∣S1∣)=−(35log235+25log225)≈0.971E(S_1,C)=-\sum_{i=1}^{2}\frac{|C_i\cap S_1|}{|S_1|}\log_2\left(\frac{|C_i\cap S_1|}{|S_1|}\right)=-\left(\frac{3}{5}\log_2\frac{3}{5}+\frac{2}{5}\log_2\frac{2}{5}\right) \approx 0.971E(S1,C)=−i=1∑2∣S1∣∣Ci∩S1∣log2(∣S1∣∣Ci∩S1∣)=−(53log253+52log252)≈0.971 同理有C1∩S2={X2}C_1\cap S_2 =\{X_2\}C1∩S2={X2}，C2∩S2=∅C_2\cap S_2=\varnothingC2∩S2=∅，根据信息熵公式有E(S2,C)=−∑i=12∣Ci∩S2∣∣S2∣log2(∣Ci∩S2∣∣S2∣)=−(11log211+01log201)=0E(S_2,C)=-\sum_{i=1}^{2}\frac{|C_i\cap S_2|}{|S_2|}\log_2\left(\frac{|C_i\cap S_2|}{|S_2|}\right)=-\left(\frac{1}{1}\log_2\frac{1}{1}+\frac{0}{1}\log_2\frac{0}{1}\right)=0E(S2,C)=−i=1∑2∣S2∣∣Ci∩S2∣log2(∣S2∣∣Ci∩S2∣)=−(11log211+10log210)=0 条件属性A1A_1A1 划分样本集SSS 相对于CCC 的信息熵为E(S,A1∣C)=∑j=12∣Sj∣∣S∣E(Sj,C)=∣S1∣∣S∣E(S1,C)+∣S2∣∣S∣E(S2,C)=56×0.971+16×0≈0.809E(S,A_1|C)=\sum_{j=1}^{2}\frac{|S_j|}{|S|}E(S_j,C)=\frac{|S_1|}{|S|}E(S_1,C)+\frac{|S_2|}{|S|}E(S_2,C)=\frac{5}{6}\times0.971+\frac{1}{6}\times0\approx0.809E(S,A1∣C)=j=1∑2∣S∣∣Sj∣E(Sj,C)=∣S∣∣S1∣E(S1,C)+∣S∣∣S2∣E(S2,C)=65×0.971+61×0≈0.809
② 当
A2A_2A2=“有无羽毛” 时，属性A2A_2A2 将SSS 划分为S1={X1,X3,X4}S_1=\{X_1, X_3, X_4\}S1={X1,X3,X4}，S2={X2,X5,X6}S_2=\{X_2, X_5, X_6\}S2={X2,X5,X6}。
因为
C1∩S1={X1,X3,X4}C_1\cap S_1 =\{X_1, X_3,X_4\}C1∩S1={X1,X3,X4}，C2∩S1=∅C_2\cap S_1=\varnothingC2∩S1=∅，根据信息熵公式有E(S1,C)=−∑i=12∣Ci∩S1∣∣S1∣log2(∣Ci∩S1∣∣S1∣)=−(33log233+03log203)=0E(S_1,C)=-\sum_{i=1}^{2}\frac{|C_i\cap S_1|}{|S_1|}\log_2\left(\frac{|C_i\cap S_1|}{|S_1|}\right)=-\left(\frac{3}{3}\log_2\frac{3}{3}+\frac{0}{3}\log_2\frac{0}{3}\right)=0E(S1,C)=−i=1∑2∣S1∣∣Ci∩S1∣log2(∣S1∣∣Ci∩S1∣)=−(33log233+30log230)=0 同理有C1∩S2={X2}C_1\cap S_2 =\{X_2\}C1∩S2={X2}，C2∩S2={X5,X6}C_2\cap S_2=\{X_5,X_6\}C2∩S2={X5,X6}，根据信息熵公式有E(S2,C)=−∑i=12∣Ci∩S2∣∣S2∣log2(∣Ci∩S2∣∣S2∣)=−(13log213+23log223)≈0.918E(S_2,C)=-\sum_{i=1}^{2}\frac{|C_i\cap S_2|}{|S_2|}\log_2\left(\frac{|C_i\cap S_2|}{|S_2|}\right)=-\left(\frac{1}{3}\log_2\frac{1}{3}+\frac{2}{3}\log_2\frac{2}{3}\right) \approx 0.918E(S2,C)=−i=1∑2∣S2∣∣Ci∩S2∣log2(∣S2∣∣Ci∩S2∣)=−(31log231+32log232)≈0.918 条件属性A2A_2A2 划分样本集SSS 相对于CCC 的信息熵为E(S,A2∣C)=∑j=12∣Sj∣∣S∣E(Sj,C)=∣S1∣∣S∣E(S1,C)+∣S2∣∣S∣E(S2,C)=36×0+36×0.918=0.459E(S,A_2|C)=\sum_{j=1}^{2}\frac{|S_j|}{|S|}E(S_j,C)=\frac{|S_1|}{|S|}E(S_1,C)+\frac{|S_2|}{|S|}E(S_2,C)=\frac{3}{6}\times0+\frac{3}{6}\times0.918=0.459E(S,A2∣C)=j=1∑2∣S∣∣Sj∣E(Sj,C)=∣S∣∣S1∣E(S1,C)+∣S∣∣S2∣E(S2,C)=63×0+63×0.918=0.459
③ 当
A3A_3A3=“有无毛皮” 时，属性A3A_3A3 将SSS 划分为S1={X6}S_1=\{X_6\}S1={X6}，S2={X1,X2,X3,X4,X5}S_2=\{X_1, X_2,X_3, X_4,X_5\}S2={X1,X2,X3,X4,X5}。
同理可得，
E(S1,C)=0E(S_1,C)=0E(S1,C)=0，E(S2,C)≈0.722E(S_2,C)\approx 0.722E(S2,C)≈0.722，E(S,A3∣C)≈0.241E(S,A_3|C)\approx0.241E(S,A3∣C)≈0.241
④ 当
A4A_4A4=“会否游泳” 时，属性A4A_4A4 将SSS 划分为S1={X2,X5}S_1=\{X_2,X_5\}S1={X2,X5}，S2={X1,X3,X4,X6}S_2=\{X_1,X_3, X_4,X_6\}S2={X1,X3,X4,X6}。
同理可得，
E(S1,C)=1E(S_1,C)=1E(S1,C)=1，E(S2,C)≈0.811E(S_2,C)\approx0.811E(S2,C)≈0.811，E(S,A4∣C)=0.874E(S,A_4|C)=0.874E(S,A4∣C)=0.874
（3）计算每个属性
AAA 的信息增益
根据公式
gain(S,A∣C)=E(S,C)−E(S,A∣C)gain(S,A|C)=E(S,C)-E(S,A|C)gain(S,A∣C)=E(S,C)−E(S,A∣C) 可得
① 是否温血：
gain(S,A1∣C)=0.918−0.809=0.109gain(S,A_1|C)=0.918-0.809=0.109gain(S,A1∣C)=0.918−0.809=0.109
② 有无羽毛：
gain(S,A2∣C)=0.918−0.459=0.459gain(S,A_2|C)=0.918-0.459=0.459gain(S,A2∣C)=0.918−0.459=0.459
③ 有无毛皮：
gain(S,A3∣C)=0.918−0.241=0.677gain(S,A_3|C)=0.918-0.241=0.677gain(S,A3∣C)=0.918−0.241=0.677
④ 会否游泳：
gain(S,A4∣C)=0.918−0.874=0.044gain(S,A_4|C)=0.918-0.874=0.044gain(S,A4∣C)=0.918−0.874=0.044
因此，最大增益的属性为“有无毛皮”，即以“有无毛皮”作为根节点，并以“有无毛皮”划分
SSS 所得子集S1S_1S1，S2S_2S2。
第二步：选择
S2S_2S2 中增益最大的属性作为“有无毛皮”的子女结点，即选择属性“有无羽毛”。
第三步：选择
S2S_2S2 中增益最大的属性作为“有无羽毛”的子女结点，即选择属性“是否温血”。
最终，得到样本集的决策树，如下图所示。
第三题
3、设网球俱乐部有打网球与气候条件的历史统计数据(如下表3)。它共有“天气”、“温度”、“湿度”和“风力”4个描述气候的条件属性，其中“湿度”为连续属性，类别属性为“是”与“否”的二元取值，分别表示在当时的气候条件下是否适宜打球的两种类别。假设湿度离散化为高中低三个等级，湿度值<75被认为湿度为低，湿度>85被认为湿度为高，其他情况湿度为中。请用C4.5算法构造关于气候条件与是否适宜打球的决策树。
表3 打球与气候情况的历史数据样本集S样本id天气温度湿度风力类别样本id天气温度湿度风力类别
X1X_1X1晴高95无否X8X_8X8晴中85无否X2X_2X2晴高90无否X9X_9X9晴低70无是X3X_3X3云高85无是X10X_{10}X10雨中75无是X4X_4X4雨中80无是X11X_{11}X11晴中70有是X5X_5X5雨低75无是X12X_{12}X12云中80有是X6X_6X6雨低70有否X13X_{13}X13云高75无是X7X_7X7云低65有是X14X_{14}X14雨中78有否
解：
首先，需要计算每个属性的信息增益，以选择最有用的属性作为根节点。以下是计算信息增益的步骤：
第一步，计算数据集的熵
H(D)H(D)H(D)：H(D)=−(PYlog2PY+PNlog2PN)H(D)=-(P_Y\log_2P_Y+P_N\log_2P_N)H(D)=−(PYlog2PY+PNlog2PN) 其中，PYP_YPY为类别为“是”的样本占比，PNP_NPN为类别为“否”的样本占比。
根据样本数据，
PY=914,PN=514P_Y=\frac{9}{14},P_N=\frac{5}{14}PY=149,PN=145，因此：H(D)=−(914log2914+514log2514)≈0.940H(D)=-\left(\frac{9}{14}\log_2\frac{9}{14}+\frac{5}{14}\log_2\frac{5}{14}\right)\approx0.940H(D)=−(149log2149+145log2145)≈0.940
第二步，对于每个属性
AAA，计算其条件熵H(D∣A)H(D|A)H(D∣A)：H(D∣A)=∑i=1n∣Di∣∣D∣H(Di)H(D|A)=\sum_{i=1}^n\frac{|D_i|}{|D|}H(D_i)H(D∣A)=i=1∑n∣D∣∣Di∣H(Di)
其中，
nnn为属性AAA的取值数，∣Di∣|D_i|∣Di∣为样本集中属性AAA取值为第iii个取值的样本数量，H(Di)H(D_i)H(Di)为属性AAA取值为第iii个取值时的样本的熵。对于离散属性，H(Di)H(D_i)H(Di)可以根据与属性AAA的取值相对应的样本计算得出，对于连续属性，需要先对其进行离散化处理。对于本题，我们需要对湿度进行离散化处理。
根据题目要求，湿度离散化为高中低三个等级，湿度值<75被认为湿度为低，湿度>85被认为湿度为高，其他情况湿度为中。因此，可以将样本集中湿度小于75的样本归为“低"类，湿度大于85的样本归为“高"类，其余样本归为“中”类。
对于其他属性，可以直接计算条件熵。以下是每个属性的条件熵计算公式：
① 天气：
H(D∣天气)=514H(D1)+414H(D2)+514H(D3)H(D|天气)=\frac{5}{14}H(D_1)+\frac{4}{14}H(D_2)+\frac{5}{14}H(D_3)H(D∣天气)=145H(D1)+144H(D2)+145H(D3) 其中，D1D_1D1为天气为“晴”的样本集，D2D_2D2为天气为“云”的样本集，D3D_3D3为天气为“雨”的样本集。H(D1)=−(25log225+35log235)≈0.971H(D2)=−(44log244+04log204)=0H(D3)=−(35log235+25log225)≈0.971\begin{align*} H(D_1)&=-\left(\frac{2}{5}\log_2\frac{2}{5}+\frac{3}{5}\log_2\frac{3}{5}\right)\approx0.971\\[2ex] H(D_2)&=-\left(\frac{4}{4}\log_2\frac{4}{4}+\frac{0}{4}\log_2\frac{0}{4}\right)=0\\[2ex] H(D_3)&=-\left(\frac{3}{5}\log_2\frac{3}{5}+\frac{2}{5}\log_2\frac{2}{5}\right)\approx0.971 \end{align*}H(D1)H(D2)H(D3)=−(52log252+53log253)≈0.971=−(44log244+40log240)=0=−(53log253+52log252)≈0.971 因此H(D∣天气)≈0.694H(D|天气)\approx0.694H(D∣天气)≈0.694
② 温度：
H(D∣温度)=414H(D1)+414H(D2)+614H(D3)H(D|温度)=\frac{4}{14}H(D_1)+\frac{4}{14}H(D_2)+\frac{6}{14}H(D_3)H(D∣温度)=144H(D1)+144H(D2)+146H(D3) 其中，D1D_1D1为温度为“高”的样本集，D2D_2D2为温度为“中”的样本集，D3D_3D3为温度为“低”的样本集。H(D1)=−(24log224+24log224)=1H(D2)=−(46log246+26log226)≈0.918H(D3)=−(34log234+14log214)≈0.811\begin{align*} H(D_1)&=-\left(\frac{2}{4}\log_2\frac{2}{4}+\frac{2}{4}\log_2\frac{2}{4}\right)=1\\[2ex] H(D_2)&=-\left(\frac{4}{6}\log_2\frac{4}{6}+\frac{2}{6}\log_2\frac{2}{6}\right)\approx0.918\\[2ex] H(D_3)&=-\left(\frac{3}{4}\log_2\frac{3}{4}+\frac{1}{4}\log_2\frac{1}{4}\right)\approx0.811 \end{align*}H(D1)H(D2)H(D3)=−(42log242+42log242)=1=−(64log264+62log262)≈0.918=−(43log243+41log241)≈0.811 因此H(D∣温度)≈0.911H(D|温度)\approx0.911H(D∣温度)≈0.911
③ 湿度：
H(D∣湿度)=414H(D1)+814H(D2)+214H(D3)H(D|湿度)=\frac{4}{14}H(D_1)+\frac{8}{14}H(D_2)+\frac{2}{14}H(D_3)H(D∣湿度)=144H(D1)+148H(D2)+142H(D3) 其中，D1D_1D1为湿度为“低”的样本集，D2D_2D2为湿度为“中”的样本集，D3D_3D3为湿度为“高”的样本集。
同理可得，
H(D1)≈0.811H(D_1)\approx0.811H(D1)≈0.811；H(D2)≈0.811H(D_2)\approx0.811H(D2)≈0.811；H(D3)=0H(D_3)=0H(D3)=0，H(D∣湿度)≈0.695H(D|湿度)\approx0.695H(D∣湿度)≈0.695
④ 风力：
H(D∣风力)=914H(D1)+514H(D2)H(D|风力)=\frac{9}{14}H(D_1)+\frac{5}{14}H(D_2)H(D∣风力)=149H(D1)+145H(D2) 其中，D1D_1D1为风力为“无”的样本集，D2D_2D2为风力为“有”的样本集。
同理可得，
H(D1)≈0.918H(D_1)\approx0.918H(D1)≈0.918；H(D2)≈0.971H(D_2)\approx0.971H(D2)≈0.971,H(D∣风力)≈0.937H(D|风力)\approx0.937H(D∣风力)≈0.937
第三步，计算每个属性的信息增益
gain(D,A)gain(D,A)gain(D,A)：gain(D,A)=H(D)−H(D∣A)gain(D,A)=H(D)-H(D|A)gain(D,A)=H(D)−H(D∣A) 每个属性的信息增益结果如下：
① 天气：
gain(D,天气)≈0.246gain(D,天气)\approx0.246gain(D,天气)≈0.246
② 温度：
gain(D,温度)≈0.029gain(D,温度)\approx0.029gain(D,温度)≈0.029
③ 湿度：
gain(D,湿度)≈0.245gain(D,湿度)\approx0.245gain(D,湿度)≈0.245
④ 风力：
gain(D,风力)≈0.003gain(D,风力)\approx0.003gain(D,风力)≈0.003
第四步，计算每个属性的信息增益率。
① 天气：
gainRatio(D,天气)=gain(D,天气)/H(D∣天气)≈0.156gainRatio(D,天气)=gain(D,天气)/H(D|天气)\approx0.156gainRatio(D,天气)=gain(D,天气)/H(D∣天气)≈0.156
② 温度：
gainRatio(D,温度)=gain(D,温度)/H(D∣温度)≈0.019gainRatio(D,温度)=gain(D,温度)/H(D|温度)\approx0.019gainRatio(D,温度)=gain(D,温度)/H(D∣温度)≈0.019
③ 湿度：
gainRatio(D,湿度)=gain(D,湿度)/H(D∣湿度)≈0.415gainRatio(D,湿度)=gain(D,湿度)/H(D|湿度)\approx0.415gainRatio(D,湿度)=gain(D,湿度)/H(D∣湿度)≈0.415
④ 风力：
gainRatio(D,风力)=gain(D,风力)/H(D∣风力)≈0.003gainRatio(D,风力)=gain(D,风力)/H(D|风力)\approx0.003gainRatio(D,风力)=gain(D,风力)/H(D∣风力)≈0.003
因此，选择信息增益率最大的属性“湿度”作为根节点。将样本集按照湿度的取值划分为三个子集，分别为湿度为“低”的子集
D1D_1D1，湿度为“中”的子集D2D_2D2，湿度为“高”的子集D3D_3D3。
第五步，对于每个子集，继续选择最有用的属性作为划分依据，构造子树。以下是构造子树的过程：
至此，我们已经得到了一棵完整的决策树，可以用于对新样本进行分类。其中，“高”、“中”、“低”表示湿度的不同取值，“有”、“无”表示风力的不同取值，叶子节点的标记“是”表示适宜打球，“否”表示不适宜打球。
第四题
4、设有4个属性14条记录的数据库(如下表4)，它记录了顾客身份、年龄、收入和信用等级等个人信息，以及前来商店咨询电脑事宜，其中“电脑”属性标记了一个顾客咨询结束后买了电脑，或者没买就直接离开商店的信息。
表4 记录了14位顾客购买电脑与否的数据库样本id学生年龄收入信用电脑样本id学生年龄收入信用电脑
X1X_1X1否≤30岁高一般否X8X_8X8否≤30岁中一般否X2X_2X2否≤30岁高优等否X9X_9X9是≤30岁低一般是X3X_3X3否31~40岁高一般是X10X_{10}X10是≥41岁中一般是X4X_4X4否≥41岁中一般是X11X_{11}X11是≥41岁中优等是X5X_5X5是≥41岁低一般是X12X_{12}X12否31~40岁中优等是X6X_6X6是≥41岁低优等否X13X_{13}X13是31~40岁高一般是X7X_7X7是31~40岁低优等是X14X_{14}X14否≥41岁中优等否
**现在来了一位新顾客
X=(学生=是,年龄≤30岁,收入等=中等,信用=一般)X=(学生=是, 年龄≤30岁, 收入等=中等, 信用=一般)X=(学生=是,年龄≤30岁,收入等=中等,信用=一般)，试用贝叶斯分类方法，预测顾客XXX 是否会买电脑。**
解：
现在来了一位新顾客
X=(x1,x2,x3,x4)=(学生=“是”,年龄=“≤30岁”,收入=“中”,信用=“一般”)X=(x_1,x_2,x_3,x_4)=(学生=“是”,年龄=“≤30岁”,收入=“中”,信用=“一般”)X=(x1,x2,x3,x4)=(学生=“是”,年龄=“≤30岁”,收入=“中”,信用=“一般”)，试用朴素贝叶斯分类方法，预测顾客XXX是否会买电脑。
由于
SSS的类别属性CCC取值为“是”和“否”，因此将SSS分为两个类别集合C1=C是={X3,X4,X5,X7,X9,X10,X11,X12,X13}C2=C否={X1,X2,X6,X8,X14}\begin{aligned}&C_1=C_{是}=\{X_3,X_4,X_5,X_7,X_9,X_{10},X_{11},X_{12},X_{13}\}\\[1ex] &C_2=C_{否}=\{X_1,X_2,X_6,X_8,X_{14}\}\end{aligned}C1=C是={X3,X4,X5,X7,X9,X10,X11,X12,X13}C2=C否={X1,X2,X6,X8,X14}
（1）计算
p(C1),p(C2)p(C_1),p(C_2)p(C1),p(C2)
由公式
p(Cj)=∣Cj∣∣S∣\begin{aligned}p(C_j)=\frac{|C_j|}{|S|}\end{aligned}p(Cj)=∣S∣∣Cj∣ 得p(C1)=∣C1∣∣S∣=914,p(C2)=∣C2∣∣S∣=514p(C_1)=\frac{|C_1|}{|S|}=\frac{9}{14}\ ,\ \ p(C_2)=\frac{|C_2|}{|S|}=\frac{5}{14}p(C1)=∣S∣∣C1∣=149 , p(C2)=∣S∣∣C2∣=145
（2）计算
p(X∣C1)p(X|C_1)p(X∣C1)
由公式
p(X∣C1)=∏k=14p(xk∣C1)\begin{aligned}p(X|C_1)=\prod_{k=1}^{4}p(x_k|C_1)\end{aligned}p(X∣C1)=k=1∏4p(xk∣C1) 得p(x1∣C1)=∣S11∣∣C1∣=69,p(x2∣C1)=∣S12∣∣C1∣=19p(x3∣C1)=∣S13∣∣C1∣=49,p(x4∣C1)=∣S14∣∣C1∣=59p(x_1|C_1)=\frac{|S_{11}|}{|C_1|}=\frac{6}{9}\ ,\ \ p(x_2|C_1)=\frac{|S_{12}|}{|C_1|}=\frac{1}{9}\\[2ex] p(x_3|C_1)=\frac{|S_{13}|}{|C_1|}=\frac{4}{9}\ ,\ \ p(x_4|C_1)=\frac{|S_{14}|}{|C_1|}=\frac{5}{9}p(x1∣C1)=∣C1∣∣S11∣=96 , p(x2∣C1)=∣C1∣∣S12∣=91p(x3∣C1)=∣C1∣∣S13∣=94 , p(x4∣C1)=∣C1∣∣S14∣=95 因此，p(X∣C1)=69×19×49×59≈0.0183\begin{aligned}p(X|C_1)=\frac{6}{9}×\frac{1}{9}×\frac{4}{9}×\frac{5}{9}\approx0.0183\end{aligned}p(X∣C1)=96×91×94×95≈0.0183
（3）计算
p(X∣C2)p(X|C_2)p(X∣C2)
由公式
p(X∣C2)=∏k=14p(xk∣C2)\begin{aligned}p(X|C_2)=\prod_{k=1}^{4}p(x_k|C_2)\end{aligned}p(X∣C2)=k=1∏4p(xk∣C2) 得p(x1∣C2)=∣S21∣∣C2∣=15,p(x2∣C2)=∣S22∣∣C2∣=35p(x3∣C2)=∣S23∣∣C2∣=25,p(x4∣C2)=∣S24∣∣C2∣=25p(x_1|C_2)=\frac{|S_{21}|}{|C_2|}=\frac{1}{5}\ ,\ \ p(x_2|C_2)=\frac{|S_{22}|}{|C_2|}=\frac{3}{5}\\[2ex] p(x_3|C_2)=\frac{|S_{23}|}{|C_2|}=\frac{2}{5}\ ,\ \ p(x_4|C_2)=\frac{|S_{24}|}{|C_2|}=\frac{2}{5}p(x1∣C2)=∣C2∣∣S21∣=51 , p(x2∣C2)=∣C2∣∣S22∣=53p(x3∣C2)=∣C2∣∣S23∣=52 , p(x4∣C2)=∣C2∣∣S24∣=52 因此，p(X∣C2)=15×35×25×25=0.0192\begin{aligned}p(X|C_2)=\frac{1}{5}×\frac{3}{5}×\frac{2}{5}×\frac{2}{5}=0.0192\end{aligned}p(X∣C2)=51×53×52×52=0.0192
（4）求最大
p(X∣Ci)p(Ci)p(X|C_i)p(C_i)p(X∣Ci)p(Ci)p(X∣C1)p(C1)=0.0183×914≈0.0118p(X∣C2)p(C2)=0.0192×514≈0.0069p(X|C_1)p(C_1)=0.0183×\frac{9}{14}\approx0.0118\\[2ex] p(X|C_2)p(C_2)=0.0192×\frac{5}{14}\approx0.0069p(X∣C1)p(C1)=0.0183×149≈0.0118p(X∣C2)p(C2)=0.0192×145≈0.0069 根据公式p(X∣Ci)p(Ci)=max{p(X∣C1)p(C1),p(X∣C2)P(C2),⋯,p(X∣Ck)p(Ck)}p(X|C_i)p(C_i)=max\{p(X|C_1)p(C_1), p(X|C_2)P(C_2), \cdots, p(X|C_k)p(C_k)\}p(X∣Ci)p(Ci)=max{p(X∣C1)p(C1),p(X∣C2)P(C2),⋯,p(X∣Ck)p(Ck)} 得max{p(X∣C1)p(C1),p(X∣C2)P(C2)}=p(X∣C1)p(C1)max\{p(X|C_1)p(C_1), p(X|C_2)P(C_2)\}=p(X|C_1)p(C_1)max{p(X∣C1)p(C1),p(X∣C2)P(C2)}=p(X∣C1)p(C1) 即把类别标号C1=“是”C_1=“是”C1=“是” 赋予XXX。
因此，根据朴素贝叶斯分类方法，预测顾客
XXX会买电脑。
本文转载自: https://blog.csdn.net/Morse_Chen/article/details/138817926
版权归原作者 Francek Chen 所有， 如有侵权，请联系我们删除。
版权归原作者 Francek Chen 所有， 如有侵权，请联系我们删除。