7
= ? ? = ? = = F A T A E E E
按照属性 B 划分样本集分别得到的两个子集(B 取值 T 和 B 取值 F)的信息熵分别为: 0.8113 4 1 log 4 1 4 3 log 4 3 E
2 2 T B = ? ? = =
0.6500 6 5 log 6 5 6 1 log 6 1 E
2 2 F B = ? ? = =
按照属性 B 划分样本集得到的信息增益为：10 6 10 4
= ? ? = ? = = F B T B E E E
因此，决策树归纳算法将会选择属性 A。
0.2565 (2)
划分前的 Gini 值为 G=1-0.4 2 -0.6 2 =0.48 按照属性 A 划分时 Gini 指标: 0.4898 7 3 7 4 1 G 2 2 T A
? ? = = 0 3 0 3 3 1 G 2 2 F A
?
? = =
Gini 增益 0.1371 10 3 10 7
= ? ? = ? = = F A T A G G G
按照属性 B 划分时 Gini 指标: 0.3750 4 3 4 1 1 G 2 2 T B
? ? = =
0.2778 6 5 6 1 1 2 2
? ? = =F B G
Gini 增益 0.1633 10 6 10 4
= ? ? = ? = = F B T B G G G
因此，决策树归纳算法将会选择属性 B。
3.5 证明：将结点划分为更小的后续结点之后，结点熵不会增加。
证明：根据定义可知，熵值越大，类分布越均匀；熵值越小，类分布越不平衡。假设原有的 结点属于各个类的概率都相等，熵值为 1，则分出来的后续结点在各个类上均匀分布， 此时熵值为 1，即熵值不变。假设原有的结点属于个各类的概率不等，因而分出来的 B=T B=F + 3 1 - 1 5
第 11 页 共 27 页
后续结点不均匀地分布在各个类上，则此时的分类比原有的分类更不均匀，故熵值减 少。
3.6 为什么朴素贝叶斯称为“朴素”？简述朴素贝叶斯分类的主要思想。 答：朴素贝叶斯之所以称之为朴素是因为，它假设属性之间是相互独立的。
朴素贝叶斯分类的主要思想为：利用贝叶斯定理，计算未知样本属于某个类标号值的概 率，根据概率值的大小来决定未知样本的分类结果。
(通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的 概率，选择具有最大后验概率的类作为该对象所属的类。) 3.7 考虑表 3-24数据集，请完成以下问题： 表 3-24 习题 3. 7数据集 记录号 A B C 类 1 0 0 0 + 2 0 0 1 - 3 0 1 1 - 4 0 1 1 -
5 0 0 1 + 6 1 0 1 + 7 1 0 1 - 8 1 0 1 - 9 1 1 1 + 10 1 0 1 +
(1) 估计条件概率 ) | ( + A P ， ) | ( + B P ， ) | ( + C P ， ) | ( ? A P ， ) | ( ? B P ， ) | ( ? C P 。
(2) 根据(1)中的条件概率，使用朴素贝叶斯方法预测测试样本(A=0，B=1，C=0)的类 标号；
(3) 使用 Laplace 估计方法，其中 p=1/2，l=4，估计条件概率 ) | ( + A P ， ) | ( + B P ， ) | ( + C P ，
) | ( ? A P ， ) | ( ? B P ， ) | ( ? C P 。 (4) 同(2)，使用(3)中的条件概率
(5) 比较估计概率的两种方法，哪一种更好，为什么？ 答：(1) ) | ( + A P =3/5 ) | ( + B P =1/5 ) | ( ? A P =2/5 ) | ( ? B P =2/5 ) | ( ? C P =1
(2) 假设 P(A=0,B=1,C=0)=K 则 K 属于两个类的概率为：
P(+|A=0,B=1,C=0)=P(A=0,B=1,C=0)×P(+)/K
=P(A=0|+)P(B|+)P(C=0|+)×P(+)/K=0.4×0.2×0.2×0.5/K=0.008/K P(-|A=0,B=1,C=0)=P(A=0,B=1,C=0)×P(-)/K
=P(A=0|-)P(B|-)P(C=0|-)×P(-)/K=0.4×0.2×0×0.5/K=0/K 则得到，此样本的类标号是+。 第 12 页 共 27 页
(3) P(A|+)=(3+2)/(5+4)=5/9 P(A|-)=(2+2)/(5+4)=4/9 P(B|+)=(1+2)/(5+4)=1/3 P(B|-)=(2+2)/(5+4)=4/9 P(C|-)=(0+2)/(5+4)=2/9 (4) 假设 P(A=0,B=1,C=0)=K 则 K 属于两个类的概率为：
P(+|A=0,B=1,C=0)=P(A=0,B=1,C=0)×P(+)/K =P(A=0|+)P(B|+)P(C=0|+)×P(+)/K =(4/9) ×(1/3) ×(1/3) ×0.5/K=0.0247/K P(-|A=0,B=1,C=0)=P(A=0,B=1,C=0)×P(-)/K =P(A=0|-)P(B|-)P(C=0|-)×P(-)/K
=(5/9) ×(4/9) ×(2/9) ×0.5/K=0.0274/K 则得到，此样本的类标号是-。
(5) 当条件概率为 0 的时候，条件概率的预测用 Laplace 估计方法比较好，因为我们不 想整个条件概率计算结果为 0.