当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即I(X;Z)?I(X;Y) ?H(X)
当对信号进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号变成更有用的形式，但是绝不会创造出新的信息。这就是信息不增原理。
11、各种熵之间的关系
名称 无 H(X) 条 件 熵 H(Y) H(Y) =H(Y/X)+I(X;Y) ?H(Y/X) H(Y)=H(XY)-H(X/Y) H(X) =H(X/Y)+I(X;Y) ?H(X/Y) H(X)=H(XY)-H(Y/X) 符 号 关 系 图 示 条 H(X/Y) 件 熵 H(X/Y)=H(XY)-H(Y) =H(X)-I(X;Y) 名称 条 H(Y/X) 件 熵 H(Y/X)=H(XY)-H(X) =H(Y)-I(X;Y) 符 号 关 系 图 示
联 H(XY)=H(YX) 合 熵 H(XY)=H(X)+H(Y/X) =H(Y)+H(X/Y) =H(X)+H(Y)-I(X;Y) =H(X/Y)+H(Y/X)+I(X;Y) 交 I(X;Y)=I(Y;X) I(X;Y)=H(X)-H(X/Y) 互 熵 =H(Y)-H(Y/X) =H(XY)-H(Y/X)-H(X/Y) =H(X)+H(Y)-H(XY) 三、例题
1．已知信源发出a1和a2两种消息，且两种消息出现的概率相等。信宿接收到两种消息分别为b1和b2。此消息在二元对称信道上传输，其错误概率为p(即发送a1接收b2，或发送a2接收b1的概率)，求互信息量I(a1;b1)，I(a1;b2)。 解：由于是二元对称信道上传输，其输入等概时，输出必等概，即 p(b1)?p(b2)?0.5
I(a1;b1)?I(b1)?I(b1|a1)?logI(a1;b2)?I(b2)?I(b2|a1)?logp(b1|a1)p(b1)p(b2)?log2(1?p)?[1?log(1?p)]bitp(b2|a1)
?log2p?(1?logp)bit 2．中国国家标准局所规定的二级汉字共6763个。设前两千个汉字的使用频度相
等，总的出现概率为0.6，后4763个汉字的使用频度相等，总的出现概率为0.4。求平均每个汉字所含的信息量。设每个汉字用一个16*16的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？
解：根据题意，求平均每个汉字所含的信息量，即求信源熵H（X） 根据信源熵的定义： H(X)???p(xi)logi2p(xi)log2(0.62000)?4763?0.44763log2(0.44763)
??2000?0.62000?12.4374bit/symbol对于二元16*16的显示方阵Y，共有2256种显示状态，每种状态等概率出现达到方阵所能表示的最大信息，则 H（Y）=256bit/方阵
显示方阵的利用率或显示效率为：??H(X)H(Y)?12.4374/256?0.0486?4.86%
3．已知二维随机变量XY的联合概率分布
p(xiyj)为：p(0,0)=p(1,1)=1/8，
p(1,0)=p(0,1)=3/8。求H（X|Y）
解：根据题意，已知联合概率分布，则：
p(y1)?p(y2)?H(X|Y)???i?ip(xiy1)?1/8?3/8?0.5p(xiy2)?1/8?3/8?0.52?i
?jp(xiyj)logp(xi|yj)????ijp(xiyj)logp(xiyj)2p(yj)?p(x0y1)log2????p(x0y0)log?????p(x1y0)log??0.125log2p(x0y0)2p(y0)p(x1y0)p(x0y1)??p(y1)?p(x1y1)??p(y1)?22p(y0)?p(x1y1)log220.25?0.375log0.75?0.375log0.75?0.125log20.25?0.6556bit/symbol
4．随机变量X，Y的联合概率分布如表所示，求联合熵H(XY)和条件熵H(Y|X)。
X Y 0 1 p(yj) 解：
0 1 1/4 1/4 1/2 0 3/4 1/4 p(xi)
1/2 1/2 1 H(XY)??(14log14?14log14?12log12)?32bit/symbol
由X，Y的联合概率分布可以求得X的边缘概率分布（如上表）和条件概率分布p(yj|xi)（如下表）
X Y 0 1 H(Y|X)???i0 1 1/2 1/2 1 0 ?jp(xiyj)logp(yj|xi)??1/4log1/2?1/4log1/2?1/2log1 ?1/2
5．一信源有
6种输出状态，概率分别为：p(A)=0.5，p(B)=0.25，p(C)=0.125，
p(D)=p(E)=0.05，p(F)=0.025，试计算H( X)，求消息序列ABABBA的信息量，并与长度为6的消息序列熵相比较。
解：根据信息熵的定义，该信源输出的信息熵为：
H(X)???p(xi)logp(xi)i??p(A)logp(A)?p(B)logp(B)?p(C)logp(C)?p(D)logp(D)?p(E)logP(E)?p(F)logp(F)?0.5log2?0.25log4?0.125log8?2?0.05log20?0.025log40?1.94bit/symbol
消息ABABBA所含的信息量为：
I(ABABBA)?3I(A)?3I(B)?3log2?3log4?9bit
6位长消息序列熵为：H(X6)?6H(X)?11.64bit
显然6位长的消息序列熵比消息序列ABABBA所含的信息量大。
6．给定X，Y的联合概率分布如下表所示，试求：
X Y 0 1 (1)H(X),H(Y) (2)H(X|Y),H(Y|X) (3)H(XY) (4)I(X;Y)
解：根据联合概率分布，可求得边缘概率分布为： p(X=0)=p(XY=00)+p(XY=01)=1/3+1/3=2/3 p(X=1)= p(XY=10)+p(XY=11)=0+1/3=1/3 p(Y=0)=p(XY=00)+p(XY=10)=1/3+0=1/3 p(Y=1)=p(XY=01)+p(XY=11)=1/3+1/3=2/3 H(X)=-2/3log2/3-1/3log1/3=0.918bit/symbol H(Y)=-1/3log1/3-2/3log2/3=0.918bit/symbol H(X|Y)=1/3H(X|Y=0)+2/3H(X|Y=1)=0.667bit H(Y|X)=H(X|Y)=0.667bit
H(XY)=-3*1/3log1/3=1.585bit/symbol
I(X;Y)=H(X)-H(X|Y)=0.918-0.667=0.251bit/symbol
0 1/3 0 1 1/3 1/3
7．设有一离散无记忆信源X，其概率空间为：
?X??P(X?x??1???1)??2x214x3??1，求该信源的熵率及其二次扩展信源的熵。 ?4?解：单符号离散信源熵： H(X)???p(xi)logp(xi)?1log2?1log4?1log4?1.5bit/symbol
i二次扩展信源：244H(X2)?2H(X)?2?1.5?3bit/2symbols