由p(xyz)?p(xy)p(zxy),又p(zxy)要么等于1，要么等于0.
p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1 8p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)?0p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)?03p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?
8p(x?1,y?0,z?1)?p(x?1,y?1)p(z?1x?1,y?0)?0p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)?0p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk38181333311??1???log?log?log?log??1.811bit/symbol8888888??8（2） H?XY???
?11333311?????xy㏒p=-?log?log?log?log??1.811bit/symbol ???88888888?pxiyj2ijijH?X/Y?=H?XY?-H?Y??1.811?1?0.811bit/symol H?Y/X?=H?XY?-H?X??1.811?1?0.811bit/symol H?X/Z?=H?XZ?-H?Z??1.406?0.544?0.862bit/symol H?Z/X?=H?XZ?-H?X??1.406?1?0.406bit/symol H?Y/Z?=H?YZ?-H?Z??1.406?0.544?0.862bit/symol H?Z/Y?=H?YZ?-H?Y??1.406?1?0.406bit/symol
H?X/YZ?=H?XYZ?-H?YZ??1.811?1.406?0.405bit/symol H?Y/XZ?=H?XYZ?-H?XZ??1.811?1.406?0.405bit/symol H?Z/XY?=H?XYZ?-H?XY??1.811?1.811?0bit/symol
(3)
I?X:Y??H?X??H?X/Y??1?0.811?0.189bit/symol I?X:Z??H?X??H?X/Z??1?0.862?0.138bit/symol I?Y:Z??H?Y??H?Y/Z??1?0.862?0.138bit/symol
I?X:Y/Z??H?X/Z??H?X/YZ??0.862?0.405?0.457bit/symol I?Y:Z/X??H?Y/X??H?Y/XZ??0.811?0.405?0.406bit/symol I?X:Z/Y??H?X/Y??H?X/YZ??0.811?0.405?0.406bit/symol
2.16 每帧电视图像可看成是由3?105个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。
问每帧图像含有多少信息量？
现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，（1）试问广播员描述此图像所广播的信息量是多少？
（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
???X????a1,???????a2,????,??a128?128?P(a)???1128,1128,,1128????P(ai)?1
i????i?1
得每个像素亮度含有的信息量为：
H(X)?log128?7??比特像素
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源。得每帧图像含有的信息量为
H(X)?NH(X)?2.1?10??比特每帧
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
N6????Y????b1,???b2,????bq?q ?????????P(bj)?1,??q?10?000
P(b)j???1q,1q,,1q?i?1得该汉字字汇中每个汉字含有的信息量
H(Y)?logq?log210?000?13.29??比特字
广播员口述电视图像是从此汉字字汇信源中独立地选取1000个字来描述。所以，广播员描述此帧图像所广播的信息量为
H(Y)?NH(Y)?1000log210?1.329?10??比特千字
若广播员仍从此汉字字汇信源Y中独立地选取汉字来描述电视图像，每次口述一个汉字含有信息量是H(Y),每帧电视图像含有的信息量是H(X),则广播员口述此图像至少需用的汉字数等于
NN44H(XN)2.1?106??1.58?105字?158000字
H(Y)13.29
2.18 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按 p(0)?0.4,p(1)?0.6的概率发出符号。 （1）试问这个信源是否是平稳的？
（2）试计算H(X),H(X3X1X2)及H?；
（3）试计算H(X)并写出X4信源中可能有的所有符号。
解：
（1） 此信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起
点无关。因此这个信源是平稳信源；又因为信源发出的符号之间彼此独立，所以该信源是离散无记忆信源。 （2）
42H(X2)?2H(X)??2?(0.4log0.4?0.6log0.6)?1.942?bitsymbol
H(X3/X1X2)?H(X3)???p(xi)logp(xi)?(0.4log0.4?0.6log0.6)?0.971?bitsymboliH??limH(XNX1X2N??XN?1)?H(XN)?0.971?bitsymbol
（3） H(X)?4H(X)??4?(0.4log0.4?0.6log0.6)?3.884?bitsymbol
4X4的所有符号：
0000??0001??0010??00110100??0101??0110??0111
1000???1001??1010??10111100???1101??1110??11112.23设DMS信源为
[XPX]=[x114x234]
试求：
（1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。 解：（1）
134log4+log443=0.5+0.75*0.125*3.322H(x)=_=0.811(bit/符号)η=0.811=81.1001
υ=1η=0.189
（2）二次扩展信源的概率空间及熵
[xpX2_2_2]=[x1x1116_x2x1316x2x1316x2x2916]
H(x)=2H(x)=1.622(bit/二元符号)
三次扩展信源的概率空间及熵
_3xx1x1x1x1x1x2 x1x2x1x1x2x2x2x1x1x2x1x2x2x2x1x2x2x2[p]=[19X36436436464364964H(_3x)=3H(_x)=2.433(bit/二元符号)2.25设连续随机变量X的概率密度函数为
fbx20≤x≤aX(x)={0其他（1）求X的熵；
（2）求Y=X+A(A>0)的熵； （3）求Y=2X的熵。 解：（1）
h(x_)=-∫a0f_(x)logf_(x)dxxx=-∫a0bx2logbx2dx=-logb∫afa0_(x)dx-2b∫x2logxdxx0=-logb-2bloge∫a0x2Inxdx
33=-logb-2bloge(a3Ina-a9)2ba329loge-ba3=3loga-logb因为
∫a0f_(x)dx=1x
所以
b=3a2
故
9642764]
h(x)==_2loge-2loga-log3+3loga3
2loge-log3+loga3y1=x+A(A>0)__若
dx则
__=1
dy所以
h(y1)=h(x)=若
__2loge-log3+loga3
y2=2x
__dx则
__dy1=2
所以
h(y2)=h(x)-log=
__1223loge-log+loga32
3.2 信道线图如下，试确定该信道的转移概率矩阵
0.200.30.30120.1530.0440.00950.000960.0001710.30.2
解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号