2002 Copyright EE Lab508
解:
(1)此信道为准对称离散信道,且s1?2,s2?111p(bl)l?1??(p???q??)??(p?q?2?)r211p(bl)l?2??(2?)??2???r2?,p2?,p3?)?C1???slp(bl)logp(bl)?H(p1l?1211 ??[2??(p?q?2?)log?(p?q?2?)??log?]?H(p??,q??,2?)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2???log?2(2)此信道为准对称离散信道,且s1?2,s2?211p(bl)l?1??(2??0)??2???r211p(bl)l?2??(p???q??)??(p?q?2?)r2?,p2?,p3?,p4?)?C2???slp(bl)logp(bl)?H(p1l?1211 ??[2?log??2??(p?q?2?)log?(p?q?2?)]?H(p??,q??,2?,0)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2?2由上面C1、C2表达式可知:C1?C2且当??0时等号成立.2.27设某信道的信道矩阵为
?p1[P]??????00p20?0?0???其中P1,P2，?，PN是N个离散信道的信道矩阵。令C1，C2，?，?pN??CN表示N个离散信道的容量。试证明，该信道的容量C?logCi-C
?2i?1Nci比特/符号，且当每个信
道i的利用率pi＝2证明:
(i＝1,2,?,N)时达其容量C。
设:Pm为lm行?km列(m?1,2,?N)由方程组?p(bj/ai)?j??p(bj/ai)logp(bj/ai)(i?1,2,?r)???(1)j?1j?1ss解出?j可得C?log[?2j](其中s??km,r??lm)j?1m?1m?1s?NN
由[P]特点,方程组(1)可以改写为:?H.F.
2002 Copyright EE Lab508
s?k1p1p1p1p1p(b/a)??p(b/a)logp(bjjjj/ai)?ii??j1?1?j?1s?k2p2p2p2p2??p(bj/ai)?j??p(bj/ai)logp(bj/ai) (i?1,2,?r)??(2)j1?1?j?1???s?kNpnpnpnpn??p(bj/ai)?j??p(bj/ai)logp(bj/ai)j1?1?j?1其中Cm?log[?2j?1skm?pmj](m?1,2,?,N),即?2j?1Nkmkm?pmj?2Cm?C?log[?2]?log[?(?2j?1m?1j?1km?j?pmj)]?log[?2Cm]m?1kmN且在各信道利用率为:pm??2j?1(?pmj?C)?2(?log2j?1?pmj?C)?2(Cm?C)(m?1,2,?,N)时取得信道容量C?log[?2Cm]m?1N
第三章 多符号离散信源与信道
3.1设X＝X1X2?XN是平稳离散有记忆信源，试证明：
H(X1X2?XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+?+H(XN / X1 X2?XN-1)。 (证明详见p161-p162)
3.2试证明：logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥?≥H(XN / X1 X2?XN-1)。 证明:
?H.F.
2002 Copyright EE Lab508
由离散平稳有记忆信源条件概率的平稳性有:p(aik/ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)?r??H(Xk/X1X2?Xk?1)????p(ai1?aik?1)???p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?i1?1ik?1?1?ik?1? ????i1?1rrik?1?1ik?1rrrr??p(a??p(a?p(ari1i2rri1i2a?aik?1aik)logp(aik/ai2ai3?aik?1)a?aik?1aik)logp(aik?1/ai1ai2?aik?2) ????i1?1ri1i2ik?1?1ik?1 ????i1?1a?aik?1)logp(aik?1/ai1ai2?aik?2)ik?1?1 ?H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)又仅当输入均匀分布时，H(X)达到最大logr，即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)
3.3试证明离散平稳信源的极限熵：
H??limH(XN/X1X2XN?1)
n??(证明详见p165-p167)
3.4设随机变量序列(XYZ)是马氏链，且X：{a1, a 2,?, a r}，Y：{b1,b2, ?,bs},Z:{c1,c2, ?,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, ?,r;j=1,2, ?,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,?,L;j=1,2, ?,s)。试证明：X与Z之间的转移概率：
p(ck/ai)??p(bj/ai)p(ck/bj)
j?1s
证明:
?H.F.
2002 Copyright EE Lab508
p(ck/ai)?p(Z?ck/X?ai) ?p(Z?ck,?Y?bj/X?ai)??p(Z?ck,Y?bj/X?ai)j?1j?1ss ??p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai)j?1s
?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)?p(ck/ai)＝?p(Y?bj/X?ai)P(Z?ck/Y?bj)j?1s
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，?，r，都有pij(n0)>0，则对每个j＝1，2，?，r都存在状态极限概率：
limpij(n)?pj(j?1,2,?,r)
n??(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
0 1 2 0?qp0?1?q0p? ??2??0qp??试求：
(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。 解：
?q(1)[P(2)]??P??P????q??0(2)由：p0q0??q?qp???p????0p0q0??q2?pq?2p??q??2?p?q??pq2pqpq??p2?pq?p2??
p2??p(0)??qp0?T?p(0)??q(1?p)q2????p(0)??????1?pq1?pq??p(1)?＝?q0p???p(1)???(1?q)(1?p)pq????p(2)????0qp????p(2)????p(1)????1?pq1?pqp(0)?p(1)?p(2)?1????p(1?q)p2???p(0)??1?pq1?pq???p(i)?0(i?0,1,2)
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位
?H.F.
2002 Copyright EE Lab508
时间的条件概率分布分别是：
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.
后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。 解：
由题意，此信源为一阶有记忆信源： 0 1 2且一步转移概率为：0?1/31/31/3?[P]?1??2?1/31/31/3?1/20??1/2???1/31/31/3??1/31/31/3??1/37/182/9?[P(2)]??P??P????1/31/31/3?????1/31/31/3??7/187/182/9??1/21/20??????????1/21/20????1/31/31/3???n0?2时二步转移概率均大于0，既有pij(n0?2)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)??p(ST?1)??1/31/31/3????p(S1)???p(S)?????p(S)?3由?2?1????p(S?＝?1/31/31/33)??????p(S2)?1/21/20?????p(S?83)????p(S?p(S)?p(S)?p(S)??2)?38?1231???p(S13)???p(S?i)?0(i?1,2,3)?43?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j ??3?(38?13log13)?3?(38?13log13)?2?(1114?2log2)?1.439bit/symbl香农线图如下：
1/3 1/3 1/3 0 1/3 1 1/2 1/3 1/2 1/3 2 ?H.F.