练习题：有一离散无记忆信源，其输出为X??0,1,2?，相应的概率为
p0?1/4,p1?1/4,p2?1/2，设计两个独立的实验去观察它，其结果分别为
Y1??0,1?,Y2??0,1?，已知条件概率:
P(y1|x) 0 1 2 0 1 0 1/2 1 1 1 1/2 P(y2|x) 0 1 2 0 1 1 0 1 0 0 1 (1) 求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些
(2) 求I(X;Y1Y2)，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于
X的信息
(3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义 解:(1)由题意可知 Y1 X 0 1 2 0 1/4 0 1/4 1 0 1/4 1/4 Y2 X 0 1 2 0 1/4 1/4 0 1 0 0 1/2
P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2
11111?I(X;Y1)?H(Y1)?H(Y1|X)?log2?log?log?2?log2=0.5bit/符号
42424111I(X;Y2)?H(Y2)?H(Y2|X)?log2?log1?log1?log1?1bit/符号>I(X;Y1)
442所以第二个实验比第一个实验好
（2）因为Y1和Y2 相互独立，所以p(y1y2|x)?p(y1|x)p(y2|x) P(y1y2x) 00 0 1 2 P(y1y2|x) 00 0 1 2 1 0 0 01 0 0 1/2 10 0 1 0 1/4 0 0 11 0 0 1/2 01 0 0 1/4 y1y2 p 10 0 1/4 0 00 1/4 11 0 0 1/4 01 1/4 10 1/4 11 1/4
111?I(X;Y1Y2)?H(Y1,Y2)?H(Y1Y2|X)?log4?log1?log1??2log2bit/符号
444=1.5bit/符号
由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。 （3）
I(X;Y1|Y2)?H(X|Y1)?H(X|Y1,Y2)?H(X,Y2)?H(X)?[H(X)?I(X;Y1,Y2)]?[H(X)?I(X;Y2)]?[H(X)?I(X;Y1,Y2)]?I(X;Y1,Y2)?I(X;Y2)
=1.5-1=0.5bit/符号
表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得
I(X;Y2|Y1)?I(X;Y1,Y2)?I(X;Y1)=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
欢迎下载！
第三章
?21??33??12???33?? 3.1 设二元对称信道的传递矩阵为
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symboljI(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol 2)
1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol33331其最佳输入分布为p(xi)?
23-2某信源发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。接受端有3
?1/21/20?种符号yi，j＝1，2，3，转移概率矩阵为P???。
1/21/41/4??（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度H(Y|X)； （3） 计算信道容量。
?1/21/20? ??1/21/41/4?联合概率p(xi,yj)
解：P??X Y y1 a/2 y2 a/2 y3 0 x1 x2 则Y的概率分布为 Y (1?a)/2 (1?a)/4 (1?a)/4 y1 y2 y3 1/2 (1?a)/4 (1?a)/4 11+a41?a4log?log（1）H(Y)?log2?
241?a41?a1116a1?a?log2?log?log 241?a241?a
1111a1?alog2?log16?log?log 2441?a241?a311a1?a?log2?log?log 2241?a41?a?取2为底
311a1?aH(Y)?(?log2?log)bit 2241?a241?a1a11?a11?a11?a1??a（2）H(Y|X)???log?log?log?log?log?
222224444??23(1?a)??alog2?log2
23?a?log2
2取2为底
H(Y|X)?3?abit 211a1?a??a?c?maxI(X;Y)?max?H(Y)?H(Y|X)??max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a??2a11a1?a?(ln2?ln?ln)241?a41?a 取e为底2?a112a11?aa11?ln2??ln?(??) 241?a241?a41?a1?a1a11?aa2?ln2??ln? 22(1?a2)41?a41?a2111?a?ln2?ln 241?a= 0
1?a1? 1?a43?a?
51311131 ?c??log2?log??log92541?25454312531?log2?log?log 104162043153?log2?log?log2 10241015?log 24
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：
由题意可知该二元信道的转移概率矩阵为：
?0.990.01? P????0.010.99?为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
C?logs?H(P)?log2??pilogi?121?0.92bit/signpi1Ct?C?1000C?920bit/sect
3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道
容量C的大小。
X 0
1 1－e
Y 0
1 1
e e 2
1－e
2
00??1??,此信道为非奇异矩阵,又r=s,可利用方程组求解
e解: 信道矩阵P=01?e???e1－e??0?
?3j=1P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3)
j=13ìb1=0???í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)解得b1=0
b2=b3=(1-e)log(1-e)+eloge
所以 C=log
?2j=log[20+2×2(1-e)log(1-e)+eloge]
bj=log[1+21-H(e)]=log[1+2(1-e)(1-e)ee]