Y 00 01 10 11
X1X2 0 1-ε 1/2 1/2 ε 1 ε 1/2 1/2 1-ε 3.10 有一离散广播信道，其条件概率为p(y/x1x2x3)?（已知EXl2??l2,l?1,2,3）。
12?e2??(y?x1?x2?x3)????2??2???试计算其容量界限
???X??x1x23.11 已知离散信源????0.10.3P(X)????0.2?0.6??0.5??0.10.30.10.4?0.20.10.1??试求： 0.20.10.2?0.30.40.2??x30.2x4??，某信道的信道矩阵为0.4?(1) “输入x3，输出y2”的概率； (2) “输出y4”的概率；
(3) “收到y3的条件下推测输入x2”的概率 。
解： 1)
p(x3y2)?p(x3)p(y2/x3)?0.2?0.2?0.04
2)
p(y4)?p(x1)p(y4/x1)?p(x2)p(y4/x2)?p(x3)p(y4/x3)?p(x4)p(y4/x4) ?0.1?0.4?0.3?0.1?0.2?0.2?0.4?0.2?0.193)
p(y3)?p(x1)p(y3/x1)?p(x2)p(y3/x2)?p(x3)p(y3/x3)?p(x4)p(y3/x4) ?0.1?0.1?0.3?0.1?0.2?0.1?0.4?0.4?0.22p(x2)p(y3/x2)0.3?0.1p(x2/y3)???0.136p(y3)0.22
3.12 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元
素。
证明：
[P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0
取[P]的第j列，设p(yj/xk)?0而其他p(yj/xi)?0 (i?k, i?1,2,...,n)
· 27 ·
p(xk/yj)?p(xkyj)p(yj)p(xiyj)p(yj)?p(xk)p(yj/xk)?p(x)p(yiij/xi)??p(xk)p(yj/xk)p(xk)p(yj/xk)?1p(xi/yj)??p(xi)p(yj/xi)p(yj)0?0 (i?k)p(yj)??0 p(yj/xi)?0?p(xi/yj)????1 p(yj/xi)?0H(X/Y)????p(xiyj)logp(xi/yj)ij?? ???p(yj)??p(xi/yj)logp(xi/yj)?j?i? ?0 bit/symbol
3.13 试证明：当信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合时，有H(Y) – H(X) = H(Y/X)。
证明：
信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合。这种信道描述的信道转移矩阵[P]的特点是每列有一个且只有一个非零元素。 取[P]的第j列，设
p(yj/xk)?0?而其他
p(yj/xi)?0 (i?k, i?1,2,...,n)?p(xk)p(yj/xk)p(xk)p(yj/xk)?1
p(xk/yj)?p(xkyj)p(yj)p(xiyj)p(yj)p(xk)p(yj/xk)?p(xi)p(yj/xi)ip(xi/yj)??p(xi)p(yj/xi)p(yj)?0?0 (i?k)p(yj)??0 p(yj/xi)?0?p(xi/yj)????1 p(yj/xi)?0H(X/Y)????p(xiyj)logp(xi/yj)ij?? ???p(yj)??p(xi/yj)logp(xi/yj)?j?i? ?0 bit/symbol?I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)?H(Y/X)?H(Y)?H(X)?H(X/Y)?H(Y)?H(X)
3.14 试求以下各信道矩阵代表的信道的容量：
?0?1(1) [P] = ??0??0010?000?? 001?100???1?1??0(2) [P] = ?0??0?0?00?00??10? 10??01?01??
· 28 ·
?0.10.20.30.4000000?? 00000.30.70000(3) [P] = ?????0000000.40.20.10.3??解：
1)
这个信道是一一对应的无干扰信道
C?log2n?log24?2 bit/symbol
2)
这个信道是归并的无干扰信道
C?log2m?log23?1.585 bit/symbol
3)
这个信道是扩展的无干扰信道
C?log2n?log23?1.585 bit/symbol
?_p3.15 设二进制对称信道是无记忆信道，信道矩阵为??p?_?__p?_，其中：p > 0，p< 1，p + p= p??1，p>> p。试写出N = 3次扩展无记忆信道的信道矩阵[P]。
解：
000 001 010 011 100 101 110 111000?p?2001?pp?2010?pp011?p2p?P? ? 100?2?pp101?p2p110?p2p?111?p3?
3ppp2232ppp2pp2232p2ppppppp23322ppp2pppp3p22322p2pppp3p2pppp2322p2pp3ppp2pppppp23222ppppppppp3p2p22ppppp23ppp2ppp2ppppp2pppp2pp2pppppp3??2pp?p2p??2pp?
?p2p?2pp?2?pp?3p??3.16 设信源X的N次扩展信源X = X1X2…XN通过信道{X, P(Y/X), Y}的输出序列为Y = Y1Y2…YN。
试证明：
(1) 当信源为无记忆信源时，即X1, X2, …, XN之间统计独立时，有?I(Xk;Yk)?I(X;Y)；
k?1N(2) 当信道无记忆时，有?I(Xk;Yk)?I(X;Y)；
k?1N(3) 当信源、信道为无记忆时，有?I(Xk;Yk)?I(XN;YN)?NI(X;Y)；
k?1N· 29 ·
(4) 用熵的概念解释以上三种结果。
证明： 1)
I(XN;YN)?H(XN)?H(XN/YN)H(XN)?H(X1)?H(X2/X1)?...?H(XN/X1...XN?1) ?H(X1)?H(X2)?...?H(XN)H(XN/YN)?H(X1/YN)?H(X2/YNX1)?...?H(XN/YNX1...XN?1)?I(XN;YN)??H(X1)?H(X2)?...?H(XN)??H(X1/YN)?H(X2/YNX1)?...?H(XN/YNX1...XN?1) ?H(X1)?H(X1/YN)?H(X2)?H(X2/YNX1)?...?H(XN)?H(XN/YNX1...XN?1) ??H(Xk)?H(Xk/YNX1...Xk?1)k?1N???????????H(Xk/YNX1...Xk?1)?H(Xk/Yk)?H(Xk)?H(Xk/YNX1...Xk?1)??H(Xk)?H(Xk/Yk)??I(Xk;Yk)?I(X;Y)??I(Xk;Yk)NNk?1N?? 2)
I(XN;YN)?H(YN)?H(YN/XN)H(YN)?H(Y1)?H(Y2/Y1)?...?H(YN/Y1...YN?1)H(YN/XN)????p(aibj)logp(bj/ai)ijnNmN ???...??...?p(xi1xi2...xiNyj1yj2...yjN)logp(yj1yj2...yjN/xi1xi2...xiN)i1iNnj1jNmnnmm ???...??...?p(xi1xi2...xiNyj1yj2...yjN)logp(yj1/xi1)p(yj2/xi2)...p(yjN/xiN)i1iNnj1jNmnm ???...??...?p(xi1xi2...xiNyj1yj2...yjN)logp(yj1/xi1)i1iNnj1jNnm ??...??...?p(xi1xi2...xiNyj1yj2...yjN)logp(yj2/xi2)i1iNj1jNnmm ... ??...??...?p(xi1xi2...xiNyj1yj2...yjN)logp(yjN/xiN)i1iNj1jNnnmm ?H(Y1/X1)?H(Y2/X2)?...?H(YN/XN)?I(XN;YN)??H(Y1)?H(Y2/Y1)?...?H(YN/Y1...YN?1)???H(Y1/X1)?H(Y2/X2)?...?H(YN/XN)? ??H(Y1)?H(Y1/X1)???H(Y2/Y1)?H(Y2/X2)??...??H(YN/Y1...YN?1)?H(YN/XN)?· 30 ·
???H(Yk/Y1...Yk?1)?H(Yk/Xk)?k?1N?H(Yk/Y1...Yk?1)?H(Yk)NNN??H(Yk/Y1...Yk?1)?H(Yk/Xk)???H(Yk)?H(Yk/Xk)??I(Xk;Yk)?I(X;Y)??I(Xk;Yk)k?1
3)
如果信源、信道都是无记忆的。上面证明的两个不等式应同时满足，即：
I(X;Y)??I(Xk;Yk)
NNk?1NNI(X;Y)??I(Xk;Yk)
NNk?1必然推出，I(X;Y)?NN?I(Xk?1Nk;Yk)，而如果XN,YN是平稳分布，即X1?X2?...?XN?X，
NY1?Y2?...?YN?Y，那么I(X;Y)??I(Xk;Yk)?NI(Xk;Yk)。
NNk?1 4)
流经信道的信息量也是信宿收到的信息量，它等于信源信息的不确定度减去由信道干扰造成的不确定度。
当信源无记忆、信道有记忆时，对应于本题的第一种情况。信源是无记忆的，信源的不确定度等于N倍的单符号信源不确定度，信道是有记忆的，信道干扰造成的不确定度小于N倍单符号信道的不确定度。因此，这两部分的差值平均互信息量大于N倍的单符号平均互信息量。
当信源有记忆、信道无记忆时，对应于本题的第二种情况。信源是有记忆的，信源的不确定度小于N倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N倍单符号信道的不确定度。因此，这两部分的差值平均互信息量小于N倍的单符号平均互信息量。
当信源无记忆、信道无记忆时，对应于本题的第三种情况。信源是无记忆的，信源的不确定度等于N倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N倍单符号信道的不确定度。因此，这两部分的差值平均互信息量等于N倍的单符号平均互信息量。
3.17 设高斯加性信道，输入、输出和噪声随机变量X, Y, N之间的关系为Y = X + N，且E[N2]
2= σ2。试证明：当信源X是均值E[X] = 0，方差为?X的高斯随机变量时，信道容量达其容量2??X1C，且C?log2??1??22????。 ?证明：
· 31 ·