?
∑ p y( )
j
p y( j )∈M
p y( k ) =
k
mk
∑ p y( )
j
p y(
j )∈M1 p y( 1) + p y( 2 ) ?1 2
p y( j )
p y( j )∈M2
1 ? 1 p y( 1) = =
?4
4?
4
=? + ?/ 2 = m1
∑
y( 3 ) 1
p
p y( 2 ) = = = m2 1
3
∑ p y( )
j
py( 3 ) = 3
py( j )∈ M 3
m 3
k
k
py( 4 ) 1
= = 1 6 ) log 2 py( k ) ? H mi
C =?
mpy ( ∑
k=1
1 1 1 1 1 1 ?1 1 1 1 1 1?
=?(2× ×4 log2 4 + 3log2 3 + 6 log2 6) +??3log2 3 + 3log2 3 + 6 log2 6?? = 0.041 bit symbol/
3.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。 若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？解：
? PX ?
??= 3000×log 12 ( + =3) 6000 bit s/
Ct =W log 1
W =
?? + PN ? ? Ct =
6000 =1500 Hz
log 1???? + PPNX ????log 1 152 ( + )
3.9 有二址接入信道，输入X, X和输出Y的条件概率P(Y/XX)如下表（ε< 1/2），求容量界限。
1
2
1
2
·31·
X 1 X 2 Y 00 01 10 11
0 1- ε 1 /2 1 /2 ε 1 ε 1 /2 1 /2 1- ε 1 3.10 有一离散广播信道，其条件概率为p y x x x( / 1
? 2π
e
2σ ?2( y x? ? ?1 x x3)2 ??
2
? ??
（已知E X
[ ]=σ
2
l
2 l,l =1,2,3）。
?X ? ? x
3.11 已知离散信源?
1
?=?
?P X( )? ?0.1
x2 x3
0.3 0.2
x4 ?
?，某信道的信道矩阵为 0.4?
?0.2 0.3 0.1 0.4? ? ? 0.6 0.2 0.1 0.1 ? ?试求： ?0.5 0.2 0.1 0.2?
?0.1 0.3 0.4 0.2?? ?
(1) “输入x3，输出y2”的概率； (2) “输出y4”的概率；
(3) “收到y3的条件下推测输入x2”的概率。
解： 1)
2)
p x y( 32 ) = p x( 3 ) (p y2 / x3 ) = 0.2×0.2 = 0.04
p y( 4 ) = p x p y( 1) ( 4 / x1)+ p x( 2 ) (p y4 / x2 )+ p x( 3) (p y4 / x3) + p x( 4 ) (p y4 / x4 )
3)
= 0.1 0.4× + 0.3×0.1+ 0.2×0.2+ 0.4×0.2 = 0.19
p y( 3 ) = p x p y( 1) ( 3 / x1)+ p x( 2 ) (p y3 / x2 )+ p x( 3 ) (p y3 / x3 )+ p x( 4 ) (p y3 / x4 )
·32·
0.1 0.1=
× + 0.3 0.1× + 0.2×0.1+0.4×0.4 = 0.22
p x( 2 ) (p y3 / x2 ) 0.3 0.1×
p x( 2 / y3 ) = = = 0.136
p y( 3 ) 0.22
3.12 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元
素。证明：
[P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0 取[P]的第j 列，设p y( j /
xk ) ≠ 0而其他p y( j / xi ) = 0 (i ≠ k i, =1,2,...,n)
p x y( kj ) p x( k ) (p y j / xk ) p x( k ) (p y j / xk )
p x( k / y j ) = = = =1 p y( j ) ∑ p x p y( i ) ( j / xi ) p x( k ) (p y j / xk )
i p x y( i j ) p x p
y( i ) ( j / xi ) 0
p x( i / y j ) = = = = 0 (i ≠ k) p y( j ) p y( j ) p y( j ) ??0 p y( j / xi ) = 0
∴ p x( i / y j ) =?
??1 p y( j / xi ) ≠ 0
H X Y(
i
/
j
=?
) ∑∑ p x y( i j )log p x( i / y j ) ?
?
=?∑ ∑p y( j )?
p x( i / y j )log p x( i / y j )?j ?i
?
= 0 bit symbol/
3.13 试证明：当信道每输入一个X值，相应有几个Y值输出，且不同的X值所对应的Y值不相互重合时，有H(Y) – H(X) = H(Y/X)。证明：
信道每输入一个X 值，相应有几个Y 值输出，且不同的X 值所对应的Y 值不相互重合。这种信道描述的信道转移矩阵[P]的特点是每列有一个且只有一个非零元素。
p y( j / xk ) ≠ 0 而其他p y( j / xi ) = 0 (i ≠ k i, =1,2,...,n)
取[P]的第j 列，设
p x y( kj ) p x( k ) (p y j / xk ) p x( k ) (p y j / xk )
p x( k / y j ) = = = =1 p y( j ) ∑ p x p y( i ) ( j / xi ) p x( k ) (p y j / xk )
i p x y( i j ) p x p
y( i ) ( j / xi ) 0
p x( i / y j ) = = = = 0 (i ≠ k) p y( j ) p y( j ) p y( j )
·33·
??0 p y( j / xi ) = 0
∴ p x( i / y j ) =?
??1 p y( j / xi ) ≠ 0
H X Y(
i
/
j
=?
) ∑∑ p x y( i j )log p x( i / y j ) ?
?
=?∑ ∑p y( j )?
p x( i / y j )log p x( i / y j )?j ?i
?
/) = H Y( ) ?H Y X( /
)
= 0 bit symbol/
?I X Y(; ) = H X( ) ?H X Y( ∴H Y X(
/
) = H Y( ) ?H X( ) + H X Y( / ) = H Y( ) ?H X( )
3.14 试求以下各信道矩阵代表的信道的容量：
?0
? 1
(1) [P] = ?
?0
0
0 1 0? 0
0 0?? 1
(2) [P] = ?
?0
0 1?
?
0 0??
?1 0 0? ? ? ?1 0 0? ?0 1 0? ?0 1 0?? ?0 0 1? ??0 0 1??
?0.1 0.2 0.3 0.4
(3) [
P] = ?
0 0 0 0 0
0
0 0 0 0 0.3 0.7 0
?
解：
1)
这个信道是一一对应的无干扰信道
??0
0 0 0 0 0
0
3.15 设二进制对称信道是无记忆信
?_?p
道，信道矩阵为
0.4 0.2 0.1
??p
_
C = log2 n = log 42 = 2 bit /symbol
2)
这个信道是归并的无干扰信道
0 ? ?0 ?0.3??
C = log2 m = log 32 =1.585 bit /symbol
3)
这个信道是扩展的无干扰信道
C = log2 n = log 32 =1.585 bit /symbol
·34·
__
p?
_ ?，其中：p > 0，p< 1，p + p=
p??
1，p >> p。试写出N = 3次扩展无记忆信道的信道矩阵[P]。
解：
000 001 010 011 100 101 110 111
?000p3 p p2 p p2 p p2 p p2 p p2 p p2
?2 001?p p
?2 010?p p 3
2
2
2
2
3
p3 ? ? p p? 2 ? p p?
2
p
2
p p
3
p p
2
p p
2
p p
3
p
2
p p p p p p p p p p 011?p p2 p p2 p p2 p3 p3 p p2 p p2 p p2 ?[ ]P= 100 ??p p2 p p2 p p2
p3 p3 p p2 p p2 p p2 ??
101?p p2 ?110 ?p p2 111?3
?p
p p2 p3
2
p3 p p2
2
p p2 p p2
2
p p2 p p2
2
p3 p p2
2
p p2 p3
2
?p p2 p p2 ?? ? p ?
3
p p p p p p p p p p p p
3.16 设信源X的N次扩展信源X = XX…X通过信道{X, P(Y/X), Y}的输出序列为Y = YY…Y。 试证明：
1
2
N
1
2
N
(1) 当信源为无记忆信源时，即X, X, …, X之间统计独立时，有∑I X( k ;Yk ) ≤ I X Y(
1
2
N
N
;
)；
k=1
(2) 当信道无记忆时，有∑I X(
k=1
N
k
;Yk ) ≥ I X Y( ; )；
(3) 当信源、信道为无记忆时，有∑I X(
k=1
N
k
;Yk ) = I X( N ;Y N ) = NI X Y( ; )；
(4) 用熵的概念解释以上三种结果。证明：
1)
I X( N;Y N) = H X( N) ?H X( N /Y N)
H X( N) = H X(1) + H X(2 / X1) + +... H X( N / X1...XN?1)
·35·