H X YZ(
i
j
k
/) = ?∑∑∑ p x y z( i
?
j k
)log2 p x( i / y zj k )
?
=?∑∑ p y z( j
j
k
k
)?∑ p x( i / y zj k )log2 p x( i / y zj k )?
?i ? ; /
) = H X Z(
/) ?H X YZ(
/) = H X Z( /
) ? =0 H X Z( /
= 0
∴I X Y Z(
)
?Z = X +Y
??1 y j = zk ?xi ∴ p y( j / x zi k ) =? ??0 y j ≠ zk ?xi
H Y XZ(
/
) = ?∑∑∑ p x y z( i
i
j
k
j k
)log2 p y( j / x zi k )
?
=?∑∑ p x z( i
i
k
k
? ?
) ?H Y XZ( /
) = H Y Z( /
) ? =0 H Y Z( /
)
)?∑ p y( j / x zi k )log2 p y( j / x zi k )? ?j
= 0
∴I X Y Z( ; ?0.98 0.02?
/ ) = H Y Z( /
3.6 有一个二元对称信道，其信道矩阵为?
?。设该信源以1500二元符号/秒的速度
?0.02 0.98?
传输输入符号。现有一消息序列共有 14000 个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？解：信道容量计算如下：
max
C = max (I X Y; ) = [H Y( ) ?H Y X( = log 22 + (0.98×log 0.982 + 0.02×log 0.02)2
= 0.859 bit symbol/
)
/ ]= H max ( )Y ?H mi
也就是说每输入一个信道符号，接收到的信息量是0.859 比特。已知信源输入1500 二元符号/秒，那么每秒钟接收到的信息量是：
I1 =1500symbol s/ ×0.859bit symbol/ =1288 bit s/
现在需要传送的符号序列有140000 个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是
I =14000×(0.5×log 0.52 + 0.5×log 0.5)2
14000 = bit
·26·
要求10 秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10 秒内不能将消息序列无失真的传递完。
3.7 求下列各离散信道的容量（其条件概率P(Y/X)如下：） (1) Z信道 (2) 可抹信道 (3) 非对称信道 (4) 准对称信道
?1
???1s1?0s??? ???1? ?ss12 s2ss11 1? ?ss12 s2 ??? 1? ?1 1 1 1? ???13 13 16 16??? ???22???
13
?4 4?
解： 1) Z 信道
这个信道是个一般信道，利用一般信道的计算方法： a.
由公式
p y( j
/ xi
)log2
p y( j
/ xi
) =
∑ ∑ p y( j
/ xi
)β
j ，求βj
j
j ?1×log21=β1
?
?slog2 s + ?(1s)log2 (1?s) = sβ1 + ?(1s)β2 ?β1 = 0
? s
?β= s
2 log2 s + log (12 ?s) = ?
1?s
?
??
1?s
log2 ??(1?s s) ??
?
β
j
?
b. 由公式C = log2??
∑2 ??，求C
?j
?
∑
C = log2 ??? 2βj ???= log2 ??1+ ?(1s s) 1?ss ??bit symbol/
?j
?
? ?
c. 由公式p
y( j ) = 2βj ?C ，求p(yj)
p y( 1) =
= 1 s 2β1?C
1 +?(1 ss) 1? s s 1 ?s
= (1 ? ss) s 1 +?(11 ss
) ? s ?6 3 6 3?
·27·
p y( 2 ) = 2β2?C
d. 由公式p y( j ) =
∑ p x p y( ) ( / x) ，求p(x)
i
j
i
i
i 由方程组：
?p y( 1) = p x( 1)+ p x s( 2 ) ? ?p y( 2 ) = p x( 2 )(1?s)
解得
s 1 ?s s 1 ?s p x( 1)
1 ? s
=
1 +?(1) ss
s
p x( 2)
s 1 ?s 1 +?(1) ss
s 1 ?s =
因为s 是条件转移概率，所以0 ≤ s ≤ 1，从而有p(x1)，p(x2) ≥0，保证了C 的存在。
2) 可抹信道
可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：
?1? ?s1 s2 s2 ? ?s1? M1 =? ?,M 2 =? ?
? s2 1? ?s1 s2 ? ?s1?
s
C = max (I X Y; ) =?∑m p yk( k )log2 p y( k ) ?Hmi
k=1
?p y( 1) = p x p y( 1) ( 1 / x1) + p x( 2 ) (p y1 / x2) = ? ?(1 s1s2 )/ 2+ s2 / 2 = ?(1 s1)/ 2
?
?
?p y( 2 ) = p x p y( 1) ( 2 / x1) + p x( 2) (p y2 / x2 ) = s2 / 2+ ? ?(1 s1 s2 )/2 = ?(1 s1 )/2 ?p y( 3) = p x p y( 1) ( 3 / x1)+ p x( 2 ) (p y3 / x2 ) = s1 /2+ s1 / 2 = s1
∑ p y( )
j
p y( j )∈M
p y( k ) = mk
k
p y
1
= = = ?(1 s1)/ 2 m1 2
∑ p y( )
j
·28·
p y( )∈M
p y( )
s1
p y( 2 ) =
2
C
k=1
m p yk( k )log2 p y( k )?Hmi
×
=?(2×
+ s1 log2 s1) +[(1?s1 ?s2 )log2 (1?s1 ?s2 ) + s2 log2 s2 + s1 log2 s1 ]
=? ?(1 s1)log2
+ ?(1
s1 ?s2 )log2 (1?s1 ?s2 ) + s2 log2 s2bit symbol/
3) 非对称信道
这个信道是个一般信道，利用一般信道的计算方法 a. 由公式
，求β
∑ p y( j
/ xi
)log2
p y( j
/ xi
) =∑ p y( j
/ xi
)β
j
j
j
j ?1 1 1 1 1 1 ??2log2 2 + 2log2 2 = 2β β1 + 2 2 ?
??
?14log2 14 + 34log2 34 = 14β β1 + 34 2
?β1 =?1.3775 ?
?β2 =?0.6225
?
β
j
?
b. 由公式C = log2??
∑2 ??，求C
?j
?
??∑2βj ???= log 22
[
?1.3775
+ 2?0.6225 ]
= 0.049 bit symbol/
C = log2 ?
?j
?
c. 由公式p y( ) = 2
βj j ?C
，求p(yj)
p y(
1) = 2β1?C = 2?1.3775 0.049?= 0.327
p y(
2 ) = 2β2?C = 2?0.6225 0.049?= 0.628
d. 由公式p y( j ) =
∑ p x p y( i
) ( j
/ xi
) ，求p(xi
)
·29·
i
由方程组：
? 1 1
??0.372 = 2 p x( 1)+ 4 p x( 2 )
?
??
?0.628 =
1
2 p x( 1)+
34 p x( 2 )
解得
?p x( 1) = 0.488 ?
?p x( 2 ) = 0.512 p(x1)，p(x2) ≥0，保证了C
的存在。
(4) 准对称信道
把信道矩阵分解成三个子矩阵如下：
?1 1? ?1? ?1? M1 = ?13 16??,M 2 = ??13??,M 2
= ??16?? ? ?? ?? ?? ?6 3? ?3? ?6?
s
C = max (I X Y; ) =?∑m p yk
( k )log2 p y( k ) ?H
mi
k=1
?
1 1 1 1 1
?p y( 1) = p x( 1) (p y1 / x1) + p x( 2 ) (p y1 / x2 ) = 2 × + ×3 2 6 = 4 ?
?
?p y( 2 ) = p x( 1) (p y2 / x1) + p
x( 2 ) (p y2 / x2 ) = 12 × + ×16 12
13 = 14
?
?
p y( 3 ) = p x( 1) (p y3 / x1) + p
x( 2 ) (p y3 / x2 ) = 1 × + ×1 1 1 = 1
?
2 3 2 3 3
?
?p y( 4 ) = p x( 1) (p y4 / x1) + p x( 2 ) (p y4 / x2 )
30·
·