I ( X N ;Y N )?? H (Y N )?? H (Y N | X N )
???? P(? j ) log P(? j )???? P(? i? j ) log P(? j |?? i )
P(? j |?? i ) ??? P(? i? j ) log P(? j ) ??? P(? i? j ) log ??? P(? i? j ) log
证明这 n 个 串 接信道可以等 效 于一个 二元对称 信道， 其 错误 传递概率为
1 [1?? (1?? 2 p) n ] ，并证明 lim I ( X 0 ; X n )?? 0 ，设 p?? 0 或 1，信道的串接如下图所 n???2 示。
如果 ( X , Y , Z ) 是马氏链，则有 P( z | xy)?? P( z | y) ，即
P( xyz) P( yz) P( xy) P( y)
P( xyz) P( xy) 因此有 ，即 P( x | yz)?? P( x | y) ，即 (Z , Y , X ) 也是马氏链。
P( yz) P( y) 【3.15】把 n 个二元对称信道串接起来，每个二元对称信道的错误传递概率为 p 。
P(bh1 | ak1 )P(bh2 | ak 2 )L P(bhN | ak N )
P(bh1 )P(bh2 )L P( hN )
P(bh1 | ak1 ) P(bh1 )
? L???? P(? i? j ) log P(bhN | ak N ) P(bhN )
? I ( X 1 ;Y1 )?? I ( X 2 ;Y2 )?? L?? I ( X N ;YN )
【3.14】 证明：若 ( X , Y , Z ) 是马氏链，则 (Z , Y , X ) 也是马氏链。 证明：
证明：
1 当 n?? 1 时，错误概率 p?? (1?? (1?? 2 p)) 成立； 2
1 假设 n?? k 成立，即 k 个串接信道的错误概率为 [1?? (1?? 2 p) k ] ； 2 当 n?? k?? 1时，其错误概率为：
p [11???????????????2????????????????? (1?? 2 p ) k ]12???????????????????????????? p?1?? [1?? (1?? 2 p) k ]????p ?p 2 (1?? 2 p) k?? p???p 2 [1?? (1?? 2 p) k ] 1 2 ?p p 2 (1?? 2 p) k???2 (1?? 2 p) k
1 2 ? (11 2 ?? 2 p) k?? p(1?? 2 p) k ? [11 2
?? (1?? 2 p) k??1 ]
? 1 1???当 n???? 时，错误概率近似为 1 ??2
，总信道矩阵为?? 2 2?? ，此时不论输入为何分 ??1 1???? 2 2?????布，输出均为等概率分布。其互信息为：
limn???
I ( X 0 ; X n )?? H ( X n )?? H ( X n | X 0 )?? 1?? H ( X n | X 0 )?? 0 比特/符号 【3.16】 若有两个串接的离散信道，它们的信道矩阵都是
? 0 0 0 1???? 0 0 0 1?? 1 1 ???? 2 2 0 0??
?? 0 0 1 0???
??并 设 第 一 个 信 道 的 输 入 符 号 X?? {a1 , a2 , a3 , a4 } 是 等 概 率 分 布 ，和
I ( X ;Y ) 并加以比较。
解：
串接后的信道矩阵为：
?? ? 0
1 0 0 0 1??? 0 0 0 1??
? 0 0 1 0??0 1 0 1??? 0 1
0 0 ??1 ?????????? 0 0 0 11 0???? 2 2 0 0????2 0 0??
1 0 1 0 1???? 0 0 1 0???????? 0 2 0
1 0???????? 2 2
0 0?
????求 I ( X ; Z )
?P(b1 ) P(b2 ) P(b3 ) P(b4 )?????P(a1 ) P(a2 ) P(a3 ) P(a4 )?? 1 I ( X ;Y )?? H (Y )?? H (Y | X )
1 1 1 1 1 1 1 1 1 1 1 1 1 8 8 8 8 4 ???? 4 2 2 4 2 2 4 2 ? 1.5比特 /符号
??? log?? log?? log?? log???? log???? log ?P(c1 ) P(c2 ) P(c3 ) P(c4 )??I ( X ; Z )?? H (Z )?? H (Z | X )
1 1 1 1 1 1 1 1 1 1 1 1 1 8 8 8 8 4 ? 0 ? 1.5比特 / 符号???
P( a14 2 ) P(a 2 ) P2 4 2 (a3 ) P(a 4 ) ?2 4 2 ? 0 可见， I ( X ; Z )?? I ( X ;Y ) 。
??????? log?? log?? log?? log???? log???? log
1 2
1 2??
第四章课后习题
【4.1】 设有一连续随机变量，其概率密度函数为
????
? A cos x x???2 p( x)?????
其他值 ?? 0
??又有???? p( x)dx?? 1，试求这随机变量的熵。 2 2
??
解：
h( X )????? p( x) log p( x)dx
???? A cos x log Adx???? A cos x log cos xdx
????? A log Asin x ??2
???? A cos x log cos xdx
???2 A log A???? A cos x log cos xdx
而
? cos x log cos xdx
? log e? ln 1?? sin 2 xd sin x
1 ? log sin x)d sin x 2 e? ln(1?? sin x)?? ln(1??1 1 ? log sin x)d sin x 2 e ? ln(1 ?? sin x ) d sin x ?? log2 e? ln(1??
??1?? sin x 2 d sin x ?????? ln(1?? sin x)d sin x ? (1?? sin x) ln(1?? sin x) ???1?? sin x 2 ? 2 ln 2?? 2
? ln(1?? sin x)d sin x ???? ln(1?? sin x)d (1?? sin x)
??1?? sin x 2 d sin x ???(1?? sin x) ln(1?? sin x) ????????1?? sin x 2 ? 2 ln 2?? 2
因此有
A log e(2 ln 2?? 2?? 2 ln 2?? 2) 2
???2 A log A?? 2 A log e?? 2 A log e ln 2 ???2 A log A?? 2 A log e?? 2 A ??1 2
而???? p( x)dx?? 1，即 A???2 ，因此
2
h( X )????2 A log A???1 h( X )???? log?? log e?? 1?? 1?? log e?? 1?? log e 2
【4.2】计算连续随机变量 X 的差熵
（1） 指数概率密度函数 p( x)????e???x ， x?? 0,???? 0
1 ?? x ，?????? x????,???? 0 （2） 拉普拉斯概率密度函数， p( x)????e
2
解：
（1）
h( X )????? p( x) log p( x)dx
??????e???x log??e???x dx
??????e???x log??dx??????e???x log e???x dx ??? log??e???x ??
0
? log e? ln e???x de???x
??? log???? log et ln t 10?? log e? dt ??? log???? log e
e ? log ??（2）
h( X )????? p( x) log p( x)dx
? 1????? x 1 ?? x ?e log??e ???????
2 2 ? 1 ?????x log??e??0 ??e??
2 ?x dx
???????????????????????
dx
1
0 ?? e ? x log dx ????????2 0 ????e???x log??e???x dx e ? log 2?? log ??? log
2e ??注：（2）题直接借用了（1）的结论。