h(Y | X )????? p( x) p( y | x) log p( y | x)dxdy
????? y??1 x???2
???
1 ??? 2????????? p( x, y) log???e 3? 2 ?dxdy ????????????????? 3????????????
??
?2 ? y?? x ?1???? ??? ???? p( x, y) log 1
? 3? 2 ? 3??dxdy???? p( x, y) log e 2???
dxdy ??1? 2 y?? ?x??? ? log 3????? log e? p( x, y) ?2? 3?dxdy 2
而
??2
? y?? x1???????1? 2 ?? 2
???2 y??? ?x??? 1 ??1 x? y??? ??????4 p( x, y?) 2???3? 2 dxdy 3? 2 dxdy?????3? 2 2 3?? 2 ??? y? x1???
???? x ???? 1??2 y 2??xy??x 2 ???1??????3? 2 1??? 1?????6 3?????4
? y???x?? e dxdy? y????????4
2???
6 3????? ? y?? x??? ? 2 ???? 1???1?????2 ??1??? ??
46 3?????4
? y???x?? e ? 3? 2 dxdy 2 2???
??? ?2 ? y?? 1 6 3?? 4 ???x 2 4? 2 dx??????? y???1???2 x???2???
x?? e ????1??? 3? 2 dy 而
?2
2
x? 1???2 ??1? y????????? ???
?3? 2 ??? y?? 2 x????dy?? 3? 2 3????
?? y?? x?????? 31??????2
????? y?? 2 x????2?? e?? ?????d
? y ?? ?1???2???x???????????????? 3?????????????????? 3???????? 2
? 3 3 ? 3 ?? t 2e??t dt 3 2
3??? 3
因此
2
???
242???
x?? e 2
32 3? 2 dxdy
2 2 ? 1????1? ? y? x??? ? y???x??? 2 x 2 ??2 1 ??2???1????? 3? 2 p( x, y)???dxdy???dy ??e 4? dx??? y???x?? e 6 3?? 4???3? 2 ??2???
?x 2 ???2 1 3 1 4e 4? dx???3??? 3???dx 4????2 6 3???4????1 ? 2????4????1 2
2
?1? ?x??? ? y???2? dxdy h(Y | X )?? log 3????? log e? p( x, y) 3? 2
1 ? log 3????? log e
2
1 ? log 3?e? 2
2
因此平均互信息为：
I ( X ;Y )?? H (Y )?? H (Y | X )
1 1 ? log 4?e? 2?? log 3?e? 2
2 2 1 4 ? log 2 3 ? 0.21
注：该题推导过程中引用的相关积分公式：
1 ??? t 2
2 dt?? 2??（1）???? e ?
??（2）?? t? 2e??t dt???? 2
??2
【4.13】试证明两连续随机变量之间的平均互信息 I ( X ;Y ) 是输入随机变量 X 的 概率密度函数 p( x) 的 I 型凸函数。
证明：
p( y | x)
dxdy I ( X ;Y )???? p( x) p( y | x) log p( y) p( y | x)
dxdy ??? p( x) p( y | x) log p( x) p( y | x)dx ??
设存在 X 的两个概率密度 p1 ( x) 和 p2 ( x) ，参数 0?????? 1，目标证明：
I (?p1 ( x)???? p2 ( x))????I ( p1 ( x))????? I ( p2 ( x))
过程如下：
?I ( p1 ( x))????? I ( p2 ( x))?? I (?p1 ( x)???? p2 ( x)) ????? p1 ( x) p( y | x) log p( y | x)
dxdy?????? p2 ( x) p( y | x) log p1 ( y) p( y | x)
??? p( x) p( y | x) log p( y) dxdy
p( y) p( y)
dxdy ????? p1 ( x) p( y | x) log dxdy?????? p2 ( x) p( y | x) log p1 ( y) p2 ( y) 而
p( y)
? p1 ( x) p( y | x) log p ( y) dxdy 1
p( y) ??? p1 ( x, y) log p1 ( y) p( y) ? log?? p1 ( x, y) p1 ( y)
dxdy dxdy
p( y | x)
dxdy p2 ( y)
p( y) 同理，?? p2 ( x) p( y | x) log p2 ( y) dxdy?? 0 ，因此有
? log?? p1 ( x | y) p( y)dxdy ? 0
I (?p1 ( x)???? p2 ( x))????I ( p1 ( x))????? I ( p2 ( x))
（1）充分性。
p( y1 y2 L yN | x1x2 L xN )
? p( y1 | x1 x2 L xN ) p( y2 | x1x2 L xN y1 )L p( y N | x1 x2 L xN y1 y2 L y N??1 )
证明：
p( y | x)???? p( yi | xi ) i?1 N
【4.14】试证明多维连续无记忆信道的充要条件为
而
p( x1 x2 L xN y1 y2 L y N??1 yN ) p( y N | x1 x2 L xN y1 y2 L yN??1 )???p( x1x2 L xN y1 y2 L y N??1 ) ??p( y1 y2 L yN??1 y N | x1 x2 L xN ) p( y1 y2 L y N??1 | x1x2 L xN ) N
? p( y i | xi ) i?1
?? L y N??1 y N | x1 x2 L xN )dy N 1 2 ? p( y y N N
? p( y i | xi ) i | xi ) ? p( y
i?1 ??N i?1 ??N??1
p( y i | xi )dy N p( y i | xi ) ????i?1
i?1
? p( y N | xN )
p( y N??1 | x1x2 L xN y1 y2 L yN??2 )?? p( y N??1 | xN??1 )
……
同理
p( y2 | x1x2 L xN y1 )?? p( y2 | x2 )
p( y1 | x1 x2 L xN )?? p( y1 | x1 )
p( y N??1 | x1x2 L xN y1 y2 L yN??2 )?? p( y N??1 | xN??1 )
……
因此该信道是无记信道。 （2）必要性。
根据无记信道的性质，有
p( y2 | x1x2 L xN y1 )?? p( y2 | x2 )
p( y1 | x1 x2 L xN )?? p( y1 | x1 )
p( y1 y2 L yN | x1x2 L xN )
? p( y1 | x1 x2 L xN ) p( y2 | x1x2 L xN y1 )L p( y N | x1 x2 L xN y1 y2 L y N??1 )
因此有而
p( y | x)???? p( yi | xi ) i?1
N
【4.15】试证明连续信源 X 的相对熵 h( X ) 是概率密度 p( x) 的 I 型凸函数。 证明：
设存在 X 的两个概率密度 p1 ( x) 和 p2 ( x) ，参数 0?????? 1，目标证明：
h(?p1 ( x)???? p2 ( x))????h( p1 ( x))????? h( p2 ( x))
过程如下：
?h( p1 ( x))????? h( p2 ( x))?? h(?p1 ( x)???? p2 ( x))
?????? p1 ( x) log p1 ( x)dx????? p2 ( x) log p2 ( x)dx???????p1 ( x)???? p2 ( x)?log p( x)dx p( x) p( x)
dx ????? p1 ( x) log dx?????? p2 ( x) log p1 ( x) p2 ( x)
而
p( x)
? p1 ( x) log p ( x) dx 1
p( x) 同理，?? p2 ( x) log p2 ( x) dx?? 0 因此
p( x)
? log?? p1 ( x) p1 ( x) dx ? log1 ? 0
?h( p1 ( x))????? h( p2 ( x))?? h(?p1 ( x)???? p2 ( x))?? 0
【4.16】设信道输入是连续型随机序列 X 1 X 2 L X N ，输出也是连续型随机序列
Y1Y2 LYN ，信道传递概率密度为 p( y | x) 。试证明：
（1）当信源是无记忆时，有
I ( X 1 X 2 L X N ;Y1Y2 LYN )???? I ( X i ;Yi )
（2）当信道是无记忆时，有
I ( X 1 X 2 L X N ;Y1Y2 LYN )???? I ( X i ;Yi )