?P X( ) ? ? 0.7 0.3 ? = 0.2 求：I X Y( ; )
以下是求解过程：
?P Y( ) ? ? 0.64 0.36 ?p y( 1 / x1) = 0.8, p y( 2 / x1)
p x y( 1 y( 1
2
1
) = p x( 1 ) (p y1 / x1 ) = 0.7×0.8 = 0.56 p x
) = p x( 1 ) (p y2 / x1 ) = 0.7×0.2 = 0.14
1
??p y( 1 ) = p x y( 11 ) + p x y( 2 ??p y( 2 ) = p x y( 12 ) + p x y( 2
)
∴ p x y( 21 ) = p y( 1 ) ?p x y( 11 ) = 0.64 ?0.56 = 0.08
2
)
∴ p x y( 22 ) = p y( 2 ) ?p x y( 12 ) = 0.36 ?0.14 = 0.22
H X( ) =?∑ p x( i ) =?(0.7×log 0.72 + 0.3×log 0.32)= 0.881 bit symbol/
i
H Y( ) =?∑ p y( j ) =?(0.64×log 0.642+ 0.36×log 0.362 )= 0.943 bit symbol/
j
H XY()
=?
∑∑ p x y(
i
j
ij
)log p x y( ij )
=?(0.56×log 0.562 + 0.14×log 0.142 + 0.08×log 0.082 + 0.22×log 0.222 ) 1.638 = bit symbol/
I X Y(; ) = H X() + H Y( ) ?H XY() = 0.881+ 0.943?1.638 = 0.186 bit symbol/
3.4 若X, Y, Z是三个随机变量，试证明
(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；
证明：
p x( i / y zj k ) I X YZ( ; )
=∑∑∑ p x y z( i j k )log
i
j
k
p x( i )
p x( i / y j zk ) (p xi / y j )
=∑∑∑ p x y z( i
i
j
k
j k
)log
p x p x( i ) ( i / y j ) p x( i / y j )
p x( i / y zj k )
j
=∑∑∑ p x y z( i
k )log
i
j
k
j k
)log
p x( i ) )
+∑∑∑ p x y z( i
i
j
k
p x( i / y j )
= I X Y( ; ) + I X Z Y( ; /
·21·
p x( i / y zj k ) I X YZ( ; )
=∑∑∑ p x y z( i j k )log
i
j
k
p x( i )
p x( i / y zj k ) (p xi / zk )
=∑∑∑ p x y z( i
j k
)log
i
j
k
p x p x( i ) ( i / zk ) p x( i / zk )
p x( i / y zj k )
=
∑∑∑ p x y z(
+i j k
)log
∑∑∑ p x y z(
i
j
k
)log
i
j
k
p x( i )
i
j
k
p x( i / zk )
= I X Z( ; ) + I X Y Z( ;
/
(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；
证明：
p x( i / y zj k ) I X Y Z( ; / )
=∑∑∑ p x y z( i j k )log
i
j
k
p x( i / zk )
p x( i / y zj k ) (p y zj k ) =∑∑∑
p x y z( i j k )log
i
j
k
p x( i / zk ) (p y zjk ) p x y z( i j
k
) =∑∑∑
p x y z( i j
k
)log
i
j
k
p x( i / zk ) (p zk ) (p y j / zk ) p x y z( i
j
k
)
=∑∑∑ p x y z( i
j k )log
i
j
k
p x z( ik ) (p y j / zk )
p x y z( i
j
k
)
=∑∑∑ p x y z( i
j k )log
i
j
k
p x z( ik ) (p y j / zk )
p y( j / x zi k ) =∑∑∑ p x y
z( i j k )log
i
j
k
p y( j / zk )
= I Y X Z( ; / )
p x( i / y zj k ) I X Y Z( ; / )
=∑∑∑ p x y z( i j k )log
22·
)
· i j k
p x( i / zk )
j k
=?∑∑∑ p x y z( i
i
j
k
)log p x( i / zk ) +∑∑∑ p x y z( i
i
j
k
j k
)log p x( i / y zj k )
?
=?∑∑∑?
?
p x y z( i
jk
)?log p x( i / zk ) ?H X YZ( / )
i
k ?j
?
=?
∑∑ p x z(
i
k
)log p x( i / zk ) ?H X YZ( / i
k
= H X Z( / ) ?H X YZ( / )
(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。
证明：
p x( i / y zj k )
?I X Y Z(
;
/ ) =∑∑∑ p x y z( i
j k
)log
i
j
k
p x( i / zk )
p x( i / zk )
∴?I X Y Z(
;
/ ) =∑∑∑ p x y z( i
j k
)log
i
j
k
p x( i / y zj k )
?1
≤∑∑∑i
j k
p x y z( i
j k
)????p xp x((i /i /y zzj k )k ) ????log2 e
=???∑∑∑ p x y z( i
jk
)
p x( i / zk ) ?∑∑∑ p x y z( i j
k
p x( / y z )
?i j k i j k i j k
?
?
? ? ?
=??∑∑∑?
p y z( j k )?p x( i / zk ) ?1??log2 e
?i ?j k
? ?
? ? =?∑ p x( i / zk ) ?1?log2 e
?i
?
= 0
∴I X Y Z(
;
/
)
)???log2 e
) ≥ 0
·23·
当 ? =1 0 p x( i / y zj k )
p x( i / zk )
时等式成立
? p x( i / zk ) = p x( i / y zj k )
? p y z( j k ) (p xi / zk ) = p x( i / y zjk ) (p y zj k ) ? p z( k ) (p y j / zk ) (p xi / zk ) = p x y z( i j ? p y( j / zk ) (p xi / zk ) = p x y z( i ? p y( j / zk ) (p xi / zk ) = p x y( i j / zk )
所以等式成立的条件是X, Y, Z 是马氏链
j
k
k
)
)/ p z( k )
3.5若三个随机变量，有如下关系：Z = X + Y，其中X和Y相互独立，试证明：
(1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)；
(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。
解： 1)
?Z = X +Y
?p y( j ) (zk ?xi )∈Y ∴ p z( k / xi ) =
p z( k ?xi ) = ?
?0 (zk ?xi )?Y
H Z X(
i
/
k
) = ?∑∑ p x z( i ?
k
)log2 p z( k / xi ) ?
=?∑ ∑p x( i )?
p z( k / xi )log2 p z( k / xi )?i ?k
?
? ?j
?
?
=?∑ ∑p x( i )? = H Y( )
2)
p y( j )log2 p y( j )?i
∴I X Z( ;) = H Z( ) ?H Z X( / ) = H Z( ) ?H Y( )
?Z = X +Y
??1 (xi + y j ) = zk
∴ p z( k / x yi j ) =?
??0 (xi + y j ) ≠ zk H Z XY(
i
j
·24·
/) =?∑∑∑ p x y z( i
k
j k
)log2 p z( k / x yi j )
?
=?∑∑ p x y( i
i
j
j
?
)?∑ p z( k / x yi j )log2 p z( k / x yi j )? ?k ?
/
) = H Z( ) ? =0 H Z( )
= 0
∴I XY Z( ;) = H Z( ) ?H Z XY(
3)
?Z = X +Y
??1 xi = zk ?y j ∴ p x( i / y zj k ) = ? ??0 xi ≠ zk ?y j
H X YZ(
/) =?∑∑∑ p x y z( i
j k
)log2 p x( i / y zj k )
i
j
k
?
?
=?∑∑ p y z( j
k
)?∑ p x( i / y zj k )log2 p x( i / y zj k )?
j
k
?i ?
= 0
∴I X YZ(
;
) = H X( ) ?H X YZ( / ) = H X( ) ? =0 H X(
4)
?Z = X +Y
??1 y j = zk ?xi ∴ p y( j / x zi k ) =? ??0 y j ≠ zk ?xi
H Y XZ(
/) = ?∑∑∑ p x y z( i
j k
)log2 p y( j / x zi k )
i
j
k
?
? =?∑∑ p x z( i
k
)?∑ p y( j / x zi k )log2 p y( j / x zi k )?
i
k
?j
?
= 0
∴I Y Z X( ; /) = H Y X( /) ?H Y XZ( / ) = H Y( ) ? =0 H Y( )
5)
?Z = X +Y
??1 xi = zk ?y j ∴ p x( i / y zj k ) =? ??0 xi ≠ zk ?y j
)
25··