H ( X | Y )????? P( x)? P( y | x) log P( x | y)
X Y
3?? 2 6 1 3?? 1?? 1 1 2 2???
????? log?? log?????? log?? log???4?? 3 7 3 5?? 4?? 3 7 3 5???? 0.749比特 / 符号
I ( X ;Y )?? H ( X )?? H ( X | Y )?? 0.062 比特/符号
（2）此信道是对称信道，因此其信道容量为：
2 1 C?? 1?? H ( p)?? 1?? H ( , )?? 0.082 比特/符号 3 3
1 根据对称信道的性质可知，当 P(0)?? P(1)???时，信道的传输率 I ( X ;Y ) 达到
2 信道容量。
其余是 1/4W。现已知 2kΩ 阻值的电阻中 80%是 1/8W。问通过测量阻值可以平
均得到的关于瓦数的信息量是多少？ 解：
根据已知条件，设电阻的阻值为事件 X，电阻的功耗为事件 Y，则两事件的 概率空间为：
? X????x1?? 2k? x2?? 5k?????Y???? y1?? 1/ 8W ?? ，0.7 0.3 ?? P ?????? 0.64 ??? P???????????给定条件为 P( y1 | x1 )?? 0.8 ， P( y2 | x1 )?? 0.2 ，而
0.64?? P( y1 )?? P( x1 )P( y1 | x1 )?? P( x2 )P( y1 | x2 )?? 0.7 * 0.8?? 0.3 * P( y1 | x2 )
0.36?? P( y2 )?? P( x1 ) P( y 2 | x1 )?? P( x2 ) P( y 2 | x2 )?? 0.7 * 0.2?? 0.3 * P( y2 | x2 )
解得：
4 11 P( y1 | x2 )???， P( y2 | x2 )???15 15
? 4 4 11 11???log H (Y | X )????0.7 *??0.8 log 0.8?? 0.2 log 0.2??? 0.3 *?????log ??? 0.7567 15 15 ? 15 15???
I ( X ;Y )?? H (Y )?? H (Y | X )?? 0.186 比特/符号
【3.4】设有一批电阻，按阻值分 70%是 2kΩ，30%是 5kΩ；按功耗分 64%是 1/8W，
y2?? 1/ 4W???0.36 ????
【3.5】 若 X 、 Y 和 Z 是三个随机变量，试证明：
（1） I ( X ;YZ )?? I ( X ;Y )?? I ( X ; Z | Y )?? I ( X ; Z )?? I ( X ;Y | Z )
（2） I ( X ;Y | Z )?? I (Y ; X | Z )?? H ( X | Z )?? H ( X | YZ )
（3） I ( X ;Y | Z )?? 0 当且仅当 ( X , Z , Y ) 是马氏链时等式成立。
（1）
P( x | yz) I ( X ;YZ )????P( x, y, z) log ?P( x) X ,Y ,Z ? P( x | yz) P( x | y)???
??????? P( x, y, z) log???X ,Y ,Z??????????? P( x | y) P( x)????? P( x | yz) P( x | y) ?P( x, y, z) log ? P( x, y, z) log P( x | y) ???P( x) X ,Y ,Z X ,Y ,Z
? I ( X ; Z | Y )?? I ( X ;Y )
同理， I ( X ;YZ )?? I ( X ; Z )?? I ( X ;Y | Z )
（2）
P( x | yz) I ( X ;Y | Z )????P( x, y, z) log ?P( x | z) X ,Y ,Z P( xyz)P( z) ??? P( x, y, z) log P( xz)P( yz) X ,Y ,Z
P( y | xz) ??P( x, y, z) log P( y | z) X ,Y ,Z
? I (Y ; X | Z )
证明：
（3）
P( x | yz) I ( X ;Y | Z )???? P( x, y, z) log P( x | z) X ,Y ,Z
????? P( x, y, z) log P( x | z)???? P( x, y, z) log P( x | yz) X ,Y ,Z X ,Y ,Z
? H ( X | Z )?? H ( X | YZ )
? I ( X ;Y | Z )???
X ,Y ,Z ??
P( x, y, z) log ? log?? P( x, y, z)
P( y | z)?? P( y | xz) ，即 ( X , Z ,Y ) 是马氏链。
? log X ,Y ,Z
P( x | z) P( x | yz) P( x | z) P( x | yz)
??X ,Y ,Z P( xz)P( yz) P( z)
? 0 P( x | z) P( xz) P( yz) P( y | z)
等 号 成 立 当 且 仅 当 ， 即 ? 1???P( x | yz) P( xyz) P( z) P( y | xz) 【3.6】若有三个离散随机变量，有如下关系： X?? Y?? Z ，其中 X 和 Y 相互统计
（1） H ( X )?? H (Z ) ，当且仅当 Y 是常量时等式成立；
（2） H (Y )?? H (Z ) ，当且仅当 X 为常量时等式成立；
（3）H (Z )?? H ( XY )?? H ( X )?? H (Y ) ，当且仅当 X ，Y 中任意一个为常量时
（4） I ( X ; Z )?? H (Z )?? H (Y ) ；
（5） I ( XY ; Z )?? H (Z ) ；
（6） I ( X ;YZ )?? H ( X ) ；
（7） I (Y ; Z | X )?? H (Y ) ；
（8） I ( X ;Y | Z )?? H ( X | Z )?? H (Y | Z ) 。
证明：
?0 z?? x?? y ， 即 H (Z | XY )?? 0 ， 而 当 X?? Y?? Z 时 ， 有 P( z | xy)?????
z?? x?? y ?1 等式成立； 独立，试证明：
H (Z | XY )?? H (Z )?? I ( XY ; Z ) ，因此 I ( XY ; Z )?? H (Z ) 。
H (Z | X )????? P( x, z) log P( z | x)
P( x, z) ???? P( x, z) log P( x)
P( x, y) ???? P( x, y) log P( x)
根据互信息的性质，有 I ( X ; Z )?? 0 ，因此 H (Z )?? H (Y ) 成立，而当 X 为常量
H ( XY | Z )?? 0 ，因此 H (Z )?? H ( XY ) 成立。
?0 z?? x?? y
根 据 条 件 ， 有 P( x | yz)?????
?1 z?? x?? y
， 因 此 H ( X | YZ )?? 0 ， 而
同理， H (Z )?? H ( X ) 成立。
由 于 I ( XY ; Z )?? H (Z )?? H (Z | XY )?? H ( XY )?? H ( XY | Z )?? H (Z )
， 而
时， Z 和 X 的概率分布相同，因此上述不等式中的等号成立。
? H (Y )
而 I ( X ; Z )?? H (Z )?? H (Z | X ) ，因此 I ( X ; Z )?? H (Z )?? H (Y ) 。
I ( X ;YZ )?? H ( X )?? H ( X | YZ ) ，因此 I ( X ;YZ )?? H ( X ) 。
I (Y ; Z | X )?? H (Y | X )?? H (Y | XZ )?? H (Y | X )?? H (Y )
I ( X ;Y | Z )?? H ( X | Z )?? H ( X | YZ )
? H ( X | Z ) ? I (Y ; X | Z ) ? H (Y | Z )?? H (Y | XZ ) ? H (Y | Z )
【3.7】 设 X ， Y 是两个相互统计独立的二元随机变量，其取“0”或“1”的概率为 等概率分布。定义另一个二元随机变量 Z ，而且 Z?? XY （一般乘积），试计算：
（1） H ( X ) ， H (Y ) ， H (Z ) ；
（2） H ( XY ) ， H ( XZ ) ， H (YZ ) ， H ( XYZ ) ；
（3） H ( X | Y ) ， H ( X | Z ) ， H (Y | Z ) ， H (Z | X ) ， H (Z | Y ) ；
（4） H ( X | YZ ) ， H (Y | XZ ) ， H (Z | XY ) ；
（5） I ( X ;Y ) ， I ( X ; Z ) ， I (Y ; Z ) ；
（6） I ( X ;Y | Z ) ， I (Y ; X | Z ) ， I (Z ; X | Y ) ， I (Z ;Y | X ) ；
H ( X )?? H (Y )?? 1 比特/符号
?Z???? 0 1???
1?? ，因此 而符号 Z 的概率空间为：???????? 3 ?P????? 4 4????
3 1 H (Z )?? H ( , )?? 0.811比特/符号
4 4
H ( XY )?? H ( X )?? H (Y )?? 2 比特/符号
根据已知条件可得
1 P( x?? 0, z?? 0)?? P( x?? 0)???， P( x?? 0, z?? 1)?? 0
2
1 1 P( x?? 1, z?? 0)?? P( x?? 1, y?? 0)???， P( x?? 1, z?? 1)?? P( x?? 1, y?? 1)???4 4
P( z?? 0, x?? 0) P( z?? 1, x?? 0) P( z?? 0 | x?? 0)???? 1， P( z?? 1 | x?? 0)???? 0
P( x?? 0) P( x?? 0)
P( z?? 0, x?? 1) P( z?? 1, x?? 1) 1 1 P( z?? 0 | x?? 1)???， P( z?? 1 | x?? 1)???2 2 P( x?? 1) P( x?? 1)
1 1 1 1 1 ? 0.5 比特/符号 H (Z | X )????? P( x, z) log P( z | x)???? log1?? log?? log 2 4 2 4 2 H ( XZ )?? H ( X )?? H (Z | X )?? 1.5 比特/符号
同理， H (Z | Y )?? 0.5 比特/符号， H (YZ )?? H (Y )?? H (Z | Y )?? 1.5 比特/符号
?1 z?? xy ，因此 H (Z | XY )?? 0 比特/符号 由于 P( z | xy)??????0 z?? xy H ( XYZ )?? H ( XY )?? H (Z | XY )?? 2 比特/符号
H ( X | Y )?? H ( XY )?? H (Y )?? 1比特/符号（7） I ( XY ; Z ) ， I ( X ;YZ ) ， I (Y ; XZ ) ； 解：
由于 X 和 Y 是相互独立的等概率分布的随机变量，因此有