信息论第2章作业

19 第2章作业 1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？ 2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 信息量： 比特 ?X??a1?0a2?1a3?2a4?3?3． 设离散无记忆信源?????，其发出的消息为P3/81/41/41/8????（202120130213001203210110321010021032011223210），求 （1） 求每个符号的自信息量； （2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 1 19 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。 4． 有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。已知条件概率为 P(Y1|X) 0 1 2 0 1 0 1/2 1 0 1 1/2 P(Y2|X) 0 1 2 0 1 1 0 1 0 0 1 求： 1) I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。 2) I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。 3) I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。 2 19 解：（1）P(Y1?0)??P(X?i)P(Y?0X?i)?4?1?4?0?2?2?2 1i?0211111 P(Y1?1)?1?P(Y1?0)?1 2 类似的 P(Y2?1)?P(Y2?0)?1 2 H(Y1)?H(Y2)?log2?1bit/sym H(Y1X)????P(x)P(yiij1j/xi)logP(y1j/xi)=0.5bit/sym I(X;Y1)= H(Y1)－H(Y1/X)=0.5 bit/sym H(Y2X)????P(x)P(yiij2j/xi)logP(y2j/xi)=0 bit/sym I(X;Y1)= H(Y2)－H(Y2X)=1bit/sym I(X;Y1)