信息论第2章作业(4)

19 16 19 12．黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}，设黑色出现的概率P(黑)=0.3，白色出现的概率P(白)=0.7。 (1)设图上黑白消息出现前后没有联系，求熵H(X)； (2)假设消息出现前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2； (3)分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。 解:(1) H(X)???p(xi)logp(xi)??(0.3log0.3?0.7log0.7)?0.881 bit/symboli p(黑/黑)=0.8(2) ?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e1)p(e2/e1)?p(e1)?0.8p(e1)?0.1p(e2)??p(e2)?0.9p(e2)?0.2p(e1)?p(e2)?2p(e1)??p(e1)?p(e2)?1?p(e1)?1/3??p(e2)?2/3H?????p(ei)p(ej/ei)logp(ej/ei)ij p(白/白)=0.1黑e1p(白/黑)=0.2白e2p(白/白)=0.9122?1? ????0.8log0.8??0.2log0.2??0.1log0.1??0.9log0.9?333?3? ?0.553 bit/symbolH2?H?=0.553bit/symbol (3) 信源一的冗余度 R1=1-H?H?0.553?0.372 =1-=1?H1H(X)0.881H? 信源二的冗余度 R2=1-=0 H2 H(X)> H2 , 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。 17 19 3－21设有二个离散信道，其分别输入为X1和X2，输出为Y1和Y2，对应这二个信道的传递概率为p1(y/x)和p2(y/x)，如图3.39所示。其X1和X2的概率分布分别为P1(x) 和P2(x)。 图3.39 题3.21的信道 18 19 19