信息论第2章作业(2)

19 pX(x)?1??x?e,???x?? 2求HC(X)，并证明它小于同样方差的正态变量的微分熵。 解： 1Hc(X)???p(x)logp(x)dx???p(x)log?e??|x|dx????2???? ??log ?log ?log =loge???2?????p(x)dx??p(x)loge??|x|dx????2?2??1??|x|?eloge??|x|dx??2???? ????e??xloge??xdx02e?（奈特/符号） ??01??11??|x|?exdx???e?xxdx???e??xxdx????2??202010101??1???e?xxdx???e?(?y)(?y)d(?y)???e??yydy????e??yydy??2??2??202??1??1?m????e??xxdx???e??xxdx?00022m?E(X)??p(x)?xdx?? ?2?E?x?m?2?E(x2)??p(x)?x2dx????1??|x|2?exdx???e??xx2dx????20????????2??x??x2????x2???x2? ???xde???ex??edx???edx?2?e??xxdx0000??02??2???x??????x?2??x ???xde???ex??edx??200???0????????同样方差的正态变量的微分熵 H(X)= 1122?eloge(2?e?2)?loge(2?e?2)?loge 22??HC(X)< H(X),故证明HC(X)小于同样方差的正态变量的微分熵 9． 设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分??2布，C??2???（1）?＝1； （2）?＝0； （3）?＝－1。 ??2?，在下列几种情况下，计算I(X;Y)： 2???6 19 7 19 10．若有二个串接的离散信道，它们的信道矩阵都是 0?0?00P???1/21/2?0?000011?1?? 0??0?设第一个信道的输入符号X?{a1,a2,a3,a4}是等概率分布，输出符号用Z表示。第二个信道输出用Y表示。求I(X;Z)和I(X;Y)，并加以比较。 解：8 19 9 19 11．有一个一阶平稳马尔可夫链X1，X2,……Xr……，各Xr取值于集合A={a1,a2,a3}。已知起始概率p(Xr)为p1=1/2，p2=p3=1/4，转移概率如下。 j i 1 2 3 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 （1）求(X1,X2,X3)的联合熵和平均符号熵。 （2）求这个链的极限平均符号熵。 （3）求H0，H1，H2和它们所对应的冗余度。 10