D?0,R(0)?ln4nat/symbol1116D?,R(D)?ln4?lnnat/symbol42311D?,R(D)?ln4?ln12nat/symbol223D?,R(D)?0nat/symbol4
4-3
?0?1 d??1?1?111?011?101??
110?信源熵为 H(x)?Log(4)?2
?Dmax =min{,,,} R(Dmax)=0
44443333Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
p(y1)?p(y2)?p(y3)?p(y4)只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。
欢迎下载！
第五章
5-1 将下表所列的某六进制信源进行二进制编码，试问： 消息 概率 C2 C3 C1 u1 1/2 000 0 0 u2 1/4 001 01 10 u3 1/16 010 011 110 u4 1/16 011 0111 1110 u5 1/16 100 01111 11110 u6 1/16 101 011111 111110 (1) 这些码中哪些是唯一可译码？ (2) 哪些码是非延长码？
(3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码
C4 0 10 1101 1100 1001 1111 C5 1 000 001 010 110 110 C6 01 001 100 101 110 111
C1:6?2?3?1C2:2?1?2?2?2?3?2?4?2?5?2?6?63?164C4:2?1?2?2?4?2?4?1C3:C5:2?1?5?2?3?1C6:2?2?5?2?3?163?164
?C5不是唯一可译码，而C4：
又根据码树构造码字的方法
C1，C3，C6的码字均处于终端节点
?他们是即时码
5-2
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为 (2) 信源熵为 H(X)= 5-5
=0.198bit/ms=198bit/s
bit/ms=200bit/s
(1) H(U)=
12111111112481632641281281418
Log(2)?Log(4)?Log(8)?116Log(16)?132Log(32)?164Log(64)?1128Log(128)?1128Log(128)?1.984
(2) 每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)= P(1)= (3)
(4) 相应的香农编码 信源符号xi x1 x2 x3 x4 x5 x6 x7 x8 符号概率pi 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 累加概率Pi 0 0.5 0.75 0.875 0.938 0.969 0.984 0.992 -Logp(xi) 1 2 3 4 5 6 7 7 码长Ki 1 2 3 4 5 6 7 7 码字 0 10 110 1110 11110 111110 1111110 11111110
相应的费诺码 信源符号概符号xi 率pi x1 x2 x3 x4 x5 x6 x7 x8 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 1 1 1 第一次分组 0 第二次分组 0 第三次分组 0 第四次分组 0 第五次分组 0 1 1 第六次分组 0 1 第七次分组 0 1 二元码 0 10 110 1110 11110 111110 1111110 11111110
（5）香农码和费诺码相同 平均码长为
编码效率为： 5-11
（1）信源熵
（2）香农编码：
信源符号xi x1 x2 x3 x4 x5 x6 平均码长：
编码效率为
（3） 费诺编码为 信源符号xi x1 x2 x3 x4 x5 x6
平均码长为：编码效率： （4）哈夫曼编码 信源符号xi 符号概率pi 编码过程 编码 码长
符号概率pi 0.32 0.22 0.18 0.16 0.08 0.04 1 1 0 2 0 1 0 1 3 0 1 4 0 1 编码 00 01 10 110 1110 1111 码长 2 2 2 3 4 4 符号概率pi 0.32 0.22 0.18 0.16 0.08 0.04 累加概率Pi 0 0.32 0.54 0.72 0.88 0.96 -Logp(xi) 1.644 2.184 2.474 2.644 3.644 4.644 码长Ki 2 3 3 3 4 5 码字 00 010 100 101 1110 11110
x1 x2 x3 x4 x5 x6
0.32 0.22 0.18 0.16 0.08 0.04 0.32 0.22 0.18 0.16 0.12 0.38 0.32 0.22 0.18 0.40 0.38 0.32 0.60 1 01 0.40 10 11 000 0010 0011 2 2 2 3 4 4 平均码长为：编码效率：
5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100
编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2
?1?l??log?7 ?P(S)??根据（4.129）可得：
F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–
?P(y)= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)
y?s = 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111
又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S的码字为1101010
平均码长L为 0.875。
欢迎下载！