（IX;y?0）???p(xi/0)log2i?01p(xi/0)61212??log2?log2?0.41（比特）p(xi)7777
（IX;Y）??p(yj)p(xi/yj)log2i,jp(xi/yj)p(xi)?0.31（比特）
2-24某一无记忆信源的符号集为{0，1}，已知p0?1/4,p1?3/4。 （1）求符号的平均熵。
（2）有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）
个“1”）的自信息量的表达式。 （3）计算（2）中的序列的熵。
?解：（1）H（X）134log24?log2?0.81（比特/符号） 44313p(x?m)?()m()100?m（2） 44I(X)?200?100log23?mlog23?41.5?1.59m(比特)（3）由于该信源是无记忆的符号集，所以 H（X
3-1将某六进信源进行二进编码如下表所示。求 (1)这些码中哪些是唯一可译码？ （2）哪些码是非延长码（即时码）？
100）?100H（X）?100?0.81?81（比特/符号序列 ）6
（3）所有唯一可译码的平均码长和编码效率。 符号 概率 C1 000 C2 0 C3 C4 0 C5 C6 u1 1/2 0 1 01 u2 u3 1/4 001 01 10 10 000 001 1/16 010 011 110 1101 001 100 u4 u5 u6 1/16 011 0111 1110 1100 010 101 1/16 100 01111 11110 1001 110 110 1/16 101 011111 111110 1111 110 111 解：（1）根据kraft不等式，C5中可译码
?2?ki?2?1?5?2?3?i?169>1，所以C5不是唯一8C1，C2，C3，C4，C6中C4不是唯一可译码。例如1001010，有2译码方
式
u2u1u2u2和u5u1u2，所以C4不是唯一可译的，C1，C2，C3，C6是唯一
可译码。
（2）根据即时码定义，即时码又叫非前缀码，C2中u1是其它码的前缀，故C2不是
7
即时码。因此C1， C3，C6是即时码。
（3）C1：平均码长k1平均信息率
?3（码字符号/信源符号）
K1?k1log2m?k1?3（比特/符号）
111H?X??log22?log24?4?log216?（比特2/符号序列）
2416H(X)2??66.7% 3K1
??C2：k2?
11117?1??2??（3?4?5?6）?（比特/符号） 24168??H(X)2?17?94.1%
k28 C3：k3?（比特/信源符号）178 ??H(X)2??94.1% 17k38C6：k6?111?2??3??3?4?2.5（比特/符号） 2416 ??H(X)2??80% 2.5k68
3-5某信源有8个符号?u1?u8?，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。求 （1）信源的符号熵H（U）；
（2）出现一个“1”或一个“0”的概率； （3）这种码的编码效率； （4）相应的香农码和费诺码； （5）该码的编码效率。
11111解：（1） H（u）?log22?log24?log28?log216?log2322481632
?11log264?(log2128)?2?1.98(比特/符号)641281121211121111?????????????0.8 243831633236431283 0.（2）p(0)? p(1)??1p(?0)（3）??H(X)1.984??66%
3Klog221（4）（5）香农码： 信源消息符号ui 符号概率累加概率p(ui) pi ??log2p(ui)? 码字 码字长度 u1 1/2 0 1 0 1 9
u2 u3 1/4 1/2 2 10 2 1/8 3/4 3 110 3 u4 u5 u6 u7 u8 1/16 7/8 4 1110 4 1/32 15/16 5 11110 5 1/64 31/32 6 111110 6 1/128 63/64 7 1111110 7 1/128 127/128 7 1111111 7 ??1.9841111111??2??3??4??5??6??7?2248163264128log221?1费诺码：
10