N）的出现概率为P(xi)，其自信息量为I(xi)，则该信源各
个不同符号xi所包含的自信息量I(xi)在信源空间
P(X)={P(x1)，P(x2)，?，P(xi)，?，P(xN )}中的统计平均
值，即 H(X)?
?P(x)?I(x)??P(x)?I(x)???P(x)logP(x)iiii?1XXN称为信源的信息熵，简称信源熵。其中，定义0lb0=0。 84.对信源编码的基本要求？（1）选择合适的信道基本符号，以使映射后的代码适应信道。（2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。（3）编码应使消息集合与代码组集合中的元素一一对应。
85.简单叙述香农第二定理：对于有噪信道的信道编码，若R
87.简单叙述香农第一定理:设离散无记忆信源X包含N个符号{x1，x2，?，xi，?，xN }，信源发出K重符号序列，
11
则此信源可发出NK个不同的符号序列消息，其中第j个符号序列消息的出现概率为 ，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度为
当K趋于无限大时， 和H(X)之间的关系为
88.香农第一定理，又称为无失真信源编码定理或变长码信源编码定理。定理指出，要做到无失真的信源编码，编码后信源符号平均长度将不能小于信源熵，其极限情况是信源的熵值；若编码的平均码长小于信源的熵值，则单义可译码不存在，在译码或反变换时必然带来失真或差错。
89.香农第一定理表明，在无失真信源编码中，采用扩展信源的手段，虽然可以减少每一信源符号所需要的平均码符号数，使编码的有效性有所提高，但无论怎样扩展，无失真信源编码的结果，在无噪离散信道中传输的有效性是有一定限度的，其极限值就是信源熵。当信息传输速率等于信道容量C时，编码效率达到最高，亦即信息传输的有效性最高。 并没有给出怎样来实现这样的编码，所以说香农第一定理是一个存在性定理。
90.在一般的信息传输系统中，信宿将收到的消息yj根据某种规则判决为对应于信源符号消息集合中的某一个xi，这个判决的过程称为接收译码，简称译码，译码时所用的规则称
12
为译码准则。
91.信源编码要解决的主要矛盾是信息传输的有效性，关心的是编码效率，追求的是平均长度最短的最佳编码，采用的方法通常是尽量压缩信源中的冗余度。但由于最佳编码的码字中冗余度已经极小，如果在传输中发生了错误，就会发生张冠李戴的现象。实际的通信信道免不了总会存在干扰和噪声，为寻求通信的可靠性，有必要研究专门针对通信可靠性的编码，这就是信道编码。
92.香农第二定理告诉人们，对于有噪信道，只要信道编码采取足够的码长N，总存在某种编码方式，能使其传输错误概率任意小，且信道上的信息传输速率可以无限接近于信道容量，即在有噪信道中消息是可以可靠地传输的，这对于设计实际的通信系统具有十分重要的意义。 93.设由一离散无记忆信源 X： a1， a2， a3
P(X)：1/2，1/4，1/4
构成二重扩展信源X，求该扩展信源的熵H(X)。 解 二重扩展，即扩展信源的每个符号序列由给定信源中的2个符号组成，因此符号序列共有3=9种，分别是aiaj (i，
2
2
2
j=1，2，3)，不妨将它们看作新的信源符号，因此扩展信源
又可以看作是共有9个“单符号”的离散无记忆信源。
K[??PilbPi]i?1N13
由式H(XK)=K H(X)=
H(X)???P(aiaj)lbP(aiaj)2i,j?13有
问题转化到求aiaj的联合概率，因为ai、aj统计独立，故
P(aiaj)=P(ai)?P(aj)。略去其计算过程，得H(X2)=3比特/符
号序列
而扩展前信源X的熵为
且有H(X2)=2H(X)。
94.已知某单符号离散信源的概率空间为
该信源发出的消息均为二重符号序列aiaj)，(i、j=1，2，3)，两个符号的关联性用条件概率P(ai/aj)表示，如表3.2所示，求H(X )。
表3.2给出的条件概率
14
2
H(X)???P(ai)logP(ai)?1.5 比特/符号i?13a1a2114P(X):369X:a314 aj a1 a2 a3 ai a1 9/11 2/11 0 a2 1/8 3/4 1/8 a3 0 332/9 7/9 解 由表3.2有 H(X
由P(aiaj)=P(ai)?P(aj/ai)，可求出9个联合概率
2)????P(aiaj)lbP(aiaj)i?1j?1P(a1a1)=P(a1)P(a1/a1)=(11/36)?(9/11)=1/4 P(a1a2)=P(a1) P(a2/a1)=(11/36)?(2/11)=1/18
┇
P(a3a3)=P(a3) P(a3/a3)=(1/4)?(7/9)=7/36
略去其计算过程，得 H(X)=2.412 比特/符号序列
也可以由原信源熵和条件熵来求扩展后的熵，有
H(X)+H(X2/X1)=2.412（比特/符号序列）
95.一信源X（x1，x2，x3，x4）经编码后得码字集合S（1，01，001，0001）且一一对应。现接收到码元序列为101110001001101011，试写出译码结果。
15
2