熵
1. 从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5 ％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可 能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息 量？如果你问一位女同志，则答案中含有的平均自信息量是多少？
''2.. 设有一概率空间，其概率分布为{p1,p2,?,pq}，并有p1>p2。若取p1=p1??，p2=
p2??，其中0?2??p1?p2，其他概率不变。试证明由此所得新的概率空间的熵是增加
的，并用熵的物理意义加以解释。
3.（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。
4. 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。 （1）不同字母等概率出现时，计算传输的平均信息速率； （2）若每个字母出现的概率分别为pA?信息速率。 5. 证明：
1111,pB?,pC?,pD?，试计算传输的平均2488H(X1X2???XN)?H(X1)?H(X2)?????H(XN)
6 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。
压缩编码
1. 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码
C1、C2、C3、C4、C5和C6。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）；
（3） 对所有唯一可译码求出其平均码长。 消息 概率C1 C2 C3 C4 C5 C6 a1 a2 a3 a4 a5 a6
1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 0 10 110 1110 11110 0 10 1101 1100 1001 1 000 001 010 110 110 01 001 100 101 110 111 011111 111110 1111 ?S??s12. 设信源????pP(s)???1s2???p2???s6?6，?pi?1。将此信源编码成为r元唯一可译变长p6??i?1码（即码符号集X?{x1,x2,???,xr}），其对应的码长为（l1,l2,???,l6）=（1，1，2，3，2，3），求r值的最小下限。
3. 设一信源有K=6个符号，其概率分别为：
P(s1)?1/2,P(s2)?1/4,P(s3)?1/8，
P(s4)?P(s5)?1/20，P(s6)?1/40，对该信源进行霍夫曼二进制编码，并求编码
效率。
4. 某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，
那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？
5. 若有一信源
?S??s1??,??s2??P(s)???0.8,0.2?????
每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递2个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否在此信道中进行无失真传输？若能连接，试说明如何编码并说明原因。
信道容量：
1 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确
传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。
2 已知信源X包含两种消息：x1,x2，且P(x1)?P(x2)? 1/2，信道是有扰的，信宿收
?0.98y,y到的消息集合Y包含12。给定信道矩阵为：P???0.2?2?33 设二元对称信道的传递矩阵为：??1??3（1） 若P(0)=
0.02?，求平均互信息I(X;Y)。0.8??1?3??， 2?3??31，P(1)=，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； 441时的信道容量C。 2（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。 4 求下图中信道的信道容量及最佳的输入概率分布。并求当??0和
Y10X011??1??21??2
5 有一个二元对称信道，其信道矩阵为??0.980.02?。设该信道以1500个二元符号每秒的??0.020.98?速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，
P(0)?P(1)?1/2。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送
完？
6 若有一离散非对称信道，其信道转移概率如下图所示。试求：
01/21/413/411/20
（1） 信道容量C1；
（2） 若将两个同样信道串接，求串接后的转移概率； （3） 求串接后信道的信道容量C2。
7 设有一离散级联信道如下图所示。试求：
x01??y01434z0z1z2
??x114341??y1（1）X与Y间的信道容量C1； （2） Y与Z间的信道容量C2；
（3）X与Z间的信道容量C3及其输入分布P(x)。
8 若有两个串接的离散信道，它们的信道矩阵都是：
?0?0?P??1?2???00012001?01???， 00??10??并设第一个信道的输入符号X?{a1,a2,a3,a4}是等概率分布，求I(X;Z)和I(X;Y)并加以比较。
9 若X，Y，Z是三个随机变量，试证明：
（1）I?X;YZ??I(X;Y)?I(X;Z/Y)?I(X;Z)?I(X;Y/Z)； （2）I?X;Y/Z??I(Y;X/Z)?H(X/Z)?H(X/YZ)；
（3）I?X;Y/Z??0,当且仅当（X，Y，Z）是马氏链时等式成立。 10 若三个离散随机变量有如下关系：X+Y?Z，其中X和Y相互独立，试证明：
（1） I(X;Z)?H(Z)?H(Y)； （2） I(XY;Z)?H(Z)； （3） I?X;YZ??H(X)；
（4） I?Y;Z/X??H(Y)；
（5）I?X;Y/Z??H(X/Z)?H(Y/Z)。