山东科技大学2014—2015学年第二学期
《信息论与编码》期末考试试卷（A卷）答案
一、 填空（每空3分，共36分，）
1、可靠性 2、 不确定性 3、H(XY) H(X) H(X|Y)
4、信源概率P(X) 5、 1.75bit 6、信源必须传送给用户的信息量 7、 找紧致码 8、R'
logM
R(D) 9、 3 10、 0.749bit n
11、 0.0817bit 12、E=(01000000) 二、简答题（每题8分，共24分）
1、请给出信息熵的物理含义。
答：三种物理含意(1)表示信源输出后，每个消息所提供的平均信息量；(2)表示信源输出前，信源的平均不确定性；(3)表征变量X的随机性。
2、请叙述数据处理定理，并说明简要含义。 答：对于通信系统
有 H(X) I(X;Y) I(X;Z) I(X;W) L
说明，在任何信息传输系统中，最后获得的信息至多是所提供的信息。
3、若码符号个数r 2，问是否存在码长li 1,3,3,3,4,5,5的即时码，为什么？如果有，试构造出一个这样的码。
答：因为它满足Craft不等式，所以存在这样的即时码。 此码为： {0,100,101,110,1110,11110,11111}
三、计算题(本题40分，第1、2小每题15分，第3小题10分)
X a1 0a1 1a1 2a1 3
1、设离散无记忆信源 8 ，其发出的消息为
p(x)44
（202120130213001203210110321010021032011223210），求
（1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信
息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
I(a0 0) log
8
1.415比特 3