第1章 绪论
一、信息的概念
信息论是通信技术、概率论、随机过程、数理统计相结合并逐步发展而形成的一门新兴学科。
奠基人：C.E. Shannon于1948年发表―A Mathematical Theory of Communication‖，在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。
信息是信息论中最基本、最重要的概念，既抽象又复杂；信息在日常生活中被认为是“消息”、“知识”、“情报”等 。
? ―信息‖不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的
同义词，没有严格的数学含义），消息是表现形式，信息是实质；
? ―信息‖不同于情报，情报的含义比―信息‖窄的多，一般只限于特殊的领域，是
一类特殊的信息；
? ―信息‖不同于信号，信号是承载消息的物理量；
? ―信息‖不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整
理、概括、提取得到的有价值的信息，是一种高层次的信息。 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。
消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：
? 离散(数字)消息：一组未知量，可用随机序列来描述：X=(X1?Xi?Xn) ? 连续(模拟)消息：未知量，它可用随机过程来描述：X( t, ω)
1948年，香农（C.E.Shannon）发表了一篇著名的论文，“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。信息是事物运动状态或存在方式的不确定性的描述。
信息的测度：信息量与不确定性消除的程度有关。 用数学的语言来讲，不确定就是随机性，可运用研究随机事件的数学工具----概率论和随机过程来测度不确定性的大小。
某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。既然不确定性的大小能够度量，所以信息是可以测度的。
二、信息论研究的对象、目的和内容
信息论的研究对象是广义的通信系统，它把所有的信息流通系统都抽象成以下的模型：
信源。顾名思义，信源是产生消息和消息序列的源。
编码器。编码就是把消息变成适合在信道传输的物理量，这种物理量称为信号。编码器可分为信源编码器、信道编码器。信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。
信道。信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。
译码器。译码就是把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。
信宿。信宿是消息传送的对象，即接受消息的人或机器。 信息论研究的是关于这个通信系统的最根本、最本质的问题。 ? 什么是信息？如何度量信息？ ? 怎样确定信源中含有多少信息量？
? 对于一个信道，它传输信息量的最高极限（信道容量）是多少？
? 为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多
少？（无失真信源编码即香农第一定理）
? 在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率
几乎为零？（有噪信道编码即香农第二定理）
? 如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（限
失真信源编码即香农第三定理） 对信息论的研究内容一般有三种理解：
? 狭义信息论：又称香农信息论。主要通过数学描述与定量分析，研究通信系统
从信源到信宿的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在。这部分内容是信息论的基础理论。
? 一般信息论：也称工程信息论。主要也是研究信息传输和处理问题，除香农信
息论的内容外，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。
? 广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社
会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。
第2章 信源及信源熵
一、本章节教学内容、基本要求、重点与难点
教学内容：离散信源的数学模型；离散信源熵和互信息；数据处理定理。 教学基本要求：掌握信源的分类及对应的数学模型；掌握熵和互信息的定义、性质。
重点与难点：离散信源熵的含义；离散信源的互信息的含义。
二、信源的描述与分类
信源是发出消息的源，信源输出以符号形式出现的具体消息。 按照信源发出的消息在时间上和幅度上的分布情况：
1）离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。
2）连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。
一个离散信源发出的各个符号消息的集合：X?{x1,x2,?xn}，其出现的概率分别为：P?{p(x1),p(x2),?,p(xn)}，其中p(xi)称为符号xi的先验概率。把它们写到一起便得到信源的描述方式：
x1?X???????P??p(x1)x2p(x2)???? p(xn)?xn
显然有：p(xn)?0,?p(x1)?1.
i?1n单符号离散信源数学模型离散型的概率空间。
二、自信息与互信息
1、不确定性与发生概率
事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。概率等于1的必然事件，就不存在不确定性。
某事件发生所含有的信息量应该是该事件发生的先验概率的函数。
用函数f [p(xi)]来表示信息量与先验概率的关系，可以从数学上证明这种函数形式是对数形式。
2．自信息
一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。
用概率测度定义信息量： 设离散信源X，其概率空间为
?X??P(Xx2,?，xn???x1,?? ??)??p(x1),p(x2),?,p(xn)?一个随机事件xi的自信息量定义为其出现概率对数的负值。即：
I(xi)??logp(xi)
自信息量的单位与所用的对数底有关：
在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。
I(xi)代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。
3、联合自信息量
信源模型为： ?XY??P(XYx2y1,?,x2ym,?,xny1,?,xnym???x1y1,?,x1ym,?? ??)??p(x1y1),?,p(x1ym),p(x2y1),?,p(x2ym),?,p(xny1),?,p(xnym)?nm其中0?p(xiyj)?1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为
I(xiyj)?log??i?1j?1p(xiyj)?1
12p(xiyj)
当X和Y相互独立时，p(xiyj)=p(xi)p(yj)
I(xiyj)?log12p(xi)p(yj)?log12p(xi)?log12p(yj)?I(xi)?I(yj)
两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。
4、条件自信息量
设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为I(xi/yj)??log2p(xi/yj)
自信息量、条件自信息量和联合自信息量之间的关系
I(xiyj)?log12p(xi)p(yj/xi)?I(xi)?I(yj/xi)?I(yj)?I(xi/yj)?log12p(yj)p(xi/yj)
5、互信息量和条件互信息量
最简单的通信系统模型：
信源X有扰信道信宿Y干扰源
X—信源发出的离散消息集合； Y—信宿收到的离散消息集合； 信源X、信宿Y的数学模型为：
?X??P(Xx2,?，xi?,xn???x1,????)??p(x1),p(x2),?,p(xi)?,p(xn)?n0?p(xi)?1,?i?1np(xi)?1
y2,?，yj?,yn??Y??y1,????p(y),p(y),?,p(y)?,p(y)?P(Y)12jn????0?p(yi)?1,?j?1p(yj)?1
互信息量： yj对xi的互信息量定义为后验概率与先验概率比值的对数。
I(xi;yj)?log?logp(xi/yi)2p(xi)(i?1,2,?,n;j?1,2,?,m)12p(xi/yj)12p(xi)?log
?I(xi)?I(xi/yj)先验概率：信源发出消息xi的概率p(xi )。
后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。 条件互信息量：消息xi与消息对yjzk之间的互信息量为
I(xi;yjzk)?logp(xi/yjzk)2p(xi)?log12p(xi)?log12p(xi/yjzk)
条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。
I(xi;yj/zk)?logp(xi/yjzk)2p(xi/zk)?log12p(xi/zk)?log12p(xi/yjzk)
6．平均自信息（信息熵）
事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。
自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同,所含有的信息量也不同。因此自信息量不能用来表征整个信源的不确定度。定义平均自信息量来