信息论与编码讲义
李益才
重庆交通大学信息科学与工程学院
2010-9
目 录
第1章 绪论 ..................................................................................................... 6
一、信息的概念 .......................................................................................... 6 二、信息论研究的对象、目的和内容 ............................................................. 6 第2章 信源及信源熵 ........................................................................................ 8
一、本章节教学内容、基本要求、重点与难点 ................................................ 8 二、信源的描述与分类 ................................................................................ 8
二、自信息与互信息8
1、不确定性与发生概率 ........................................................................ 8 2．自信息 ........................................................................................... 8 3、联合自信息量.................................................................................. 9 4、条件自信息量.................................................................................. 9 5、互信息量和条件互信息量................................................................ 10 6．平均自信息（信息熵） ................................................................... 10 7、条件熵 ......................................................................................... 11 8、熵的基本性质和定理 ...................................................................... 11 9、平均互信息量................................................................................ 13 10、平均互信息量的性质 .................................................................... 14 11、各种熵之间的关系 ........................................................................ 16 三、例题 ................................................................................................. 17 第3章 多符号离散信源 ................................................................................... 21
一、本章节教学内容、基本要求、重点与难点 .............................................. 21 二、离散多符号信源 ................................................................................. 21
1、相关概念及数学模型 ...................................................................... 21 2．离散无记忆信源的序列熵................................................................ 22 3．离散有记忆信源的序列熵（平稳） ................................................... 23 4．马尔可夫信源................................................................................ 25 三、信源冗余度及意义 .............................................................................. 26 四、例题 ................................................................................................. 27 第4章 无失真信源编码 ................................................................................... 32
一、信源编码的相关概念 ........................................................................... 32
1．编码............................................................................................. 32 2．码的分类 ...................................................................................... 32 二、定长编码定理 .................................................................................... 33 三、变长编码定理 .................................................................................... 34
1．单个符号变长编码定理 ................................................................... 34 2．离散平稳无记忆序列变长编码定理 ................................................... 34
四、几种编码方法 .................................................................................... 34
1．香农编码方法................................................................................ 34 2．费诺码编码方法 ............................................................................ 35 3．哈夫曼编码方法 ............................................................................ 35
第5章 率失真函数与限失真信源编码................................................................ 36
一、失真测度与失真矩阵 ........................................................................... 36
1．失真函数 ...................................................................................... 36 2. 失真矩阵 ....................................................................................... 36 3．平均失真度 ................................................................................... 37 二、率失真函数 ........................................................................................ 37
1．D失真许可信道............................................................................. 37 2．率失真函数的定义 ......................................................................... 37 3．信息率失真函数的性质 ................................................................... 38 三、率失真函数的计算 .............................................................................. 39 四、限失真信源编码定理 ........................................................................... 40 五、计算 ................................................................................................. 40 第6章 信道及信道容量 ................................................................................... 45
一、信道模型 ........................................................................................... 45 二、离散单符号信道及信道容量 ................................................................. 45
1．离散单符号信道的数学模型 ............................................................ 45 2．信道容量的概念 ............................................................................ 45 3．几种特殊信道及其信道容量 ............................................................ 46 4．离散对称信道的信道容量................................................................ 47 三、离散多符号信道及信道容量 ................................................................. 49 四、组合信道及信道容量 ........................................................................... 50
1．独立并联信道................................................................................ 50 2．级联信道 ...................................................................................... 51 五、例题 ................................................................................................. 51 第7章 有噪信道编码（线性分组码）................................................................ 54
一、本章节教学内容、基本要求、重点与难点 .............................................. 54 二、基本概念 ........................................................................................... 54 三、一致监督方程和一致监督矩阵 .............................................................. 54 四、线性分组码的生成矩阵........................................................................ 57 五、线性分组码的编码 .............................................................................. 59 六、线性分组码的最小距离、检错和纠错能力 .............................................. 60 七、线性分组码的伴随式 ........................................................................... 63
1、伴随式和错误检测： ...................................................................... 63 2、伴随式计算电路： ......................................................................... 65
八、线性分组码的译码 .............................................................................. 66
1、最佳译码准则（最大后验概率译码MAP） ........................................ 66 2、标准阵列译码................................................................................ 66
第8章 有噪信道编码（循环码） ...................................................................... 69
一、本章节教学内容、基本要求、重点与难点 .............................................. 69 二、循环码的定义 .................................................................................... 69 三、循环码的生成多项式 ........................................................................... 70
1、循环码的生成矩阵 ......................................................................... 70 2、循环码的生成多项式 ...................................................................... 70 四、循环码的监督多项式和监督矩阵 ........................................................... 71
1、循环码的监督多项式 ...................................................................... 71 2、循环码的监督矩阵 ......................................................................... 71 五、系统循环码 ........................................................................................ 72 六、循环码的编码电路 .............................................................................. 73
**多项式运算电路 .............................................................................. 73 1. 非系统码编码电路 .......................................................................... 78 2. 系统码编码电路 ............................................................................. 79 七、循环码的译码 .................................................................................... 81
1、接收矢量伴随式计算 ...................................................................... 82 八、循环码的通用译码法 ........................................................................... 85
(1) 循环码的译码器的组成（梅吉特译码法） ........................................ 85 (2) 循环码译码电路工作过程 ............................................................... 85
第8章 有噪信道编码（循环码） ...................................................................... 87
一、本章节教学内容、基本要求、重点与难点 .............................................. 87 二、卷积码的基本概念 .............................................................................. 87
1、什么是卷积码................................................................................ 87 2、卷积码的生成序列、约束度和约束长度 ............................................ 87 三、系统形式的卷积码 .............................................................................. 90 四、卷积码的编码 .................................................................................... 92
1、串行输入、串行输出的编码电路 ...................................................... 92 2、 (n－k)·m 级移位寄存器构成的并行编码电路（Ⅰ型编码电路） .......... 93 (3) k·m 级移位寄存器编码电路（Ⅱ型编码电路）................................... 94 (4) 结论 ............................................................................................ 96 五、卷积码的矩阵描述 .............................................................................. 96
1、卷积码的生成矩阵 ......................................................................... 96 2、卷积码的监督矩阵 ........................................................................100 六、卷积码的译码 ...................................................................................100
1、卷积码的状态转移图与栅格描述 .....................................................100
2、维特比译码的基本原理 ..................................................................103