H(X)__H(X)
1 K
log2mlog2m
其平均信息率满足不等式：H(X) R H(X)
第三章 信道容量
一、信道容量（C）
1. 定义： 在信道中最大的信息传输速率
C maxR maxI(X;Y)
p(xi)
p(xi)
(比特/信道符号)
单位时间的信道容量Ct：
Ct I(X;Y)tmax
p(xi)
(比特/秒)
2. 几种特殊信道的信道容量 （1）具有一一对应关系的无噪信道 （2）具有扩展性能的无噪信道 （3）具有归并性能的无噪信道
二、香农公式
Ct Wlog2(1
PX
)(bi/ts) PN
1. 比值
PX
称为信道的信噪功率比 PN
2. 香农公式说明：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。
香农第二定理——信道编码定理
信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 R<C，总可以找到一种编码，当 L 足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。反之，当 R>C时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。