二、信息率失真函数R(D)
R(D)
p(bj/ai) PD
minI(X;Y)
已知信源概率分布为
a2, , X a1,
p(a),p(a), ,p(a)2 i 1an
p(an)
失真函数为d(ai,bj) 1. 求Dmin，Dmax （1）Dmin
p(a)mind(a,b)
i
i 1
j
i
j
n
（2）Dmax min
j
p(b)D
j
j 1
n
j
，其中，Dj
p(a)d(a,b)
i
i
j
i 1
n
2. 求R(Dmin)，R(Dmax) 对于n元等概率分布信源，
D
R(D) lnn
香浓第三定理——信源编码定理
限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 D ( C ) D ；反之，若 R<R(D)，则无论用什么编码方式，必有 D ) D ，即译码平均失真必大于(C允许失真。
信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。
信源编码的目的是提高通信的有效性。
D
ln
(n 1)
(1
D
)ln1(
D
)