则有
D?(1??)D1??Dmax?D0
即p0(y|x)是满足保真度D0?(1??)D1??Dmax的信道。 由失真率函数定义得到 R(D0)?p(y|x)?BD0minI[p(y|x)]?I[p0(y|x)]?
I[(1??)p1(y|x)??pm(y|x)]? (1??)I[p1(y|x)]??I[pm(y|x)]? (1??)I[p1(y|x)]?(1??)R(D1)
因为??(0,1)，所以R(D0)?R(D1)，而D1?D0?D2,所以在(D1,D2)中R(D)不是常 数，即命题不成立，R(D1)?R(D2)中等号不成立。到此证明了R(D)是连续的递减函数， 即R(D)是严格递减函数。
根据R(D)的三个性质，可以归纳三点结论：
（1）R(D)是非负函数，其定义域为0??Dmax，其值为0??H(X)；当D?Dmax时,
R(D)?0 ；
（2）R(D)是关于失真度D的下凸函数； （3）R(D)是关于失真度D的严格递减函数。
根据前面的结论可以画出离散信源信息失真率失真函数R(D)的一半曲线图形，如图7.1所 示
H(x)R(D*)0
D*DmaxD
图7.1 典型R(D)曲线
由图7.1可见，当限定失真度不大于D时，信息率失真函数R(D*)是压缩所允许的最低限度。若R(D)?R(D*)，则必有D?D*,若信息率压缩至R(D)?R(D*)，则失真度D必大于限定失真度D*。所以说信息率失真函数给出了限失真条件下信息压缩允许的下界。
7.3 限失真信源编码定理和逆定理
本届将叙述并证明两个定理：限失真信源编码定理和逆定理 7.3.1 限失真信源编码定理
假定离散n长序列无记忆信源为 ?*x2?xN??X??x1 ?????P??p(x1)p(x2)?p(xN)?接收端n长序列为Y?[y1y2?yN]，信源发送序列xk和接受序列yl均为n长序列，称Y是长度为n、码字数目为M的分组码，Y中的元素称为码字。如果单字符传输时的失真函数为d(xik,yjk)则矢量传输时的失真函数为
1n dn(xi,yj)??d(xik,yjk)
nk?1信源编码这样进行：当信源发送序列xi时，就从分组码Y中选取一个码字yj，使失真最小，即
dn(xi|Y)?mindn(xi,yj) （7——7）
yj?Y所以分组码Y的平均失真度为
dn(Y)?E{dn(Xi,Yj)}?由于信源是无记忆的，所以有 pn(xi)??p(x)dii?1Nn(xi|Y) (7——8)
?p(xk?1nik)
如果dn(Y)?D,D是预先给定的失真度，则称分组码Y是满足保真度准则D的允许码，把具有最少的码字数目的允许码记为M(n,D)。
当采用随机编码方式时，考虑到接收端输出序列分布q(yj)，则分组码Y的平均失真度为 dn(Y)?E[dn(Y)]???p(x)q(yii?1j?1NMj)dn(xi|Y) （7——9）
对于分组码(M,n)，其最大速率为 R?1logM (7——10) n 定理7.3.1 限失真信源编码定理 设离散n长序列无记忆信源为 ?x2?xN??X??x1 ?????P??p(x1)p(x2)?p(xN)?单字符失真函数为d(xik,yjk)，给定单字符失真度下的信息率失真函数为R(D),则对于任意的??0和D?0，可以找到满足保真度准则(D??)的允许码(M,n)。当n足够大时，其速率R为
R?R(D)?? （7——11） 码字数目M选取为 M?2其中R(D)的单位为bit。
证明：如果考虑所有满足d?D??和R?R(D)??的码集合，那么这个集合中至少有一个分组码B，使得d(B)?d，所以码集合B是速率R?R(D)??的满足保真度准则
n[R(D)??] (7——12)
(D??)的允许码。
按照随机编码方法，根据码字分布随机的选取M个相互独立的码字yj，
j?1,2,?,M构成分组码
B?(M,n)?[y1,y2,?,yM] 分组码B中所有码字都满足速率 R?1lbM?R(D)?? n那么，码字y1,y2,?,yM的联合分布密度q(B)为 q(B)?q(y1,y2,?,yM)??q(y) （7——13）
ij?1M式中，
q(yj)，j?1,2,3?，M是码字yj的分布密度。
对于信源输出序列xi,选取??0，则满足保真度准则(D??)的码Y的集合Ui为 (7------------14)
信息率失真函数小于R(D)??的码Y的集合Vi为 Vi??{(xi,Y):Ui?{(xi,Y):dn(xi,Y)?D??}
???1q(Y|xi)lb?D??}? （7---------15） nq(Y)?相应地随机选择的一个码字落入集合Ui中的概率为 q(Ui)?yj?Ui?q(yj) （7——16）
随机选择的M个字码都不落入集合Ui中的概率为
q*(Ui)?[1?q(Ui)]M （7——17） 所以能够在Ui中找到码字的概率为1?q*(Ui)，相应的失真度dn(xi|B)?D??；不能够在Ui中找到码字的概率为q*(Ui)，相应的失真度应小于给定的失真矩阵d(xik,yjk)中的最大元素，记为dmax，即
dmax?maxd(xik,yjk)
(ik,jk) 则分组码B的平均失真度为
dn(B)???p(xi)q(yj)d(xi|B)?i?1j?1NM?p(x){(D??)[1?qii?1NNN*(Ui)]?dmaxq*(Ui)}?imax
?p(x)(D??)??p(x)dii?1i?1Ni?1Nq*(Ui)? （7——18）
D???dmax?p(xi)dmaxq*(Ui)?D???dmax?p(xi)[1?q(Ui)]Mi?1因为集合Ui包含集合Ui?Vi，所以
q(Ui)?q(Ui即
?V)
iq(Ui)?yj?Ui?q(yj)?yj?Ui?q(y?VIj) （7——19）
由式（7——5）得
q(yj)?q(yj|xi)2?n[R(D)??] 代入式（7——19）后得 q(Ui)?利用法不等式
(1???)有
Myj?Ui?q(y?VIj|xi)2?n[R(D)??] （7——20）
?1???e?M? (0??,??1)
[1?q(Ui)]M?1?2?n[R(D)??]
yj?Ui?q(y?VIj|xi)?}
1?yj?Ui?q(y?VIj|xi)?exp{?M2?n[R(D)??]将上式代入式（7——18）中得到
dn(B)?D???dmax?p(xi)[1?i?1Nyj?Ui?q(y?VIj|xi)?exp{?M2?n[R(D)??]] （7——21）
选择M为
M?2当n??时，有
n[R(D)?2?]
?n[R(D)??] limexp{?M2n??}?limexp{?2n?}?0
n??