信息量、信道容量和率失真函数。需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。 8.1.3 连续信源的最大熵
我们知道，对于离散信源，当所有消息独立等概分布时，其熵值最大。对于连续信源，当存在最大熵值时，其概率密度函数p(x)应该满足什么条件呢？下面将讨论这一问题。 实际上，上述问题就是求当H(X)满足 H(X)??????p(x)logp(x)dx
为最大条件下，求解p(x)，且p(x)满足概率密度的定义。在具体应用中，我们只对连续信源的两种情况感兴趣，一是信源输出幅度受限，二是信源输出平均功率受限。利用数学表达式表达两种情况，可以写为
???-??p(x)dx?1 xp(x)dx?m (x?m)2p(x)dx??2
??????首先我们讨论信源输出幅度受限条件下信源的最大熵。 定理8.1.1 对于服从均匀分布的随机变量X,具有最大输出熵。 证明：该问题为在约束条件 下，求
H(X)??达到最大值的p(x)。 令
F[p(x)]?H[X]??[?bap(x)dx?1
?bap(x)logp(x)dx
?p(x)dx?1]
ab对上式求关于p(x)的偏导数，并令其为0，则
?F[p(x)]b???????[?p(x)logp(x)??p(x)?]?dx?0 a?p(x)b?a???p(x)取e为底得对数，化简后得
?lnp(x)?1???0 解得
p(x)?e??1 因为
则有
e所以
??1?bap(x)dx??e??1dx?1
ab?1 b?a?1(a?x?b)? p(x)??b?a （8——3）
其他??0从以上证明可以看出，输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵。该结论与离散信源在以等概率出现达到最大输出熵的结论类似。 下面讨论平均功率受限条件下的最大熵。
定理 8.1.2 对于服从均值为m，方差为?的高斯分布的随机变量具有最大输出熵。 证明：该问题为在约束条件 下，求
2???-??p(x)dx?1 xp(x)dx?m (x?m)2p(x)dx??2
?????? H(X)??达到最大值的p(x)。 令
????p(x)logp(x)dx
F[p(x)]?H(x)??1[?p(x)dx?1]??2[?xp(x)dx?m]???
??????3[?(x?m)2p(x)dx??2??]令
?F[p(x)]?p(x)?0
取e为底得对数，则有
?lnp(x)?1??1??2x??3(x?m)2?0 解得
p(x)?exp{?1?1??2x??3(x?m)2} 将上式代入约束条件关系式，可以得到 e?1?1?12??
?2?0
??13?2?2 故
p(x)?12??exp?{(x?m)2 2?2} （8——4）
H(X)??????p(x)logp(x)dx????(x?m)2???p(x)log2??dx???2?2p(x)dxloge? log2???12loge?log(2??e?)
8——5） （
上式表明，具有高斯分布的连续信源的熵最大，且随平均功率的增加而增加。 8．1.4 联合熵、条件熵和平均交互信息量
定义8.1.2 设有两个连续随机变量X和Y,其联合熵为 H(X,Y)??????????p(xy)logp(xy)dxdy （8——6）
式中p(x,y)为二维联合概率密度。
定义8.1.3 设有两个连续随机变量X和Y,其条件熵为 H(Y|X)??或
H(X|Y)???????-?-?p(xy)logp(y|x)dxdy （8——7）
???-?-?p(xy)logp(x|y)dxdy （8——8）
式中p(y|x)和p(x|y)为条件概率密度。
定义8.1.4 两个连续随机变量X和Y之间的平均交互信息量为 I(X;Y)?H(X)?H(X|Y) (8——9) 或
I(X;Y)?H(Y)?H(Y|X) (8——10) 可以证明：
I(X;Y)?H(X)?H(Y)?H(X,Y) (8——11) 证明：
I(X;Y)?H(X)?H(X|Y)?H(X)??H(X)??
?????????p(xy)log(x|y)dxdy?p(xy)logp(xy)dxdy?pY(y)??????1H(X)??pY(y)logdy???pY(y)
????????p(xy)logp(xy)dxdy?H(X)?H(Y)?H(X,Y)由上述推导可以看出，有 I(X;Y)?I(Y;X) 并且
H(X,Y)?H(X)?H(Y)??
???????p(xy)logpX(x)pY(y)dxdy?p(xy)??故有
??????p(xy)[pX(x)pY(y)?1]logedxdy?0p(xy)
I(X;Y)?0
上述定义与离散信源的有关关系式完全类似。由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和极值性。但可以证明连续信源的平均交互信息量具有非负性，并且存在如下的一些关系式。 （1）H(X,Y)?H(X)?H(Y)
（2）H(X|Y)?H(X)和H(Y|X)?H(Y) 当信源相互独立时，（1）（2）中的等号成立。
（3）对于多元联合信源，若其联合概率密度为p(xy?z)，则其共熵为 H(X,Y?,Z)??并且存在
H(X,Y,?,Z)?H(X)?H(Y)???H(Z) 当信源彼此独立时，等号成立。 8.1.5连续信源的熵速率和墒功率
信源在单位时间内输出的熵称为信源的熵速率。连续信源的熵是连续信源每个样值的熵，它由信源概率分布密度来表示。如果信源是时间连续、信号带宽为B的连续信源，根据随机信号的采样定理，可用2B的速率对信源进行采样。因此，连续信源的熵速率为
??????????p(xy?z)log(xy?z)dxdy?dz
???