2.6连续信源的熵
所谓连续信源就是指其输出在时间上和取值上都是连续的信源。见图2.6.1。
各采样值的概率可用其概率分布密度函数来确定。图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。
设各种采样值之间无相关性，信源熵可写成：
?ip(xi)dxlog[p(xi)dx]
[例2.6.1]一连续信源，其输出信号的概率分布密度如图2.6.3所示，试计算其熵。
连续信源的熵不再具有非负性，这与离散信源显然不同。
同样可以定义两个连续变量的联合熵：
H(XY)????p(xy)lbp(xy)dxdy
以及定义两个连续变量的条件熵；
H(X/Y)????p(xy)lbp(x/y)dxdy H(Y/X)????p(xy)lbp(y/x)dxdy
连续信源的共熵、条件熵、单独熵之间也存在如下关系：
H(XY)?H(X)?H(Y)
2.6.1三种特定连续信源的最大熵
与离散信源不同，求连续信源的最大熵需要附加条件，常见的有三种。
1．输出幅度范围受限（或瞬时功率受限）的信源
2．输出平均功率受限的信源 3．输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理
若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 设N维随机变量
X??(a,b) biii?1Ni?ai
其均匀分布的概率密度函数为
?1?N??(bi?ai)p(x)??i?1?0??Nx??(bi?ai)i?1N
x??(bi?ai)i?1除均匀分布以外的其他任意概率密度函数记为q(x)，并用H?p(x),X?和H?q(x),X?分别表示均匀分布和任意非均匀分布连续信源的熵。在
ccbNb11bNb11???p(x)dxaNa1dx2?dxN????q(x)dxaNa1dx2?dxN?1
的条件下有
Hc?q(x),X??????q(x)logaNa1bNb12q(x)dx1?dxN
?1p(x)?????q(x)log2???dx1?dxN?q(x)p(x)?aNa1bNb12bNb1?????q(x)logaNbNb12a1p(x)dx1?dxN?
???q(x)logaNa1p(x)q(x)dx1?dxN令z?p(x)q(x),显然z?0
运用著名不等式
lnz?z?1 z?0 则
bNb12NHc[q(x),X]?????q(x)logaNa11dx1?dxN??ai)?(bi?1i?p(x)????q(x)?q(x)?1?dx1?dxN??aNa1NbNb1
?log 2?(bi?1i?ai)?1?1?Hc[p(x),X]则证明了，在定义域有限的条件下，以均匀
分布的熵为最大。
在实际问题中，随机变量Xi的取值限制在?bi之间，峰值为|bi|。如果把取值看作是输出信号的幅度，则相应的峰值功率就是b。所以上述定理被称为峰值功率受限条件下的最大连续熵定理。此时最大熵值为：
2iNNiHc[p(x),X]?log2?[bi?1?(?bi)]?log2?2b
ii?1(2)限平均功率的最大熵定理
若信源输出信号的平均功率P和均值m被
限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。
单变量连续信源X呈高斯分布时，PDF
p(x)?12??2?(x?m)2?22e
当X是高斯分布以外的其它任意分布时 ，PDF 记为q(x),由约束条件已知
???????p(x)dx?xp(x)dx?2????q(x)?1xq(x)?mxq(x)?P2?????????xp(x)dx???
??由于随机变量的方差
E[(X?m)]?E[X]?m?P?m??
222222当均值m为0时，平均功率就等于方差
?2?P，可见对平均功率和均值的限制就等
cc于对方差的限制。用H?p(x),X?和H?q(x),X?分别表示高斯分布和任意非高斯分布连续信源的熵
由前面的讨论已知