熵气象学--第三章 熵与分布
概率分布，即所谓条件概率分布。这常用p(X∣Y)表示之。可用下面的（3.16）式计算对应的条件熵H(X∣Y)
nmH(X|Y)??C??p(xi,yj)logp(xi|yj) （3.16）
i?1j?1此处的m代表y共有m个取值。当x与y无关时H(XIY)=H(X)，而在其他场合它都小于H(X)，故有
H(X|Y)?H(X) (3.17)
以上介绍的随机变量的熵公式都是针对变量是离散值(可数的，不连续的)的场合来说的。如果随机变量是连续型的变量，在多数场合可以仿(3.15)式把熵的公式写成
H(x)??Cb?f(x)logf(x)dx (3．18)
ab此式中f(x)是x的概率密度分布函数。它在上下限之内(a，b)对x的积分也应当等于1(归一性)。即也应有
1??f(x)dx (3．19)
ab对于连续型变量，由于有时也有条件概率密度分布函数f(x∣y)存在，所以有对应的条件熵H(X∣Y)存在。这可写成
H(X∣Y)??C??f(x,y)logf(x∣y)dxdy(3．20)
上述积分都应从x(或y)的下限积到上限。对于连续变量的条件熵，它的最大值为无条件熵。即(3.17)式对
78
熵气象学--第三章 熵与分布
它也适用。
对于熵还有一种更为精练的提法，这就是把熵视为随机变量(如x)的函数-logp(x)的数学期望值(平均值)。
我们知道随机变量x的数学期望值E(x)实际上是
E(x)??xip(xi)
由于x确定以后p(x)的值也确定了，随之log p(x)的值也确定了，所以我们可以把p(x)或log p(x)看成x的函数。考虑到x的函数Φ(x)的数学期望值应写成
E[?(x)]???(xi)p(xi)
所以熵公式(3.15)、(3.18)可写为
H(x)??CE[?logf(x)] （3.21）
这表明熵是随机变量的一个特定的函数[-log p(x)]的平均值。这种提法也帮助我们理解熵的含义。对于条件熵，我们也能写出类似的表达式(从略)。
如果连续型随机变量x遵守正态分布，即
f(x)?12??2 (3.22) exp{?12[(x?a)/?]}式中σ和a分别为其标准差和平均值。即
???f(x)(x?a)2dx (3.23)
??2?a??xf(x)dx (3.24)
???则x的熵可以依(3.18)式求得为
H(x)?ln(2??e??) nat (3.25) 这里e=2.71828。
79
熵气象学--第三章 熵与分布
所以当已知某变量遵守正态(高斯)分布时，只要知道它的标准差值(均方差)是多少，即可求出它的熵。而其平均值对此并不起作用。
连续型随机变量x如果经过一次函数变换变成了另一个连续型的变量y，那么y的熵值H(y)可由下式求得[5]
：
(3.26) H(Y)?H(X)??f(x)logdydxdx???如果已知某地的风速(x)的概率密度分布函数为
f(x)，当求单位质量空气的动能的熵值时即可利用动能为(1/2) x 2的关系代入上式求动能的熵[见(4.3)节]。
特别地，当y与x为线性关系时，即有 y=ax+b (3.27)
关系时(a,b为常数)(3.26)式简化为
H(Y)?H(X)?loga (3.28)
这个式子在单位变换中是经常用到的。这一点显示出连续变量的计量单位变了，求得的熵也要变。由此引申出“负熵”问题，“连续变量”的绝对熵问题将移到负熵一节再讨论。
§5 熵与分布
利用公式(3.15)或(3．18)我们可以在已知具体的概率分布函数时把它对应的信息熵值是多少计算出来。换句话说：
每一个概率分布都对应着唯一的一个信息熵值
上述结论对我们以后的讨论是十分重要的。
上述说法也可以简述为熵是概率分布这个函数的函数。这里熵的值不是像一般函数关系那样由另一个变量
80
熵气象学--第三章 熵与分布
的值决定，而是由一个函数决定。函数形式变了，熵值也变了。数学上把其取值由另一个函数所决定的关系称为泛函。即函数的函数。所以也可以说熵是概率分布的泛函。
一个随机变量的平均值的大小显然是与该变量取各种值的概率分布有关。所以平均值也是概率分布的泛函。
在第一章介绍了一些似乎与概率分布无关的分布问题。但是一经分析发现它们对应的相对分布函数实际上是与一个概率密度分布函数对应(等价)的。这样，我们又可以进一步说：
每一个分布函数都对应着唯一的一个信息熵值。 依此思路不难看到第一、二章介绍的众多的分布函数都与熵有着联系。正是这种联系为把熵的原理引入气象分布的成因分析找到了途径。
§6 物理场的熵
熵这个概念在热力学中都是针对具体物质而言的。这一节则沿着熵与分布对应的思路把熵与物理场联系起来。我们想指明：
一切的物理场都对应一个熵值
实际上只要看到每个物理场中必然存在着一个分布函数，利用上一节指出的每个分布函数都对应着一个熵，就可以把这个熵定义为物理场的熵。
一般地说，如果某一特定的空间(三维，也可以仅是一、二维)中的每一个点就某物理量(如气压、温度、电位 ……)而言在某一瞬间仅有唯一的值。而且不同的几何点上这个值不尽相同，就把这个空间称为是个物理场。温度在大气中的分布、区域天气图上的等压线分布、某地的测风、探空纪录，反应炉内各处的某化学成分的分
81
熵气象学--第三章 熵与分布
布、土壤中不同部位的细菌个数、电核四周的电场分布都可以归入物理场的概念内。
所谓特定的空间，一般地说，它的体积(面积、长度)都是指有限值。按第一章第二节的作法，把这个空间分成充分多的N块，每块要足够小，使研究的物理量仅有唯一值，这样不难求出物理量取各种值者各占了多少。其作法与一章二节介绍的完全一样，我们就得到了关于物理场的分布函数。把这个函数变成概率分布函数就可以依信息熵的公式[即(3.15)或(3.18)]求出一个熵值。这个熵就与物理量在物理场中的分布有关。把它称为物理场的熵是很自然的。
而一旦我们把上述熵称为物理场的熵，也就把熵概念从实在物质扩大到物理场了。与热力学熵相比，这向前跨出了一步。文献[6]在1986年首先提出了物理场熵一词。而众多气象要素场的分布都是形成这种认识的实例。
(3.15)或(3.18)式中都含有一个待定系数C。我们也曾从对数的底取不同值(如2，10，e)的角度讲过C值的调节作用。但是应当指出仅这么讲是不够的。参数C隐含的意义尚未全部揭示出来。
在热力学中人们说熵是个广延量。如果1克物质的熵为x，那么m克物质的熵就是mx。在信息论中不讲广延性。但是如果每一个讯号的不确定性(不肯定性)为x (即熵为x)则m个讯号的信息熵也是mx。
82