熵气象学--第三章 熵与分布
热量δQ与当时温度的比值去计算这个变化量的大小。
p AB v 图3.1 介质的热力学状态从A-B
在很多计算中，人们关心的是上述变化量是多少。而对于熵的绝热值究竟是多少并不计较。不过在热力学中有一个热力学第三定律，它明确指出一切物质的温度达到绝对零度时，它的熵值就变成零了。熵有了这个绝对标度再与其他物态方程联系起来就可以定出在各种温度压力下每摩尔化学物质的熵值。
从(3．6)式可以看出热力学熵的单位应当是焦尔/开 (JK-1)。它是针对一定的工作介质而言的。有时针对每单位质量或每摩尔的工作介质的熵作分析，熵的单位变成了焦 尔/克·开(J/g-1K-1)或焦尔/摩尔开(Jmol-1K-1)。前者有时称为比熵，后者称为摩尔熵(我们常以小写的s表示)。
73
熵气象学--第三章 熵与分布
热力学熵的另一个重要特征是它在不可逆过程中要自行加大。这时(3.6)式要改写成
dS>δQ/T (3.9)
这些涉及热力学第二定律的问题将在第五章讨论。热力学熵在气象上的一个应用就是位温。这放在下一章再介绍。
§3 玻耳兹曼熵
把热理解为微观尺度的分子运动是19世纪物理学的一个进步。与此对应，对热力学的熵是否也能提供一种微观的解释?
奥地利学者玻耳兹曼在19世纪70年代对此作了研究。他发现熵的性质与物质系统处于平衡态时所对应的微观能量配置状态的可能实现办法的多少是有关的。上述实现办法越多，熵也越大。定量地讲如以Ω表示实现办法的个数，那么熵与Ω的对数值成正比。这可写成
S=klnΩ (3.10)；
上式中S仍为该物质系统的热力学熵。k是玻耳兹曼常数。
这个式子把一个纯热力学量——熵与微观状态的个数Ω联系了起来。方程式右侧现在常被称为玻耳兹曼熵，或统计力学熵。常数k的值是1.38×10-23J/K。它是用气体常数R被1mol的分子个数去除而得到的。在第五章我们再对(3.10)作解释。
§4 信息熵
一枚硬币落在桌子上，事先能知道哪一面朝上吗?不能。一个骰子掷出去之前，能预知哪个点向上吗?也不能。这些实验在进行前我们是不知其结局的。但对比以上两
74
熵气象学--第三章 熵与分布
个实验的 可能结局，可以看出两个实验的结局的不确定程度是有差别的。预言硬币的正面向上会有50％的准确率，而预言“3”点向上的准确率仅有1/6。
这启示我们如果定量研究结局的不确定程度就应当它把与可能结局的个数，甚或每个结局的出现概率联系起来。
1928年统计学家哈特利(R．V．L．Hartley)就把等可能结局的个数n的对数值称为信息量。现代信息论(关于通讯的数学理论)的创始人申农则把它称为不确定性(程度)。文献中多以H表示某一实验结局的不确定程度。这样就有
H=Clogn (3.11) 这里的常数C可以取任何值。
申农把前述随机事件结局的不确定性称为信息熵。 从(3．11)式看结局的可能个数n越大，不确定程度越大。显然掷骰子的结局个数(6)比掷硬币的两个可能结局要多，所以前者的信息熵(10g6)就比后者大。如果让你从一个袋子中，任意取一个球出来，而袋子里共有100个标号不同的球，那么这一实验进行前具有的不确定性就比掷骰子或掷硬币更大。此时信息熵H=logl00。
如果共有n个等可能结局，那么每个结局的出现概率P就是1/n 。所以(3.11)式也可以写成
H=-Clogp (3.12)
这样信息熵就与概率问题初步联系起来。
信息熵计量的是随机实验的结局的不确定性。自然界中存在着大量的随机事件，这些随机事件的出现概率如果并不相等，那么(3.12)式还难以应用。把(3.12)式推广为各随机事件出现概率不尽相等时熵的计算式是申农的重要贡献。他给的普遍形态下的熵的公式是
75
熵气象学--第三章 熵与分布
H??C?i?1pilogpi
n（3.13）
如果某一随机实验共有n个可能结局。我们可以说集合 A共有n个元素A={A1，A2，…，An}而每个元素都有一个出现概率(在随机抽样实验时)pi，(i=1，2，…，n)， 那么这种随机实验的结局的不确定性就由上式算出。
表3.1 集合A中各元素出现的概率 元素名称 A1 A2 A3 … An 出现概率 p1 p3 p3 … Pn
值得补充的是上述求和由于是针对集合内的所有元素，所以其概率p的合计值应当等于l。这就是概率论中讲的归一性。对此可写成
1???i?1pi (3.14)
例如某地的各种天气的出现概率如表3.2中给出的值，则依(3.13)式的熵公式可求得其熵值为0.66。
表3.2 某地各种天气的出现概率
天气
晴
多云
概率
.36
.25
阴天 .21
小雨 .11
中雨
大 雨
暴 雨 .007
合计 1
n.04 .023
在上述计算中我们人为地把常数C取为1。此时求得的熵称为哈特利。故某地的天气熵为0.66哈特利。如果公式中对数的底不是10而是其他的值，根据对数换底公式这相当于改变常数C的值。在科技文献中则常常用不同名称称呼不同对数底的熵值。其名称还有比特、字节、纳特这几个。它们的对数底、英文名、换算关系我们列于表3.3中。
表3.3 几种信息熵的单位
76
熵气象学--第三章 熵与分布
中文名 比特 Bite bit 2 1bit=0.125B=0.301030 Hartley 字节 哈特利 奈特，Natural 纳特 unite nat e 1nat=1.44695Bit=0.434294 Hartley (4) Byte Hartley B 256 1B=8Bite 1 Hartley=3.321928bit (2) (3) (1) 英文名 缩写 对数底 换算关系 注 Hartley 10 (1) 计算机、通讯一般信息计算。每秒传送的比特称为波特baud (2) 计算机存储量。 KB,MB,GB是它的1千、百万、10亿倍 (3) 一般信息熵计算
(4) 一般信息熵计算，尤其是连续型变量，统计物理
在概率论中，随机实验的结局如能用数值来表示，则称此变量为随机变量。所以有时以p(xi)来代替(3．13)式中的pi 。这样熵公式(3.13)变成了下式。
H(X)??C?p(xi)logp(xi) (3.15)
符号H(X)表示H是随机变量X的熵。p(xi)表示x取值为xi这种事件出现的概率。有时也把它称为关于x的概率分布。
4]
申农等人揭示了熵函数的一系列性质[3，’限于篇幅，这里不一一介绍了。
当把熵函数写成(3.15)式时其随机变量x可以是一般的标量，也可以是一个矢量。当其为矢量时概率分布就由相应的矢量中各分量的联合概率分布所代替。这种熵有时称为复 合熵。
当随机变量y与随机变量x有关系时，除了有x，y的联合概率分布p(xi，yj)以外，还有当y已知时的x的
77