02 无损数据压缩(4)

2.1数据压缩的基本原理和方法2. 信息的量度1) 信息量及熵 (1) 信息量定义。设信源x由属于集合Am={a1,a2,…,am}的m 个可能的符号产生，若信源事件aj的概率为P(aj),则定义事 件aj的信息量I(aj)

I(aj)=-log P(aj)

(2.1)

作为事件aj所包含的信息量的量度，称为自信息。 单位：取2为底的对数，则单位为比特(bit); 取e为底的对数，则单位为奈特。