信息论基础(10)

1.2信息论的基本内容

信息的度量：信息论中核心问题是信息的度量，然而要给通常意义下的信息给出一个统一的度量是困难的。但在通信模型中，香农给出的信源熵是最为合理、也是最为成功的一个信息度量。熵的表达式为：H ( P) pi ln pii 1 n

H (P)表示了信源中各个符号所提供信息的平

均值，反映了“不确定性”的一个度量。借用了统计物理中热分子运动中“熵”的概念。2012/2/19