I (a1 1) log 4 2 比特 I (a2 2) log 4 2 比特 I (a3 3) log 8 3 比特
在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为：
I 14 1.41 51 3 21 2 2 6 3比特87. 81
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为
I
87.81
1.95 比特/符号 45
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得
H ( X ) P(x) log P(x) 1.91比特/符号
2、对于二元对称信道的输入概率空间为
1 X 0
(0 1)。 P(X)
1
信道特性如右图所示，求其平均互信息。
解：
I(X;Y) H(Y) H(Y|X) H(Y)
P(x)X
Y
P(y|x)
11 11
H(Y) P(x) plog log H(Y) plog log
p p X
H(Y) H(p)
由于 P(y 0) (1 )p p
P(y 1) p (1 ) p
所以 I(X;Y)
H(Y ) )H( p
( p)log
1111
( p )log plog log
p p p
H( p) H(p)
3、设某(7,3)循环码，其生成多项式g(x) x x x 1。 (1) 列出其所有码字，并求此码的最小码距； (2) 写出其系统循环码的标准生成矩阵； (3) 写出此码的校验多项式及标准校验矩阵。 解：(1) 所有的码字为：
2
4
2