2002 Copyright EE Lab508
3 3 4 4 4 8220 221 2220 2221 2222 piniS5 S6 S7 S8 S9（不使用） 0.05 0.05 0.05 0.05 0 ?n??i?1 ?0.3?1?0.2?1?0.2?2?0.1?2?0.05?3?0.05?3??0.05?4?0.05?4 ?1.8 码符号/信源符号
6.7设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U:{ α1,α2,?,αr },编码后所得的码符号可以看作一个新的信源
?U: a1 a2 ? ar [U?P]:?P(U): p p ? p12r?试证明:当N→∞时,limpi?N??1r(i?1,2,?，r).
证明:
?H.F.
2002 Copyright EE Lab508
对信源S的N次扩展信源由平均码长的界限定理H(SNS进行Huffam编码,得到的编码是无失真非,有:N延长有效码.)logr则?H(SH(S)logr?nN?NH(SN)logr??1N)N?logr?nNNH(S1N)N?logr??1N 其中,为N次扩张信源每个符号需要的平均码长码长?n?H(S)logr 其中n为信源S每个符号所需要的平均对上式各项求极限?limH?logrH(S)logr,不等式仍成立H(S)logr?1N)N???limn?lim(N??N???limn?N??H?logr?H?r定理,有?H(S)nN?limn?N??H?logr同时由无失真信源编码编码速率R?H(SnNN??N)?R??limR?limN??H(SnN)?limH(S)nN???H?H?logr?logr bit/symble?在N??时,编码速率即码符号集可见,对于码符号集由信源熵的最大值定理?limpi?N??U每一符号所包含信源的平均信息量R??logr,U,在N??时提供的信息量达到了知,此时各符号等概出现:最大Hmax(U)?logr1r(i?1,2,?,r)6.8设某企业有四种可能出现的状态盈利、亏本、发展、倒闭,若这四种状态是等概率的,那么发送每个状态的消息量最少需要的二进制脉冲数是多少?又若四种状态出现的概率分别是:1/2,1/8,1/4,1/8,问在此情况下每消息所需的最少脉冲数是多少?应如何编码? 解:
设S:{S1=“盈利”,S2=“亏本”,S3=“发展”,S4=“倒闭”},
(1)若四种情况等概率出现时,即p(S1)=p(S2)=p(S3)=p(S4)=0.25时,用脉冲来表示各信息可视为对信源S进行编码,由平均码长界限定理知: n?H(S)logr?H(0.25,0.25,0.25,0.25)log2?2 脉冲数/信源符号
所以发送每个状态的信息最少需要2个二进制脉冲.
(2) p(S1)=1/2,p(S2)=1/8,p(S3)=1/4,p(S4)=1/8时,由平均码长界限定理:
?H.F.
2002 Copyright EE Lab508
n?H(S)logrH(?1111,,,)72848? 脉冲数/信源符号
log24所以此情况下每消息所需的最少脉冲数是1.75个.
达到此下限时要求各消息对应码长ni与出现概率p(Si)关系为:p(Si)=2,则 n1=1,n2=3,n3=2,n4=3.
对信源进行Huffman编码:
码长 编码 1 2 3 0 10 100 -ni
信符 S1 S3 S2 信符概率 1/2 1/4 1/8 0 1 1/2 1/4 1/4 1/2 0 1 1/2 0 1 3 101 S2 1/8 可见上面编码符号最小码长条件,可使发送每信息的脉冲数最少.
6.9设某信源的信源空间为:
?S: s1 s2 s3 s4 s5 s6 s7?[S?P]:?1111111
?P(S): 24816326464?试用U:{0,1}作码符号集,采取香农编码方法进行编码,并计算其平均码长n. 解: 码长 1 2 3 4 5 6 6 7编码 0 10 110 1110 11110 111110 111111 信符 s1 s2 s3 s4 s5 s6 s7 信符概率 1/2 1/4 1/8 1/16 1/32 1/64 0 1/64 1 1/2 1/4 1/8 1/2 1/4 1/8 1/2 1/4 1/8 1/2 1/2 1/16 1/16 0 1/32 0 1/8 1 1 1/16 1/32 0 1/4 1 0 0 1/2 1 1 1/4 ?n? ??i?1pini14?2?18?3?116?4?132?5?164?6?164?6
12?1? ?1.96875 码符号/信源符号第七章抗干扰信道编码
7.4设有一离散信道，其信道矩阵为：
?H.F.
2002 Copyright EE Lab508
?1?2?1[P]???4?1??41412141?4?1?? 4?1?2??(1) 当信源X的概率分布为р(?1)＝2/3，р(?2)＝р(?3)＝1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率Pemin．
(2) 当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率
Pemin． 解：
(1)计算后验概率，有：3p(b1)??i?1P(ai)P(b1ai)?P(a1)P(b1a1)p(b1)p(b2)P(a1)P(b3a1)p(b3)3512?47473, p(b2)?45?i?1P(ai)P(b2ai)?P(a2)P(b1a2)p(b1)P(a2)P(b2a2)p(b2)P(a2)P(b3a2)p(b3)72411027173, p(b3)??i?1P(ai)P(b3ai)?P(a3)P(b1a3)p(b1)P(a3)P(b2a3)p(b2)P(a3)P(b3a3)p(b3)7241;?P(a1b1)?P(a1b2)?P(a1b3)?, P(a2b1)??, P(a3b1)?, P(a3b2)??101727;;P(a1)P(b2a1)?, P(a2b2)?, P(a2b3)?????, P(a3b3)??.?取解码规则为：Pemin?1?F(b1)?a1 F(b2)?a1 F(b3)?a1*?j?1p(bj)p(abj)?13(2)由信道矩阵，取译码规由于信源等概分布则为：F(b1)?a1 F(b2)?a2 F(b3)?a333?pe?pemin?1??j?1p(a)p(bja)?****??j?1i?**p(ai)p(bjai)?12
7.5某信道的输入符号集X：{0，1/2，1}，输出符号集Y：{0，1}，信道矩阵为：
0?11?1[P]??221??00?1?? 21??现有四个消息的信源通过这信道，设信息等概出现。若对信源进行编码，我们选这样一种码：C:{(x1,x2,1/2,1/2)}，xi=0,1(i=1,2)
其码长n=4，并选取这样的译码原则：?(y1,y2,y3,y4)=(y1,y2,1/2,1/2) (1) 这样的编码后信息传输效率等于多少？
(2) 证明在选用的编码规则下，对所有码字有Pe＝0。 解：
?H.F.
2002 Copyright EE Lab508
(1)?信道输入等概出现(2)证明：22j?R?logMN?log442?0.5 bit/symble?Pe??P(bj?1)Pej??P(bj?1j)(1-PRj)??P(bj?1j)(1-P{X?F(bj)?ai/bj})
?P(0)(1?1)?P(1)(1?1)?0?在这样的译码原则下，对所以的码字Pe＝0。7.6考虑一个码长为4的二进制码，其码字为w1=0000；w2=0011；w3=1100；w4=1111。若码字送入一个二进制对称信道（其单符号的误传概率为p，p<0.01），而码字的输入是不等概率的，其概率为：p(w1)=1/2，p(w2)=1/8，p(w3)=1/8，p(w4)=1/4 试找出一种译码规则使平均错误概率Pemin=Pe。
解：由于信道为二进制对称信道，所以先验概率等于后验概率，且p<0.01，故可以根据信道输出的24个码字的最大后验概率选择译码规则，即可使平均错误概率Pemin=Pe。 发送概率 收到码字 0000 w1=0000 w2=0011 w3=1100 w4=1111 译码规则 121P 48181818181818181818181818PP 2218181818181818181818181818PP 2214141414141414141414141414P 4F(0000)=0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 121212121212121212121212PP PP PP PP PP PP PP PP PP PP PP PP 223222233222232233PP PP P PP PP PP PP PP PP PP PP P 4322223322223433PP PP P PP PP PP PP PP PP PP PP P 4322223322223433PP PP PP PP PP PP PP PP PP PP PP PP 223222233222232233F(0001)=0000 F(0010)=0000 F(0011)=0011 F(0100)=0000 F(0101)=0000 F(0110)=0000 F(0111)=1111 F(1000)=0000 F(1001)=0000 F(1010)=0000 F(1011)=1111 F(1100)=1100 ?H.F.