适用于环路时延大的高速传输系统中，如卫星通信
信息反馈方式(IRQ)
接收端：把接收到数据，原封不动的通过反馈信道送回发送端
发送端：比较发送数据和反馈数据，如发现错误，则重新发送出错的消息，直到没有发信错误为止
优点：不需要检、纠错、编、译码器，控制设备和检错设备较简单
缺点：需要反馈信道，环路时延较大，发送端需要存储器存储已经发送的码组
仅适用于传输效率较低，数据信道错误率较低，有双向传输信道和控制简单的系统中
传输速率：自动要求重传(ARQ)通信效率低，混合差错控制(HEC)传输速率较高，信息反馈方式(IRQ)传输速率较低。
1.24：对于如图1.1所示的BSC信道，信源符号发生的概率为P(x1)=0.6,P(x2)=0.4, 求(1) 信源X中事件x1和x2分别的自信息(以比特为单位)；(2)接收符号yi(i=1,2)发生的概率；(3)求条件概率P(xi|yi)；(4)收到消息yi(i=1,2)后，获得的关于xi(i=1,2)的信息量；(5)x和yi之间的互信息；(5)信源X和信源Y的信息熵；(6)条件熵H(X|Y)和H(Y|X)
（1） X1的自信息I(x1)=-log20.6= I(x2)=-log20.4=
（2） P(y1)=0.6*（5/6）+0.4*（3/4）=0.8 P(y2)=0.6*（1/6）+0.4*（1/4）=0.2 （3） P(x1|y1)=P(x1y1)/P(y1)=P(y1|x1)P(x1)/P(y1)=5/8 P(x1|y2)=P(x1y2)/P(y2)=P(y2|x1)P(x1)/P(y2)=1/2 P(x2|y1)=P(x2y1)/P(y1)=P(y1|x2)P(x2)/P(y1)=3/8 P(x2|y2)=P(x2y2)/P(y2)=P(y2|x2)P(x2)/P(y2)=1/2 （4） 但是
（5） I(x1;y1)=log2(P(x1|y1)/P(x1))=log2(5/8/0.6)=log2(25/24) I(x1;y2)=log2(P(x1|y2)/P(x1))=log2(1/2/0.6)=log2(5/6) I(x2;y1)=log2(P(x2|y1)/P(x2))=log2(3/8/0.4)=log2(15/16) I(x2;y2)=log2(P(x2|y2)/P(x2))=log2(1/2/0.4)=log2(5/4) （6） H(X)=
??1??H?X??E?log??P?x?????i?????P?x?I?x????P?x?logP?x?iiiii?1i?1nn
=-(P(x1)logP(x1)+P(x2)logP(x2))=-(0.6log0.6+0.4log0.4)=
H(Y)=-(P(y1)logP(y1)+P(y2)logP(y2))=-(0.8log0.8+0.2log0.2)= （7） H(X|Y)=
1H?XY????P?xiyi?logPxiyji?1j?1nm??
+
=-( P(x1y1)log(P(x1|y1)) + P(x2y1)log(P(x2|y1)) + P(x1y2)log(P(x1|y2))
P(x2y2)log(P(x2|y2)) )=-( 0.5log0.5+ 0.3log0.3+0.1log0.1+0.1log0.1)
1.25：信息熵和消息的平均信息量、信源的平均不确定性之间有什么关系？ 平均自信息量(信息熵)
定义：离散随机变量X的平均自信息定义为，其样本空间为{xi, i=1, 2,?,n}，则事件X=xi的平均自信息量的定义为
nn??1?? H?X??E?log??P?x??????P?xi?I?xi????P?xi?logP?xi?i?1i?1i????H(X)表示每个信源符号的平均信息量
举例：变量X，P(X=x1)=0.99, P(X=x2)=0.01, 变量Y，P(Y=y1)=0.5, P(Y=y2)=0.5, 则信息熵为 H(X)=-0.99log0.99-0.01log0.01=0.08(比特/符号) H(Y)=-0.5log0.5-0.5log0.5=1(比特/符号) 信息熵的物理含义
H(X)表示信源输出后，每个消息(或符号)提供的平均信息量 H(X)表示信源输出前，信源的平均不确定性
例如：上页例子中， H(Y)>H(X)，对于信源X，两个输出消息不是等概率的，事先大致可以猜测消息x1会出现，故信源X的不确定性要小 H(X)表示变量X的随机性
当信源符号是等概率出现的时候，信息熵可以达到最大值
1.26：简述等长信源编码定理的主要内容。
定理: 一个熵为H(X)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从r个字母的码符号集合中，选取l个码元组成。对于任意的ε>0，只要满足
lH?X????Nlogr
则当N足够大时，可实现几乎无失真编码，即译码错误概率可为任意小。
1.27：简述前缀码和惟一可译码之间的关系。 前缀码/前缀条件码
定义: 若码C中，没有任何完整的码字是其他码字的前缀，称此码为前缀码，也称即时码或非延长码
前缀码和即时码的定义是一致的：如果没有一个码字是其他码字的前缀，则在译码过程中，当收到一个完整码字的码符号序列时，就能直接把它译成对应的信源符号，无需等待下一个信号到达后才作判断，这就是即时码
关系：前缀码是惟一可译码的一类子码：即前缀码一定是惟一可译码，但是惟一可译码不一定是前缀码
1.28：霍夫曼编码唯一么？简述霍夫曼编码的主要步骤。
不唯一
霍夫曼编码的步骤：
将信源符号按照概率递减的顺序进行排序
将0和1符号分别分配给概率最小的两个信源符号，并将这两个概率最小的符号合并成一个新符号，用这两个信源符号的概率之和作为这个新符号的概率
以此类推继续这个过程，直到只剩下2个符号为止，从而完成霍夫曼树的构造
从树的最后一个节点，依编码路径从后往前返回，读出每个分支上对应的符号标示，即可得到对应的码字
1.29：考虑比特流111111111111111000000000000000000111111，如果对之用游程编码方案进行压缩编码，那么压缩率为多少？ 游程编码定义：游程指的是信源输出的字符序列中，各种字符连续的重复出现的字符串的个数
游程编码：就是将这种字符序列映射成字符串的长度和字符串的位置的标志序列
考虑比特序列111111111111111000000000000000000111111，可以被表示成(15,1),(18,0),(6,1)，字符最长的重复的数目为18，因此把该比特序列编码为(01111,1), (10010,0), (00110,1)，此时压缩率为15:39=1:
1.30：简述LZ编码的分段方法和编码方法。
LZ编码分段的方法为：(1)游程先取第一个符号作为第一段，然后再继续分段(2)若有出现与前面符号一样时，就再添加紧跟后面的一个符号一起组成一段(3)尽可能取最少个连着的符号并保证各段都不相同(4)以此类推，直至信源符号序列结束
编码方法为：首先去掉最后一个符号，然后看剩下的字符串在字典中的排序，这个排序值转换成二进制数作为指针K的值，最后一个信源符号作为码字第2项d的值，即得到码字(X, d)
1.31：考虑比特序列01010110011010101011，如果用LZ编码，那么其分段是什么，编码后的码字又是什么？
0,1,01,011,00,11,010,10,101,1
(000,0),( 000,1), (001,1), (011,1), (001,0), (010,1), (011,0), (010,0),( 1000,1),( 000,1)
1.32：考虑一个如图1.2所示的BSC信道，其信道转移概率为P(0|1)=P(1|0)=p，求该信道的容量。
如果ω=0.5，用信道容量的公式，可以获得BSC的信道容量为C=1+plog2p+(1-p)log2(1-p)，熵函数为H(p)=-plog2p-(1-p)log2(1-p)，因此得到C=1-H(p) 1.33：求具有如下信道传递矩阵的信道的容量。
1-P
ω 0
1-ω P P
0
1-P
1
p??1?p?qq?p?q1?p?q? ?
1.34：简述信道编码定理的内容。
定理：假设DMS有信源字符集X，熵为每信源符号H(X)比特，而且信源每Ts秒产生一个符号，那么信源的平均信息率为每秒H(X)/ Ts比特，假设信道可以每Tc秒使用一次，而信道容量为每次信道使用C比特，那么每单位时间的信道容量为每秒钟C/Tc比特。如果H(X)/ Ts≤ C/Tc ，那么就存在编码方案使得在有噪声的信道上传输的信源消息，能够以任意小的错误概率进行恢复。
1.35：什么是无记忆信道和二元对称信道？
无记忆信道：如果在给定时间间隔上，检测器的输出只与在该时间间隔上传送的信号有关，而与任何前面时间的传送的信号无关，称此信道为无记忆信道 离散无记忆信道：是一种M元输入、Q元输出的信道模型 二元对称信道: M=2,Q=2
二元对称信道: 是一种2元输入、2元输出的信道模型
1.36：仙农的信息定义是什么？信息量的多少跟事件发生的不确定性之间有什么关系？ 仙农对于信息的定义：信息是事物运动状态或存在方式不确定性的描述
一个句子中所含信息的多少，同句子中所表达的事件出现的概率有关：呈现相反的关系 信息量的多少，同事件发生的不确定性有关：呈现相反的关系
第二章
2.1：某些域中元素有大小之分，另一些域中的元素无大小之分，各举一个例子。
2.2：交换律、分配律、结合律在群上成立么？在环上成立么？在域上成立么？ 结合律在群上成立，交换律在交换群上成立，分配律群上不成立
结合律在环上成立，交换律（乘法）在交换环上成立，加法和乘法在环上满足分配律 结合律、交换律、分配律在域上成立 2.3：简述群、环、域三者之间的关系？
定义：一个集合G，在其上定义了一个二元运算*，若它满足以下条件称为群 满足封闭性，即对G中任意两个元素a,b,有a*b∈G 二元运算*满足结合律
G中存在一个元素e，称为恒元或单位元，使得G中任何元素，有a*e=e*a=a
对于G中任何一个元素a，G中存在另一个元素 ，称作a的逆元，使得a?a??a??a?e
定义：非空元素集合R中，定义了两种二元运算，称作加法和乘法，这样的代数系统(R,+,·)称为一个环，若它满足以下条件
R中全体元素在加法下构成交换群，单位元为0，逆元记为-a 乘法运算满足封闭性
满足乘法结合率，即 (a·b)·c=a·(b·c) ，
加法和乘法之间满足分配律
a·(b+c)=a·b+a·c, (b+c)·a=b·a+c·a,
定义：非空元素集合F中，定义了两种二元运算，称作加法和乘法，这样的代数系统(F,+,·)称为一个域，若它满足以下条件
F中全体元素在加法下构成交换群，恒元为0 F中非零元素在乘法下为交换群，恒元为1 加法和乘法之间满足分配律 (a+b)·c=a·c+b·c
环中全体元素在加法下构成交换群，单位元为0，逆元记为-a 域中全体元素在加法下构成交换群，恒元为0 域中非零元素在乘法下为交换群，恒元为1
2.4：存在含有256个元素的有限域么？为什么？ 不是
由有限域的性质可知：
定理1：有限域的特征q是素数 256不是素数
2.5：构造一个含13个元素的有限域。在该域中，3的逆元和负元是什么？ 1/3 -3
2.6：全体整数的集合对普通减法是否构成一个群？为什么？ 不
不满足结合律 3-(2-1)与(3-2)-1不等
2.7：全体非负整数的集合在加法和乘法下是否构成群？为什么？ 全体非负整数集合在实数加法运算下构成可交换群，整数0为恒元，整数-a是整数a的逆元。全体非负整数集合对乘法不构成群，因为不存在乘法逆元 2.8：证明群的性质定理1-4。 定理1：群G的恒元是唯一的
证明：假定G中有两个恒元e和e?，则有
e??e??e?e 证毕
定理2：任何一个群元素的逆元是唯一的 证明：假定元素a有两个逆元 ，则 证毕 定理3：若a,b∈G，则 证明：
所以a*b和 互为逆元
定理4：给定G中任意两个元素a和b，则方程a*x=b和y*a=b在G中有唯一解 证明：方程a*x=b的解是x=a-1*b，这是因为 a*a-1*b=e*b=b，同理，y*a=b的解是y=b*a-1。 下面证明解的唯一性。如果在方程a*x=b中，
除了x=a-1*b，还有另外一个解x1，使a*x1=b,则把该式两边左乘以a的逆元a-1，则有