对于一般的m阶马尔可夫信源，它的概率空间可以表示成：
??X??x1??xi??xq?? ????P(x)???p(xim?1|xi1xi1?xim)??令si?xixi?xi,im?{1,2,?,q}，从而得到马尔可夫信源的状态空间：
11m?s1?si?sqm???p(sj|si)?? ??状态空间由所有状态及状态间的状态转移概率组成。通过引入状态转移概率，可以将对马尔可夫信源的研究转化为对马尔可夫链的研究。
遍历m阶马尔可夫信源的熵率计算：
当时间足够长后，遍历的马尔可夫信源可以视作平稳信源来处理，又因为m阶马尔可夫信源发出的符号只与最近的m个符号有关，所以极限熵H?等于条件熵Hm?1。
对于齐次遍历的马尔可夫链，其状态si由xi1xi2?xim唯一确定，因此有
p(sj|si)?p(xim?1|xi1xi2?xim)?p(xim?1|si)。所以：
Hm?1?H(Xm?1|X1X2?Xm)?E[I(xim?1|xi1xi2?xim)]qmq?E[I(xim?1|si)]?????ip(si)p(xim?1|si)logp(xim?1|si)
i?1im?1?1?ip(si)H(X|si)????jp(si)p(sj|si)logp(sj|si)从上式可以看出，求遍历的马尔可夫信源的极限熵需要求状态转移概率和状态的平稳概率分布。
设状态的平稳分布为:W=(W1 W2 W3 W4 …)，根据马尔可夫链遍历的充分条件有WP=W，其中P为状态转移概率矩阵，W1+W2+?=1。列出方程组解出W即状态的平稳分布，有了状态的平稳分布，以及状态的转移概率即可以求出可尔可夫信源的熵率。
三、信源冗余度及意义
对一般离散平稳信源， H∞就是极限熵。理论上只要有传送H∞的手段，就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难，只好用实际信源熵Hn来代替。 而Hn>H∞，所以在传输手段上必然富裕，这样做很不经济，特别是有时只能得到H1，甚至H0，就更不经济。这种浪费是由信源符号的相关性引起的。
信源熵的相对率η ：为了衡量符号间的相互依赖程度，定义信源极限熵与实际熵的比值为信源熵的相对率：η= H∞/Hn
信源冗余度ξ：1减去信源熵的相对率η，即 ξ=1-η=(Hn-H∞)/Hn
信息冗余In∞：In∞= Hn -H∞。
信源的极限熵为H∞，但H∞很难得到，于是用Hn来表达信源。两者之差代表了冗余的信息。In∞越大，冗余度越大。冗余度可以衡量符号间的依赖程度，也表明了信源可压缩的程度。
信源的剩余度来自两个方面，一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小，另一方面是信源符号分布的不均匀性使信源的实际熵越小。
为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。
从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。
信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。
信源编码就是通过减少或消除冗余度来提高通信效率。
四、例题
1．设一个二元一阶马尔可夫信源，信源符号集为X={0，1}，信源输出符号的
条件概率为：
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5 (1)写出状态转移矩阵； (2)画出状态图； (3)求各状态稳态分布； (4)求各符号稳态分布； (5)求信源的熵率。
解：根据题意，共有两种状态与之对应，s0?0,s1?1，由信源输出符号的条件概率可得信源的状态转移矩阵为：
?0.25??0.50.75??0.5?
画出其状态转移图如下：
0:0.2501:0.750:0.511:0.5
设状态的平稳分布为W?(w1,w2)，由于该马尔可失链是齐次遍历的，有：WP=W，即：
?w1?0.25w2???0.50.75????w10.5?w2?
?0.25w1?0.5w2?w1??0.75w1?0.5w2?w2?w?w?12?1
?w1?0.4解得：?
w?0.6?2p(0)?p(0|s0)p(s0)?p(0|s1)p(s1)?0.25?0.4?0.5?0.6?0.4p(1)?p(1|s0)p(s0)?p(1|s1)p(s1)?0.75?0.4?0.5?0.6?0.6
H??H2?H(X2|X1)???i?jp(si)p(sj|si)logp(sj|si)??0.4?0.25log0.25?0.4?0.75log0.75?0.6?0.5log0.5?0.6?0.5log0.5?
2．设有一个二元二阶马尔可夫信源，其信源符号集为X={0，1}，输出符号的条件
概率为：
p(0|00)=p(1|11)=0.8 p(1|00)=p(0|11)=0.2 p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5 (1)写出状态转移矩阵； (2)画出状态图； (3)求各状态稳态分布； (4)求各符号稳态分布； (5)求信源熵。
解：根据题意，可能的状态有：s1=00, s2=01, s3=10, s4=11。但由于信源只可能发出0或者1，所以信源下一时刻只可能转移到其中的两种状态之一。 故信源的状态转移矩阵为： ?0.8?0P???0.5??00.200.5000.500.20??0.5?0??0.8?
状态转移图略
设状态的平稳分布为：W?(w1,w2,w3,w4)，根据马尔可夫遍历的充要条件WP=W，有：
?0.8w1?0.5w3?w1??0.2w1?0.5w3?w2??0.5w2?0.2w4?w3?0.5w?0.8w?w244?
且满足w1?w2?w3?w4?1 ?w1??w2解得：??w3?w?4?5/14?1/7?1/7?5/14
p(0)?0.8p(s1)?0.5p(s2)?0.5p(s3)?0.2p(s4)?0.5p(1)?1?0.5?0.5
H??Hm?1?H3??p(s)H(Xii|si)?0.80bit/symbol3．一个三元一阶马尔可夫信源的基本符号为0、1、2，这3个符号等概率出现，
并且具有相同的转移概率。 (1)写出状态转移矩阵； (2)画出状态图； (3)求各符号稳态分布； (4)求各状态稳态分布； (5)求信源极限熵。
解：根据题意，可能的状态有：s1=0, s2=1, s3=2。由于信源等概率发出0、1、2三信符号， 故信源的状态转移矩阵为：
?1?3?1P???3?1??31313131?3?1??3?1?3??
状态转移图略
设状态的平稳分布为：W?(w1,w2,w3)，根据马尔可夫遍历的充要条件WP=W，有：11?1w?w??31323w3?w1?11?1w?w?w3?w2?1233?311?1w?w??31323w3?w3? ，且满足w1?w2?w3?1
解之得w1?w2?w3?符号稳态分布：
13
p(0)?p(0|s1)p(s1)?p(0|s2)p(s2)?p(0|s3)p(s3)?p(1)?p(1|s1)p(s1)?p(1|s2)p(s2)?p(1|s3)p(s3)?1313 13p(2)?p(2|s1)p(s1)?p(2|s2)p(s2)?p(2|s3)p(s3)?H??H2????jp(si|sj)p(sj)logp(si)信源的极限熵为：
?9?i19
?log3?log3bit/symbol4．有一马尔可夫信源，已知状态转移概率：p(s1|s1)=2/3 p(s2|s1)=1/3 p(s1|s2)=1
p(s2|s2)=0。
(1)写出状态转移矩阵； (2)画出状态图； (4)求各状态稳态分布； (5)求信源极限熵。
解：根据题意，状态转移矩阵为：
?2?3?1?1?3? 0??状态转移图（略）
设状态的平稳分布为W?(w1,w2)，由于该马尔可失链是齐次遍历的，有：WP=W，即： ?2w1?w2?w1??3 ?1?w?w12??3且满足w1?w2?1 ?w1?0.75解之得：?
?w2?0.25信源的极限熵为：