a2(n?1)?P(?n?1?2)
?P(?n?1)P(?n?1?2?n?1)?P(?n?2)P(?n?1?2?n?2)
?a1(n)p12?a2(n)p22 由此可得 ??a1(n?1)?a1(n)p11?a2(n)p21
?a2(n?1)?a1(n)p12?a2(n)p22将其写成矩阵的运算为
(a1(n?1),a2(n?1))?(a1(n),a2(n))???p11?p21p12?? ?p22? 由本例中的条件，如果本月销路好，下月仍保持这种状态的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。可知 p11?0.5——就是本月销路好，下月仍保持销路好的概率0.5。 p12?0.5——就是本月销路好，下月变成销路坏的概率0.5。 p21?0.4——就是本月销路坏，下月变成销路好的概率0.4。 p22?0.6——就是本月销路坏，下月仍保持销路坏的概率0.6。 这时若令，二阶矩阵为P，即
11 P???p?21?pp12?? p22?? ???0.40.6?? ??称该二阶矩阵为P是系统从第n步时的状态转移到系统第n?1步时，状态的转移概率矩阵。 由该转移概率矩阵 P???0.40.6?? ???0.50.5??0.50.5?可知，矩阵P中的元素非负并小于等于1，且每行的元素之和都等于1，简称为行和是1。 （2）转移概率矩阵的定义。
定义：对于一个马尔可夫链??n:n?1,2,3,???，称由状态i经过m步转移到状态j的转移概率pij(m)为元素，组成的矩阵为转移概率矩阵，用P(m)??pij(m)?表示。
当m?1时的转移概率矩阵为P(1)??pij(1)?，就是一步转移概率矩阵，将其简记为P??pij?，简称为转移矩阵。 （3）转移概率矩阵的性质。
马尔可夫链??n:n?1,2,3,???的转移概率矩阵P(m)??pij(m)?的性质是：
性质1：（非负有界性）对于一切i?E、j?E，使得0?pij(m)?1成立。 性质2：（行和为1性）对于一切i?E，使得
?p(m)?1成立。
ijj?E性质3：（初始性）对于一切i?E、j?E，使得 pij(0)??ij??成立。
5、大于零的称转移概率矩阵。
定义：设??n:n?1,2,3,???为马尔可夫链，如果该马尔可夫链的转移概率矩阵为P(1)??pij(1)?，记为P??pij?，它的元素满足
pij?pij(1)?0 一切i?E、j?E
?1,i?j
?0,i?j都成立，这时称转移概率矩阵为大于零的称转移概率矩阵，用
P?P(1)?0表示。
6、马尔可夫链的正则链。
定义：设??n:n?1,2,3,???为马尔可夫链，如果存在一个正整数k，使得马尔可夫链的转移概率矩阵为[P(1)]k??pij(1)?k?0成立， 则称此时的马尔可夫链??n:n?1,2,3,???为马尔可夫链的正则链。简称为正则链。
7、马尔可夫链（正则链）的遍历性。
定义：如果马尔可夫链??n:n?1,2,3,???为正则链，即P?P(1)?0成立。则该马尔可夫链??n:n?1,2,3,???具有遍历性。 即存在一个向量（为数有限） W?(p1,p2,??,pk) 使得
?WP?W ? ?kp?1??i?i?1即向量W?(p1,p2,??,pk)是它的稳定解。还有等式 P(n)?Pn
成立。其中P(n)??pij(n)?是n步转移概率矩阵，P?P(1)??pij(1)?是1步转移概率矩阵。
由马尔可夫链（正则链）的遍历性可知：
（1）利用马尔可夫链的1步转移概率矩阵P（P?0），可以计算出，
m步转移概率矩阵P(m)，即为
P(m)?Pm
（2）利用马尔可夫链的1步转移概率矩阵P（P?0），可以计算出，
m步时系统所处的状态(a(m),a(m),??,a12k(m))，即为
(a1(m),a2(m),??,ak(m))?(a1(0),a2(0),??,ak(0))Pm
（3）遍历性中的W?(p1,p2,??,pk)是转移步数n???时，系统所处的状态(a1(??),a2(??),??,ak(??))，即
(a1(??),a2(??),??,ak(??))?W?(p1,p2,??,pk) 成立。将它称为马尔可夫链的稳定状态，亦称为稳定解。
例2：计算引例中提出的：试分析假如开始时商店处于销路好的状态，那么经过若干个月后，能保持销路好的概率有多大？如果开始时商店处于销路坏的状态呢？
解：设?n表示“第n个月商店经营情况”
n?0，1,2,3,??，则
随机变量?n就形成一个马尔可夫链，即为??n:n?1,2,3,???。已经求出它的1步转移矩阵为
?0.50.5? P???0.40.6??
??显然，转移概率矩阵P?0，这表明该马尔可夫链??n:n?1,2,3,???是一个正则链，一定具有遍历性。
（一）在开始时商店处于销路好的状态时，即在状态
(a1(0),a2(0))?(1,0)
的条件下，后来几个月的情况如下： 第一个月为 (1,0)P?(1,0)???0.50.5???(0.5,0.5) ??0.40.6?即第一个月，商店处于销路好、坏的状态各占。 第二个月为
(0.5,0.5)P?(0.5,0.5)???0.50.5?2? ?(0.45,0.55)?(1,0)P?0.40.6??12即第二个月，商店处于销路好的状态比第一个月减少0.05，商店处于销路坏的状态比第一个月增加0.05。 第三个月为
(0.45,0.55)P?(0.45,0.55)???0.50.5???(0.44,50.55)5?(1,0)P3 ??0.40.6?即第三个月，商店处于销路好的状态比第二个月减少0.005，商店处于销路坏的状态比第二个月增加0.005。 第四个月为
? (0.44,50.55)5P?(0.44,50.55)5??0.50.5?4? ?(0.444,05.555)5?(1,0)P??0.40.6?即第四个月，商店处于销路好的状态比第三个月减少0.0005，商店处于销路坏的状态比第三个月增加0.0005。 第五个月为
(0.4445,0.5555)P?(0.4445,0.5555)???0.50.5???(0.44445,0.55555)?(1,0)P5 ??0.40.6?即第五个月，商店处于销路好的状态比第四个月减少0.00005，商店处于销路坏的状态比第四个月增加0.00005。
由上述计算可知，
<1>求该商店在第n个月是销路好的状态为 (a1(n),a2(n))?(1,0)Pn。