第十一章 马氏链模型
一、预备知识。 1、随机过程的概念。
定义：设集合??t:t?T?是一族随机变量，T是一个实数集合，如果对于任意t?T，?t是一个随机变量，则称??t:t?T?是一个随机过程。 其中：
（1）t为参数可以认为是时间，T为参数集合。
（2）随机变量?t的每一个可能值，称为随机过程的一个状态。其全体可能值构成的集合，称为随机过程的状态空间，用E表示。 （3）当参数集合T为非负整数集时，随机过程又称为随机序列。随机序列可用
??n:n?1,2,3,???
表示。当T为时间时，该随机序列就是时间序列。 如：
（1）用?t表示“t时刻，某商店的库存量”，则??t:t?[0,??)?就是一个随机过程。
（2）用?t表示“t时刻，某商店的销售额”，则??t:t?[0,??)?也是一个随机过程。
（3）用?t表示“在一天中t时刻，某地区的天气状况”，则??t:t?[0,24]?是一个随机过程。
（4）用?t表示“在一天中t时刻（整数），某城市的出租汽车的分布状况”，则??t:t?0,1,2,??,24?是一个随机时间序列。
马氏链，也称为马尔可夫链，就是一个特殊的随机时间序列，也为随机序列。
2、马尔可夫链——马氏链。
定义：设??n:n?1,2,3,???是一个随机序列，状态空间E为有限或可列集。若对于任意正整数m、n。如果 i?E、j?E、ik?E （k?1,2,??,n?1） 满足
P(?n?m?j?n?i,?n?1?in?1,??,?1?i1)?P(?n?m?j?n?i)
成立，则称随机序列??n:n?1,2,3,???为一个马尔可夫链，简称为马氏链。
从该定义可知：
（1）如果将随机变量?n的下角标n，理解为步数。则随机变量?n就是从起始点经过n步，到达的随机变量。
（2）随机变量(?n?i)，是指第n步时的随机变量?n所处的状态i。 （3）条件概率P(?n?m?j?n?i)是指，第n步时的随机变量?n所处的状态i发生的条件下，第n?m步时的随机变量?n?m所处的状态j，发生的条件概率。
（4）两个条件概率相等，即
P(?n?m?j?n?i,?n?1?in?1,??,?1?i1)?P(?n?m?j?n?i)
成立，说明第n步以及第n步以前的随机变量所处的状态共同发生的条件下，第n?m步时的随机变量?n?m所处的状态j，只与第n步时的随机变量?n所处的状态i有关，而与第n步前面的第n?1步时的随机变
量们所处的状态无关，将此称为随机变量序列的无后效性。 （5）将具有无后效性的随机变量序列，才能称为马尔可夫链，即为马氏链。
3、时齐的马尔可夫链。
定义：如果马尔可夫链??n:n?1,2,3,???中的条件概率 P(?n?m?j?n?i)
与n无关，则称此马尔可夫链??n:n?1,2,3,???是时齐的马尔可夫链。 从该定义可知：
（1） 时齐的马尔可夫链??n:n?1,2,3,???中的条件概率 P(?n?m?j?n?i)
与n无关，只与m有关，即无论从第几步的状态i出发，再经过m步，到达状态j的概率都相等。所以，可令该条件概率为 P(?n?m?j?n?i)?pij(m)
将它解释为：系统由状态i出发，经过m步（m个时间段）的转移到达系统状态j的概率是pij(m)。今后将此概率pij(m)称为转移概率。 （2）转移概率pij(m)的含义是：系统由状态i转移到系统状态j的转移概率pij(m)，只依赖于时间间隔m（步数）的长短，与起始的时刻无关。
4、转移概率矩阵。
（1）引例。某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状态表示。已知如果本月销路好，下月仍保持这种状态的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析
假如开始时商店处于销路好的状态，那么经过若干个月后，能保持销路好的概率有多大？如果开始时商店处于销路坏的状态呢？ 解：由于商店的经营会受到来自各方面众多因素的影响，所以商店每个月的经营情况都是一个随机变量。将第n个月经营情况用?n来
1,2,3,??，随机变量?n就形成一个随机变量表示，则对于n?0，序列，即为??n:n?0,1,2,3,???。
因为随机变量?n表示“第n个月内该商店销路的好、坏”，则可以认为随机变量?n服从两点分布，如果用1，2表示其状态，并规定 ?n??显然：
<1>如果将本商店在第n个月内销路好的概率用a1(n)表示；将本商店在第n个月内销路坏的概率用a2(n)表示。则得 P(?n?1)?a1(n) P(?n?2)?a2(n)
故第n个月内本商店销路好、坏的情况，可用向量（矩阵） (a1(n),a2(n)) 表示。
<2>当n?0时，即为?0的分布，是本商店的初始情况。其初始情况可用
(a1(0),a2(0))
表示。其中a1(0)?1时，a2(0)?0；a1(0)?0时，a2(0)?1。
在本例中，商店的初始情况为销路好，则a1(0)?1，而a2(0)?0，
?1,第n个月的销路好n
?2,第n个月的销路坏?0，1,2,3,??
所以本商店的初始情况为 (a1(0),a2(0))?(1,0)。
<3>本商店在第n?1月时的经营情况是 (a1(n?1),a2(n?1))
<4>对于本商店的经营情况来说，在第n?1月时销路好、坏的状态，主要是受前面第某个月时销路好、坏的影响，而与其前本商店的经营情况关系不大，所以随机变量序列
??n:n?1,2,3,???。
具有无后效性，故该随机变量序列为马尔可夫链，而且是时齐的马尔可夫链。
如果设pij表示“第n个月处于状态i的条件下，下个月处于状态j”的概率（i?1,2；j?1,2），则有 pij?P(?n?1?j?n?i) i?1,2；j?1,2 从而可知
p11?P(?n?1?1?n?1)?P(第n?1个月销路好第n个月销路好) p12?P(?n?1?2?n?1)?P(第n?1个月销路坏第n个月销路好) p21?P(?n?1?1?n?2)?P(第n?1个月销路好第n个月销路坏) p22?P(?n?1?2?n?2)?P(第n?1个月销路坏第n个月销路坏) 由于
a1(n?1)?P(?n?1?1)
?P(?n?1)P(?n?1?1?n?1)?P(?n?2)P(?n?1?1?n?2)
?a1(n)p11?a2(n)p21