一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例
五、前面国赛用到此算法的备注一下
马氏链模型
用来干什么
马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。 什么时候用
应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理
我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量Xn便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X1，X2，…，Xn，…．称{ Xt，t∈T ，T是参数集}为随机过程，{ Xt }的取值集合称为状态空间．若随机过程{ Xn }的参数为非负整数， Xn 为离散随机变量，且{ Xn }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ Xn }的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．
对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：
P(Xn?1?j|Xn?i)?pij(n)i,j?1,2,?,N
若假定上式与n无关，即pij(0)?pij(1)???pij(n)??，则可记为pij（此时，称过程是平稳的），并记
?p11??p21P?????p?N1称为转移概率矩阵．
转移概率矩阵具有下述性质：
p12p22????pN2?p1N??p2N? （1） ???pNN??（1）pij?0,Ni,j?1,2,?,N．即每个元素非负．
（2）?pij?1,j?1i?1,2,?,N．即矩阵每行的元素和等于1．
如果我们考虑状态多次转移的情况，则有过程在n时刻处于状态i，n+k时刻转移到状态j的k步转移概率：
)P(Xn?k?j|Xn?i)?pi(kj(n)i,j?1,2,?,N
)同样由平稳性，上式概率与n无关，可写成pi(kj．记
(k)?p11?(k)?p??21???p(k)?N1(k)p12(k)p22?(k)pN2P(k)????)?p1(kN?(k)p2N?? （2） ??(k)?pNN?
)称为k步转移概率矩阵．其中pi(kj具有性质：
)?0,i,j?1,2,?,N； ?pi(kj?1,i?1,2,?,N．
j?1N)pi(kj一般地有，若P为一步转移矩阵，则k步转移矩阵
(k)?p11?(k)?p??21???p(k)?N1(k)p12(k)p22?(k)pN2P(k)????)?p1(kN?(k)p2N?? （3） ??(k)?pNN?（2）状态转移概率的估算
在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．
例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．
表1 某抗病毒药24个季度的销售情况
季度
销售状态
季度
销售状态
季度
销售状态
季度
销售状态
1 2 3 4 5 6
1 (畅销) 1(畅销) 2(滞销) 1(畅销) 2(滞销) 2(滞销)
7 8 9 10 11 12
1(畅销) 1(畅销) 1(畅销) 2(滞销) 1(畅销) 2(滞销)
13 14 15 16 17 18
1(畅销) 1(畅销) 2(滞销) 2(滞销) 1(畅销) 1(畅销)
19 20 21 22 23 24
2(滞销) 1(畅销) 2(滞销) 1(畅销) 1(畅销) 1(畅销)
分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．
表2 市场状态转移情况表
下季度药品所处的市场状态 1（畅销） 2（滞销） 本季度药品所 处的市场状态 1（畅销） 2（滞销）
7 7 7 2 现计算转移概率．以频率代替概率，可得连续畅销的概率：
p11?连续出现畅销的次数出现畅销的次数?7?0.5 15?1分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．
同样得由畅销转入滞销的概率：
p12?滞销转入畅销的概率：
畅销转入滞销的次数出现畅销的次数?7?0.5 15?1p21?连续滞销的概率：
滞销转入畅销的次数出现滞销的次数?7?0.78 9p22?连续滞销的次数出现滞销的次数?2?0.22 9综上，得销售状态转移概率矩阵为：
?p11P???p?21p12??0.50.5?????0.780.22?? p22????从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：
7 7?77p12?
7?77p21?
7?22p22?7?7 p11?Matlab程序：
format rat clc
a=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2
f(i,j)=length(findstr([i j],a)); end end f
ni=(sum(f'))' for i=1:2
p(i,:)=f(i,:)/ni(i); end p
由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2，…，?ij表示系统从状态i转移Sm，根据系统的状态转移的历史记录，得到表3的统计表格，以p
到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：
表3 系统状态转移情况表
系统下步所处状态 S1 S2 … Sm 系 统 本 步 所 处 状 态 S1 S2 n11 n21 n12 n22 … … n1m n2m Sm … n m1 … n m2 … … … n mm … ?ij?pnijk?1?nikmi,j?1,2,?,m （3）带利润的马氏链
在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r11元，连续滞销时亏本r22元，由畅销转为滞销盈利r12元，由滞销转为畅销盈利r21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵
?p11??p21P?????p?N1?r11??r21R?????r?N1p12p22?pN2????p1N??p2N? ???pNN??r1N??r2N? （5） ???rNN??的马氏链，当系统由i转移到j时，赋予利润rij（i，j=1，2，…，N），则称
r12r22?rN2????为系统的利润矩阵，rij ＞0称为盈利，rij ＜0称为亏本，rij = 0称为不亏不盈．
随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量x1、x2的概率分布分别为：
(1)
(1)