(1) x1 r11 p11 r12 p12
(1) x2r21 p21 r22 p22 概 率
概 率 其中 p11+ p12 = 1 ，p21+ p22 = 1．
如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n个季度以后，期望获得的利润是多少？为此，引入一些计算公式．
首先，定义vi为抗病毒药现在处于i(i?1,2)，经过n步转移之后的总期望利润，则
一步转移的期望利润为：
(n)vi(1)(1)?E(xi(1))?ri1pi1?ri2pi2??rijpij
j?12其中E(xi)是随机变量xi的数学期望．
二步转移的期望利润为：
(1)
vi(2)?(2)E(xi(2))(1)?[ri1?v1]pi1(1)?[ri2?v2]pi2??[rij?v(j1)]pij
j?12其中随机变量xi（称为二步利润随机变量）的分布为：
P(xi(2)?rij?v(j1))?pij,例如，若
j?1,2
?0.50.5??93???， P??R??0.40.6??3?7??
????则抗病毒药销售的一步利润随机变量：
(1) x19 0.5 3 0.5
(1) x23 0.4 -7 0.6 概 率
概 率 抗病毒药畅销和滞销时的一步转移的期望利润分别为：
(1)(1)v1?E(x1)?r11p11?r12p12?9?0.5?3?0.5?6 (1)(1)v2?E(x2)?r21p21?r22p22?3?0.4?7?0.6??3
二步利润随机变量为：
(2) x19+6 0.5 3-3 0.5
(2) x23+6 0.4 -7-3 0.6 概 率 概 率 抗病毒药畅销和滞销时的二步转移的期望利润分别为：
(2)(2)(1)(1)v1?E(x1)?[r11?v1]p11?[r12?v2]p12
?(9?6)?0.5?(3?3)?0.5?7.5
(2)(2)(1)(1)v2?E(x2)?[r21?v1]p21?[r22?v2]p22
?(3?6)?0.4?(?7?3)?0.6??2.4
一般地定义k步转移利润随机变量xi(k)(i?1,2,?N)的分布为：
j?1,2,?N
(k)P(xi(k)?rij?v(jk?1))?pij则系统处于状态i经过k步转移后所得的期望利润vi的递推计算式为：
vi(k)?E(xi(k))N??(rij?v(jk?1))pij
j?1NN??rijpij??j?1j?1v(jk?1)pij?vi(1)??v(jk?1)pij （6）
j?1N当k=1时，规定边界条件vi(0)?0．
称一步转移的期望利润为即时的期望利润，并记
vi(1)?qi,i?1,2,?N．
可能的应用题型
题型一、市场占有率预测
例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情况。顾客订货情况如下表5：
表5 顾客订货情况表
下季度订货情况
合计
来 自
A B C
合计
A 160 180 180 520
B 120 90 30 240
C 120 30 90 240
400 300 300 1000
模型建立与求解
一、问题分析
目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%．称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布．
此外，我们需要查清使用对象的流动情况。流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。由题已知顾客订货情况如下表5
表5 顾客订货情况表
下季度订货情况
来 自
A B C
合计
A 160 180 180 520
B 120 90 30 240
C 120 30 90 240
合计 400 300 300 1000
二、模型的建立 2.1模型构建
假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5，我们可以得模型的转移概率矩阵：
?p11?P??p21?p?31p12p22p32?160?p13??400?180p23????300?p33??180??3001204009030030300120??400??0.430????0.6?300?90??0.6?300?0.30.30.10.3??0.1? 0.3??矩阵中的第一行（0.4，0.3，0.3）表示目前是A厂的顾客下季度有40%仍买A厂的药，转为买B厂和C厂的各有30%．同样，第二行、第三行分别表示目前是B厂和C厂的顾客下季度的流向．
由P我们可以计算任意的k步转移矩阵，如三步转移矩阵：
P(3)?0.4?3?P??0.6?0.6?0.30.30.10.3??0.496??0.1???0.504?0.5040.3???30.2520.2520.2440.252??0.244? 0.252??从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（0.504，0.252，0.244）知，B厂的顾客三个季度后有50.4%转向买A厂的药，25.2%仍买B厂的，24.4%转向买C厂的药．
设S(k)(k)(k)(k)?(p1,p2,p3)表示预测对象k季度以后的市场占有率，初始分布则为
(0)(0)(0)S(0)?(p1,p2,p3)，市场占有率的预测模型为
S(k)?S(0)?Pk?S(k?1)?P （7）
已知S(0)?(0.4,0.3,0.3)，由此，我们可预测任意时期A、B、C三厂家的市场占有率．例如，三个季度以后的预测值为：
(3))S(3)?(p1(3),p2,p(33?0.496?(0)3)?S?P?(0.40.30.3)?0.504?0.504?0.2520.2520.2440.252??0.244?0.252?? ?(0.50080.24960.2496)
大致上，A 厂占有一半的市场，B厂、C厂各占四分之一．
模型（7）可推广到N个状态的情形：
S(k)?S(k?1)P?S(0)P?(p,p,?pk(0)1(0)2(0)N?p11??p21)????p?N1p12p22?pN2????p1N??p2N?（8） ???pNN??k如果我们按公式（7）继续逐步求A、B、C三家的市场占有率，会发现，当k大到一定的程度，S 将不会有多少改变，即有稳定的市场占有率，设其稳定值为S?(p1,p2,p3)，满足p1?p2?p3?1．
事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关．如何求出这种稳定的市场占有率呢？
(k)
2.2模型求解
以A、B、C三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P，即
?0.4?(p1,p2,p3)?(p1,p2,p3)?0.6?0.6?由此得
0.30.30.10.3??0.1? 0.3???p1?0.4p1?0.6p2?0.6p3??p2?0.3p1?0.3p2?0.1p3 ?p?0.3p?0.1p?0.3p123?3经整理，并加上条件p1?p2?p3?1，得
??0.6p1?0.6p2?0.6p3?0?0.3p?0.7p?0.1p?0?123 ??0.3p1?0.1p2?0.7p3?0??p1?p2?p3?10.4 0.3 0.3，0.6 0.3 0.1,0.6 0.1 0.3
上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：
p1?0.5， p2?0.25， p3?0.25
这就是A、B、C三家的最终市场占有率．
一般N个状态的稳定市场占有率（稳态概率）S?(p1,p2,?pN)可通过解方程组