?0.60.4??159?T?，,?，P(3)??P(3)?(0.61,0.39) ???2424??0.620.38?9．解：I?{1,2,?,9}
100?0???1/201/20O???01/201/2???010?0??
P??00010???00100???O01/201/20???1/301/301/3?????00010?? C1?{1,2,3,4}，C2?{5,6,7,8,9}两个闭集。
T8．解：P0??
10．解：（1）C1?{1,2,3}，C2?{4,5}两个遍历状态闭集。
（2）C?{1,2,3}遍历闭集，N?{4}非常返态。
（3）C1?{0}，C2?{b}是吸收态闭集，N?{1,?,b?1}是非常返集。
(1)11．解：（1）f11?(2)(3)f11?0，f11111111(2)(3)(1)(2)(3)(1)，f11?，f11?；f12?，f12?，f12?；f11?p1，
924826(2)(3)2(1)?q1q2q3；f12?p1q1，f12?p1q1。 ?q1，f12
12．解：，N?{1,2}非常返集，C1?{3,4,5}，C2?{6,7}是正常返闭集。由转移矩阵
?0.60.40???0.400.6?? ?0.20.50.3???1076解得C1的平稳分布为{0,0,,,,0,0}；
23232387同理，C2的平稳分布为{0,0,0,0,0,,}。
1515
13．解：?j?p1?pj?1q1?qj?0，j?1，?0?11???j?1k?0?j?1pkqk?1
14．解：{Xn,n?0}的转移概率为
2N?ii，pi,i?1?，i?0,1,?,2N， 2N2N其平稳分布{?j,j?0,1,?,2N}满足方程组
pii?0，pi,i?1?
?1????1?02N?2N?j?1j?1? ??????jj?1j?12N2N????1?2N?1?2N2N??解此方程组得 ?j?C2jN?0
由条件
??jj?1得
1??0?C2jN?22N?0
j?02N
?0?2?2N
故{Xn,n?0}的平稳分布为?j?C2jN2?2N，j?0,1,2,?,2N
15．解：（1）
?1/32/30??
P??2/95/92/9????02/31/3?? （2）由于I?{0,1,2}是有限的，I中所有状态是互通的，且状态0是非周期的，故{Xn}为遍历链。
（3）由平稳分布满足的方程组
1239252?1??0??1??2393 21?2??1??293?0??1??2?1131解方程组得：?0?，?1?，?2?
555131limp(i0n)??0?，limp(i1n)??1?，limp(i2n)??2? n??5n??55n???0??0??1
16．解：（1）用归纳法。设当n?m时，对一切j?I，都有
?pi?I(n?1)ij??(?pi?Ik?I(m)ikpkj)??pkj(?pk?Ii(m)ik?p)??pi?Ik?I(n)ij?1，则 ?1
kj
（2）由条件知{X(n),n?1}为非周期不可分马尔可夫链，且状态空间有限，故
n){X(n),n?1}为遍历链，因此 limp(ij??j?n??1?j?0,j?I，所以
lim?pn??i?1m(n)ij??limpi?1n??m(n)ij??i?1m1?j?m?j?1，?j?m，j?1,2,?,m
17．解：（2）?1?0.2112，?2?0.3028，?3?0.3236，?4?0.1044；
（3）?4?8.8（天）
练习
1．设连续时间马尔可夫链{X(t),t?0}具有转移概率
随机过程练习题
j?i?1,??ih?o(h),?1??h?o(h),j?i,?i pij(h)??0,j?i?1,??o(h),|j?i|?2,?其中?i是正数，X(t)表示一个生物群体在时刻t的成员总数，求柯尔莫哥洛夫方程，转移概率pij(t)。（提示：利用以下结果，若g?(t)?kg(t)?h(t),k为实数，h(t)为
连续函数，a?t?b，则g(t)??tae?k(t?s)h(s)ds?g(a)e?k(t?a)）
2．一质点在1，2，3点上作随机游动。若在时刻t质点位于这三个点之一，则在[t,t?h)内，它以概率h/2?o(h)分别转移到其它二点之一。试求质点随机游动的柯尔莫哥洛夫方程，转移概率pij(t)及平稳分布。
3．在某车间有M台车床，由于各种原因车床时而工作，时而停止。假设时刻t，一台正在工作的车床，在时刻t?h停止工作的概率为?h?o(h)，而时刻t不工作的车
床，在时刻t?h开始工作的概率为?h?o(h)，且各车床工作情况是相互独立的。若N(t)表示时刻t正在工作的车床数，求（1）齐次马尔可夫过程{N(t),t?0}的平稳分布；（2）若M?10，??60，??30，系统处于平稳状态时有一半以上车床在工作的概率。 4．排队问题。设有一服务台，[0,t)内到达服务台的顾客数是服从泊松分布的随机变量，
即顾客流是泊松过程。单位时间到达服务台的平均人数为?。服务台只有一个服务
员，对顾客的服务时间是按指数分布的随机变量，平均服务时间为1/?。如果服务台空闲时到达的顾客立即接受服务；如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有二人在等候，则他就离开而不再回
来。设X(t)代表在t时刻系统内的顾客人数（包括正在被服务的顾客和排队等候的顾客），该人数就是系统处于状态。于是这个系统的状态空间为I?{0,1,2,3}；又设在t?0时系统处于状态0，即服务员空闲着。求过程的Q矩阵及t时刻系统处于状态j的绝对概率pj(t)所满足的微分方程。
5．一条电路供m个焊工用电，每个焊工均是间断用电。现作如下假设：（1）若一焊工在t时用电，而在(t,t??t)内停止用电的概率为??t?o(?t)；（2）若一焊工在t时
没有用电，而在(t,t??t)内用电的概率为??t?o(?t)。每个焊工的工作情况是相互独立的。设X(t)表示在t时刻正在用电的焊工数。（1）求该过程的状态空间和Q矩阵；（2）设X(0)?0，求绝对概率pj(t)满足的微分方程；（3）当t??时，求极限分布pj。
6．设[0,t]内到达的顾客服从泊松分布，参数为?t。设有单个服务员，服务时间为指数
分布的排队系统（M/M/1），平均服务时间为1/?。试证明：（1）在服务员的服务时间内到达顾客的平均数为1/?；（2）在服务员的服务时间内无顾客到达的概率为
?/(???)。
答案：
1．解：柯尔莫哥洛夫向前方程为??(t)???jpij(t)??j?1pi,j?1(t),?pij?(t)???ipii(t)?piij?i?1
由初始条件：pij(0)???1,i?j解得
0,i?j???it?p(t)?e,ii??p(t)?e??jtte?jt?p(s)ds,j?i?1
?0j?1i,j?1??ij112．解：?i?，?i?
2211?(t)??pij(t)?pi,j?1(t)?pi,j?1(t),柯尔莫哥洛夫向前方程为pij22
状态空间为I?{1,2,3}，故pij(t)?pi,j?1(t)?pi,j?1(t)?1，代入以上方程得
?(t)?pij31pij(t)? 223?t2pij(t)?ce1? 3由初始条件：pij(0)??
?1,i?j确定c，得
?0,i?j
t?11?32?e,i?j??33pij(t)?? 3?t?1?2e2,i?j??33
故其平稳分布?j?limpij(t)?t??1，j?1,2,3 33．解：（1）据题意，N(t)是连续时间的马尔可夫链，状态空间为I?{0,1,?,m}。
设时刻t有i台车床在工作，则在(t,t?h]内又有一台车床开始工作，则在不计高
阶无穷小时，它应等于原来停止工作的M?i台车床中，在(t,t?h]内恰有一台开始工作，则pi,i?1(h)?(M?i)?h?o(h),i?0,1,2,?,M?1；同样地，
pi,i?1(h)?i?h?o(h),i?1,2,?,M，pij(h)?o(h),|i?j|?2
?i?(M?i)?，i?0,1,2,?,M?1
?i?i?，i?1,2,?,M
因此，它的平稳过程为
????0??1??????M??????， ?????jM??j???j??j?CM??C????M????0????????（2）P{N(t)?5}?
j(??j??C10j?6j?61010j????????????M?j，i?1,2,?,M
60j3010?j)()?0.7809 90904．解：据题意，{X(t),t?0}是连续时间的马尔可夫链，状态空间为I?{0,1,2,3}。
?00???????0????(???) Q??0??(???)???????????绝对概率pj(t)满足柯尔莫哥洛夫方程：
?(t)???p0(t)??p1(t)p0??p?(t)??p(t)?(???)p(t)??p(t)?1012 ??p(t)??p(t)?(???)p(t)??p(t)123?2??(t)??p2(t)??p3(t)p3?初始条件：p0(0)?1,pj(0)?0,j?1,2,3
5．解：据题意，{X(t),t?0}是连续时间的马尔可夫链，状态空间为I?{0,1,?,m}。
m?0?0???m???m??m(???)m??0?? Q??????????00?m??m????绝对概率pj(t)满足柯尔莫哥洛夫方程：
?(t)??m?p0(t)?m?p1(t)p0??p?(t)?m?p(t)?m(???)p(t)?m?p(t),0?j?m?jj?1jj?1 ??p(t)?m?p(t)?m?p(t)mm?1m??p0(0)?0?由于limpj(t)?pj（常数），故从以上方程组可解出pj，j?0,1,?,m。
t??6．设服务员的服务时间为T，则由题意知：T~E(?)。以X(t)表示在[0,t]内到达的顾客数，则X(t)~P(?t)。
（1）在服务员的服务时间内到达顾客的平均数为
EX?E[E(X|T)]?????t??e??tdt?0?????E(X|T?t)dFT(t)?????E(X(t))dFT(t)
? ?（2）P{X(T)?0}?P{X(T)?0,T???}????0P{X(t)?0|T?t}dFT(t)
??e??t??e??tdt?0??????