{Xn,n?1,2,...}是马氏链。
3．有两个状态0和1的马氏链{Xn,n?1,2,...}，其状态转移概率矩阵为
?p00P???p10试证：
（1）当p00?p11?1?1时，有
p01?? p11?P(n)?(1?p00)??1?p111?p00?(p00?p11?1)n?1?p00??????1?p1?p?(1?p)1?p2?p00?p11?2?p?p1100?1111?0011?1n??
n??(n)n()limp00?limp10?1?p11
2?p00?p11（2）特别地，当
p00?p11?p,q?1?p时有
P(n)?11n?(p?q)?22???1?1(p?q)n??2211??(p?q)n?22?
11?(p?q)n??22?（3）试求概率P{X0?1|X1?1}。
4．有三个黑球和三个白球，把这六个球任意等分给甲、乙两个袋中，并把甲袋
中的白球数定义为该过程的状态，则有四种状态：0,1,2,3。现每次从甲、乙袋中各取一球，然后互相交换，即把从甲袋中取出的球放入乙袋，而把从乙袋中取出的球放入甲袋，经过n次交换过程的状态记为Xn。试问过程是否是马氏链？如果是，试计算其一步转移概率矩阵。
5．设一个有三个状态的马氏链，其状态转移概率为
?p1?P??0?q?3q1p200??q2? p3??(n)(n),n?1,2,3。 其中pi?qi?1,i?1,2,3。试求首达概率f00和f016．设马氏链的转移概率矩阵分别表示如下：
?0.6??0?0.1P???0?0??0.4?00.6000000.40.10.10.10.50.20.20.40.20.2000000.800.4??0?0.1?? 0?0??0.6??00.40??0.60?12??00.4???00.6013?P??00.20.600.2?,P??14??00.60???0.40?14?00.20?00.8??120??13130? ?141414?141414?0（1）试对S进行分类，并说明各状态的类型； （2）求平稳分布，其平稳分布是否唯一？为什么？
（3）求P(X(n?2)?1|X(n)?0)，P{X(n?2)?2|X(n)?0}。 7．试讨论齐次马氏链的平稳概率的存在性和唯一性问题，若存在，如何求出其所有的平稳概率？并举例说明。
8．考虑一个状态为0，1，2，…的马氏链，其状态转移概率为
p0i?pi,?pi?1,?ipi??,pi,i?1?1,i?1
i?0i?0??试证明此马氏链是不可约、非周期、正常返的，并求其平稳概率。
9．假定今天下雨，则明天仍下雨的概率为?，而如果今天不下雨，则明天下雨的概率为?，试求下雨的极限概率。
10．考虑一个有平稳概率?i的不可约非周期马氏链，设其初始分布为?i，记
Qij?P{X0?j|X1?i}
则Q可看作为一个马氏链的转移概率矩阵，试证明：
(n)Qij?P{X0?j|Xn?i}
11．设有两个相同部件，工作时的寿命均服从参数为?的指数分布，储备时的寿
命均服从参数为?的指数分布。开始时一个部件工作，一个部件储备，当工作部件失效时立即进行修理，修理时间服从参数为?的指数分布；当一个部件在修理时，若另一个也失效，则等待先修理者修理完毕后立即进行修理；当一个失效部件修理完毕时，若另一个部件正在工作，则做储备，否则立即开始工作。试求t时有部件工作的概率。
Yn是独立同分布取整数值的随机变量序列，12．设N(t)是率为?的Poisson过程，
令
N(t)X(t)??Yn?1n
试证：
（1）X(t)是一马氏过程；
（2）求X(t)的数学期望和自相关函数。
13．设有两个串行微处理器(M1,M2)和两个缓冲器(B1,B2)组成如题13图所示的系统。请求到达M1后依次经过M1和M2的处理；每个周期有一个请求到达M1的概率为p，没有请求到的概率为1?p；到达的请求存放在B1中B2的容量分别为N1和N2（包括处理器正在处理的请求）。请求的到达与在M1及M2上的处理时间相互独立。试建立描述上述系统的马尔可夫链模型，其稳态分布是否存在？如存在，试求出其稳态分布。
请求B1M1题13图
B2M2离去
14．考虑一出租汽车站，其出租汽车到站和顾客到站分别按率为?T和?c的独立泊松分布过程进行（其中?T??c）。一辆出租车来到，不管出租车队伍多长都得等待，而一个顾客来到时仅当等待的顾客数不超过2时他才等待。假设时间足够长后系统达到平衡状态，试求等待出租车的平均顾客数和一个顾客来到时不需要等待就能坐上出租车的概率。 15．试述离散时间马氏链与连续时间马氏过程间的联系及其相同点和不同点（从状态分类，极限情况等来讨论）。
16．考虑具有k个通道的电话交换机，如果所有k条线都被占用，则一次呼叫来到时就被丢失了，呼叫电话规律服从比率为?的泊松过程，呼话的长短具有平均值为1?的独立指数分布的随机变量。试求在系统达到平稳时一次呼叫来到时被丢失的概率。
17．设X(t)为有7个状态的时齐马氏过程，其状态转移强度矩阵Q如下所示，其中的*号表示非零值，试说明各状态的类型和周期。
?*??0?*?Q??0?0??0?*?*00000??**0000?0*0000??00**00? 00**00??0000*0?******??18．假如在例5.7.1中的两个部件不同型，即它们的寿命分布和修理时间分布都
是不相同的，但都是指数分布，试研究此时的系统。
19．设某金工车间有M台车床，由于经常需要测量和调换刀具等原因，各车床总是时而停止，时而工作。假定在时刻t时，一台车床正在工作，但在时刻t??t时停止工作的概率为??t??(?t)；再假定在时刻t时，一台车窗不工作，而在时刻t??t时这台车床在工作的概率为??t??(?t)；而且各车床的工作情况是相互独立的，如果用N(t)表示时刻t正在工作的车床数。
（1）说明N(t)是一齐次马尔可夫过程； （2）求出它的平稳分布；
（3）特别当M?10,??60,??30时，求出在平稳状态时有一半以上车床在工作的概率。
20．试证明参数为?(>0)的泊松过程{N(t),t?0}是一个时间t连续状态离散的马尔可夫过程。
21．对M/M/K排队系统，记N(t)表示此系统在t时的队长，要求：
（1）说明N(t)是一个生灭过程，并写出其Q矩阵；
（2）列出柯尔莫哥洛夫微分方程，并研究其平稳分布的存在性和计算问题。
习题六
1．在例6.2.3中，如果假定报酬Yn不是在第n次更新时刻Tn时一次性得到，而是在[Tn?1,Tn]中连续地、一点一点地得到的，试证明命题6.2.2中的结论仍成立。 2．试写出现时寿命?t的分布函数及其极限。
3．试写出现时寿命?t和剩余寿命?t的联合分布函数及其极限。
4．试对Poisson过程而言，求出现时寿命?t和剩余寿命?t的联合分布函数和它
们各自的分布函数。
5．试举例说明期望总寿命E?t大于期望更新间隔时间EXn。 6．试证明以下结论：
对常返状态i，若在(X,T)中正常返且inf{?jk|pjk?0,j,k?Ci}?0，则i在X中正常返且?j??,?j?Ci；反过来，若i在X中正常返且
sup?{jkp|j?kj0k,?,Ci?，则?}i在(X,T)中正常返。
7．记XN(t)?1为包含t的更新间隔长度，试证明
P{XN(t)?1?x}?1?F(x)
并对Poisson过程计算P{XN(t)?1?x}。 8．试证明下式：
tE{[N(t)]2}?m(t)?2?m(t?s)dm(s)
09．对一个更新分布为非格的更新过程，试证明以下两式：
m(t)?t??Fe(t)??[1?Fe(t?x)]dm(x)
0tEX12limm(t)???1 2t???2?t10．设有一个过程，它有三个状态：1、2、3，其状态转移是1→2→3→1的循环形式，在状态1、2、3处的逗留时间分别服从分布函数F1、F2、F3，试求
limP{过程在t时处于状态i}，i?1,2,3
t??以此，试求n个状态的类似问题。
11．有一个计数器，粒子的到达服从间隔分布为F的更新过程，计数器每记录一个粒子后锁住一段固定时间L，在此期间，它不能记录任何到达的粒子。试求从锁住结束到下一个粒子到达的时间长度的分布函数。
12．设顾客相继到达一个汽车站形成一个均值为?的更新过程，当有N个顾客时就发出一辆汽车。假定汽车站需给逗留在汽车站的每一个顾客以率?支付费用。需研究汽车站在长期运行下单位时间的费用。 13．设某更新过程的更新密度为
??e??(x??),x?? f(t)??x???0,其中?是固定的，试计算概率P{N(t)?k}。