1. 设{X(n),n?0,1,2,?}为马氏链，证明
P{X(1)?x1|X(2)?x2,X(3)?x3,?,X(n)?xn}?P{X(1)?x1|X(2)?x2}
即马氏链的逆序也构成一个马氏链. 2. 如果马氏链的转移概率矩阵为
?0P???11?? 0?证明：此马氏链不是遍历的马氏链，但具有平稳分布.
3. 一个开关有两种状态：开或关，设它现在开着时，经过单位时间(s)后，它仍然开着的
概率为为
341212，关上的概率为
14；当它现在关着时，经过单位时间(s)后它仍然关着的概率
，它打开的概率为. 假设开关的状态转移只在0,1,2,3,?(s)时进行. 设t?0时，
开关开着. 求t?3时，开关关着和开关开着的概率.
4. 甲乙两人进行比赛，设每局比赛甲胜的概率为p，乙胜的概率为q，和局的概率为r，
，分负者记“-1”分，和局记“0”分. 当两人p?q?r?1，设每局比赛后胜者记“1”
中有一个获得2分时，结束比赛. 以X(n)表示比赛至第n局时，甲获得的分数.
{X(n),n?0,1,2,?}是一个齐次马氏链.
（1）写出此马氏链的状态空间；
（2）写出状态转移矩阵； （3）计算2步转移矩阵；
（4）问在甲获得1分的情况下，再赛2局就结束比赛的概率为多少？
5. A、B、C三家公司决定在某一时间推销一新产品. 当时它们各拥有的市场，然而一年
31后，情况发生了如下的变化：
（1）A保住40%的顾客，而失去30%给B，失去30%给C； （2）B保住30%的顾客，而失去60%给A，失去10%给C； （3）C保住30%的顾客，而失去60%给A，失去10%给B.
如果这种趋势继续下去，试问第2年底各公司拥有多少份额的市场？（从长远来看，情况又如何？）
6. 一质点沿圆周游动，圆周上按顺时针等距排列五个点0，1，2，3，4，把圆周分成五格。
质点每次游动或顺时针或逆时针移动一格，顺时针移动一格的概率为p，逆时针移动一
格的概率为1-p，设X?n?表示经n次移动后质点所处的位置，则{X?n?,n?0,1,2,?}是一齐次马尔可夫链。试求： （1）状态空间；
（2）一步转移概率矩阵；
（3）极限分布。
7. 赌徒甲有a元，赌徒乙有b元，两人进行赌博. 每赌一局输者给胜者1元，没有和局，
直赌到两人中有一个输光为止. 设在每一局中甲胜的概率为，X(n)表示第n局时甲
21的赌金. {X(n),n?0,1,2,为齐次马氏链. ?}（1）写出状态空间和状态转移矩阵；
（2）求出甲输光的概率.
8. 设齐次马氏链{X(n),n?0,1,2,?}的状态空间E?{1,2,3}，状态转移矩阵
?1?2?1P???2??0??121413?0??1?4??2??3?
（1）讨论其遍历性；（2）求平稳分布；（3）计算下列概率.
i）P{X(4)?3|X(1)?1,X(2)?1}；ii）P{X(2)?1,X(3)?2|X(1)?1}. 9. 已知齐次马氏链{X(n),n?0,1,2,?}的状态空间E?{1,2,3}，状态转移矩阵为
?1?2?1P???3??1?3?1313121?6??1?3??1??6?
初始分布
X(0) P （1）计算2步转移矩阵； （2）求X(2)的分布律； （3）求平稳分布.
10. 已知随机游动的质点构成一个马氏链，其状态空间
为E??1,2,3,4,5?，一步转移概率矩阵为
?1?1??6??P??0???0??0?01216000131216000131200??0????0? ?1??3?1??1 252 253 15
试求质点从状态2出发，分别被吸收于状态1、状态5的概率。
11. 齐次马氏链{X(n),n?0,1,2,?}，状态空间为E?{1,2,3,4}，状态转移矩阵
?1?3??1P??2??0??0?23000012340?0??0???1?4?1??
（1）画出状态转移概率图形；（2）讨论各状态性质；（3）分解状态空间.
12. 一个电路供给3个电焊工. 如果一个电焊工在t时刻正在用电，在(t,t??t)中他将停止
用电的概率是??t?o(?t)；如果一个电焊工在t时刻没有用电，在(t,t??t)中他将需要电的概率是??t?o(?t). 焊工们独立地工作. 设X(t)表示时刻t用电的焊工数.
{X(t),t?0}是一个生灭过程.
（1）画出状态转移速度图； （2）写出状态转移速率矩阵；
（3）求出平稳分布.
13. 设有一电脉冲，脉冲的幅度是随机的，其幅度的变域为{1,2,3,?,a}，且在其上服从均
匀分布，现用一电表测量其幅度，每隔一单位时间测量一次，从第一次测量算起，记录其最大值X?n?,n?1.
（1）试说明?X?n?,n?1?.是一齐次马尔可夫链；
（2）写出一步转移概率矩阵；
（3）仪器记录到最大值a的平均时间.
14. 在天气预报问题中，若今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都 下雨，明日有雨的概率为0.7；昨日无雨,今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。该问题是否可以用一马尔可夫链表示。若可以，求在星期一、星期二均下雨条件下，星期四下雨的概率。 15. 考虑Bernoulli过程的移动平均
Yn?12?Xn?X?n1?
其中?Xn?n?1,2,?是p=1/2的独立Bernoulli序列。试证明?Yn?n?1,2,?不是一个Markov过程。
16. 已知马氏链?Xn,n?0?的状态空间为E??1,2,3,4?，其初始分布和转移概率矩阵为
pi?P?X0?i??14,i?1,2,3,4,
?1?4??1?4P???1?4?1??414141814141414141?4??1?4??3?8?1??4?
试证：
（1）P?X2?4|X0?1,1?X1?4??P?X2?4|1?X1?4?. （2）P?X3?4|1?X1?4,X2?3??P?X3?4|X2?3?.
17. (二维对称随机游动)设质点的位置是平面上的整数格点,每个格点有4个相邻的位置,质
点分别以
14的概率转移到这4个相邻位置中的每一个整数格点上.讨论平面上对称随机
游动的常返性.
解：任意两个整数格点都是互通的，从而二维对称随机游动为不可约马氏链。其周期为2。考查各整数格点的常返性，只需考查原点的常返性即可。
记质点从原点出发经过2n步回到原点的概率为P00?2n?. 此时质点必须在x轴上向右移动i步,向左移动i步;在y轴上向上移动j步,向下也移动j步,并且i?j?n。所以有
nP00?2n???142nn?Ci?0i2n?1?i?1?n?i?1???C2n?i??C2n?2i???4??4??4?2iin?iCn?in?i?1????4?n?i?i?0n(2n)!?i!(n?i)!?(2n)!n!?n!n2n?142n?i?0n?n!?n!?i!(n?i)!?i22
?142nn?Ci?0ni?02??Cn?2?C2n42n??C?in2n??C2nn???4由string 公式，当n充分大时
n!?nn2?nen
从而当n充分大时
P00?2n???C2nn???42n222n??2n?2??2n?2n1e?2n?4?nn2??nnn2??n??nnee???? ????1n??级数?1?n?0?n???，从而?P00?n???
n?0即原点为常返态，那个人平面上的对称随机游动是常返的.
18. 讨论三维空间上的对称随机游动的常返性。质点的位置是空间上的整格点，每个位置有 6个相邻的位置，质点分别以
16的概率转移到这6个相邻位置中的每一个整格上.
解：同上，三维空间上的对称随机游动也是不可约马氏链，其周期为2. 质点从原点出发经过2n步回到原点的概率P00?2n?。此时质点必须在x轴上向右移动i步,向左移动i步;在y轴上向前移动j步,向后也移动j步, 在z轴上向上移动k步,向下也移动k步,并且i?j?k?n。所以有
nn?ii2niijjn?i?jn?i?jP00?2n???1?????6??1?????6??1?????6??1?????6??1?????6??1?????6?2nn??Ci?0j?0n?i?1?i?1??1??1??1?jjn?i?jCCCC2n?2i?j?2n?2i?2j???2n?i??2n?2i?????6??6??6??6??6??Cn?i?jn?i?j?1????6???i!i?0j?0nn?i2n?2n?i?!??2n?i?!i!?2n?2i?!2n!2n!2?2n?2i?!j!?2n?2i?j?!??2n?2i?j?!?2n?2i?2j?!?j!?2n?2i?2j?!?n?i?j?!?n?i?j?!??i?0j?02nnn??i!j!?n?i?j?!??n?iC2n?i?02nnn2n??n!??i!j!n?i?j!????j?0???n?iij?Cn??Cn?i?22
C2n??i?0j?0nC2nn2n?i?0n?C???in2n?i?j?0?Cnj?i???2nin?i?C2n???Cn?C2?n?i?i?02i?C2n??ni?i?C因为 ?n??2iin?i?Cn?Cn?C2?n?i???3???? ??3等号当且仅当Cni?Cni?C2n??ni?i?即n?2i时成立。故
in?i?Cn???C2?n?i?2?n???Cn2???3
从而
?1?P00?2n?????6??1?????6?2n2nnCn3n2n?i?0in?i?Cn???C2?n?i?2
??nC2n?Cn2????n?1?当n充分大时
?1????6?2nCn2n?n?2C?n???3?1??n?1?????6?2n????2n??n?2n?2??2nn2??n??2nn??eenn??nnn2??nn2??n22nnnn???????nn2??2??????ee?22?2?2??????nn??e2e2??3?n?1?
?8?22???2?9??n??8?22级数???2收敛，故?P00?n?收敛。即原点为非常返状态。
?nn?0n?1?9?n??n所以三维空间上的对称随机游动是非常返的.
注：（1）更一般地，d(d?3)维空间上的对称随机游动也是周期为2的不可约马氏链。其所有状态均为非常返的.
（2）此结论说明对称随机游动在一、二维空间上的常返性与在更高维(?3)维空间上的常返性截然不同。