随机过程练习题（三）参考解答
1. 将一颗骰子扔很多次，记Xn为第n次扔正面出现的点数，
问?X?n?，n?1，2，??是马尔科夫链吗？如果是，试写出一步转移概率矩阵。
解：由于?X?n?，n?1，2，??的取值只能是?1，2，3，4，5，6?，故状态空间为
E??1，2，3，4，5，6?。
由于X?n?的取值的概率与X?n?1?以前的X?i?的取值完全无关，所以是
X?n?是马尔科夫链。
故pij?PX?n??jX?n?1??i?它的一步转移概率矩阵为：
?1?6??1?6??1?6P??1??6?1??6?1??6161616161616??1. 61111?6666??1111?6666??1111?6666? ?1111?6666?1111??6666?1111?6666??
2. 一个质点在直线上作随机游动，一步向右的概率为p（0?p?1），一步向左的概率为q，q?1?p。在x?0和x?a处放置吸收壁。记X?n?为第n步质点的
位置，它的可能值是?X?n?，n?0，1，2，??。试写出一步转移概率矩阵。
解：状态空间为E??0，1，2，?，a?。
由题意得一步转移概率矩阵为：
?10?q0??0qP??????00??00
0p0?00??0?0??0?? ??p??1?p?q0??????3. 在一个罐子中放有50个红球和50个兰球。每随机地取出一球后，再放一新
1球进去，新球为红球和兰球的概率各为。第n次取出一球后，留下的红球数记
2为X?n?。问?X?n?，n?0，1，2，??是马尔科夫链吗？试写出一步转移概率矩阵（当n?50）。
解：X?n?是马尔科夫链。状态空间E??0，1，2，?，100?。
pij?PX?n?1??jX?n??i.
i?1即剩下i个红球，再取一次又放入一个新球后可能剩i个红球，X?n??i，
??个红球，i?1个红球，则
iP?X?n??i??，
100i1i??， 1002200100?i1i11001P?X?n?1??i???????，
100210022002100?i1100?iP?X?n?1??i?1????.
1002200当n?50，它的一步转移概率矩阵为：
1?100???22?199?10???2002200?1149?0??1002100?P?????????i1100?i?0?0?2002200??0????????0??????P?X?n?1??i?1??????0992000?????1212?0??0???0???? ?????1?200?1??2?
4. 扔一颗骰子，如果前n次扔出现点数的最大值为j，就说X?n?的值等于j。试问?X?n?，n?1，2，??是不是马尔科夫链？并写出一步转移概率矩阵。 解：由于X?n?的取值只能为?1，2，3，4，5，6?中的值，故状态空间为
E??1，2，3，4，5，6?。
由于X?n?是前n次扔骰子出现的最大点数，X?n?的取值的概率只与
X?n?1?的取值有关，因为X?n?1?为前X?n?1?次扔骰子出现的最大点数，而与X?n?1?以前的X?i?的取值无关，因此X?n?是马尔科夫链。
??0，j?i??iX?n?的一步转移概率为：PX?n??jX?n?1??i??，j?i
?6?1，j?i??6X?n?的一步转移概率矩阵为：
???1?6??0???0P????0???0??0?162600001616360001616164600161616165601?6??1?6??1?6? 1??6?1??6?1??
5. 将适当的数字填在下面的空白处，使矩阵
11??33?1?1P??1010???13??44解：
2?）根据?pij?1（i?1，，，可得：
j1?3??1?10?是一步转移概率矩阵。 ?1????111??0?333???1711??P??10101010?
??0001???1?300???44?
6. 设马尔科夫链的一步转移概率矩阵为
?111??236???111?试求二步转移概率矩阵。 P???333???111????326??解：
二步转移概率矩阵为：
?1?2?2?1P?2???P1???????3??1??31313121??16??2??1??1???33??1??16????321313121??16??2??1??13??3??1??16????31313121??56??12??1??7???183??1??76????18133671813362?9??2?. ?9?1?4??
7. 设马尔科夫链的一步转移概率矩阵为
?pq?P???其中p?0，q?0，p?q?1。 qp??试求二步转移概率矩阵和三步转移概率矩阵，并用数学归纳法证明一般n步转移
nn??1?p?q1?p?q????1?. 概率矩阵为P??nn2?1??p?q?1??p?q????（1）解：二步转移概率矩阵为：
?pq??pq??pq?P?2???P1???????qp???qp??qp?
???????p2?q2pq?qp??p2?q22pq?. ????22?22?p?q??qp?pqp?q??2pq22
三步转移概率矩阵为：
?p2?q22pq??pq? P?3??P?2?P?1????22??p?q??qp??2pq?p3?pq2?2pq2p2q?q3?2p2q??p3?3pq2q3?3p2q?. ??2??323232?232??2pq?pq?q2pq?p?pq??q?3pqp?3pq?（2）证明：
1? 当n?1时，
1?1??p?q?1??p?q??1?p?q?p?qp?q?p?q?P?1??? ????2?1??p?q?1??p?q??2?p?q?p?qp?q?p?q?1?2p2q??pq??????. 即为一步转移概率矩阵。 qp2?2q2p?????当n?1时，等式成立。
2? 设当n?k（k?2且为正整数）时，等式成立，
kk1?1??p?q?1??p?q???. 则P?k???kk2?1??p?q?1??p?q????当n?k?1时，
kk???pq?1?p?q1?p?q????1? P?k?1??P?k?P?1????kk?2?1??p?q?1??p?q???qp???kkkk1?p?p?p?q??q?q?p?q?q?q?p?q??p?p?p?q?????2?p?p?p?q?k?q?q?p?q?kq?q?p?q?k?p?p?p?q?k???kk??p?q?p?qp?qp?q?p?qp?q????????????1? ??kk2??p?q???p?q??p?q??p?q???p?q??p?q????k?1k?11??p?q??1?1??p?q??. ??2?1??p?q?k?11??p?q?k?1????当n?k?1时，等式成立。
由1?、2?知，对于任意正整数n，等式均成立。