P112/12．解：
设一次观察今天及前两天的天气状况，将连续三天的天气状况定义为马氏链的状态，则此问题就是一个马氏链，它有8个状态。记每天天晴为0，下雨为1，则此链的状态可以由三位二进制数表示。如三天晴为000，为状态0；第一天晴，第二天晴，第三天雨为001，为状态1；第一天晴，第二天雨，第三天晴为010，为状态2；第一天晴，后两天阴为011，为状态3，等等。根据题目条件，得到一步转移矩阵如下：
第四讲作业：
P113/13．解：画出状态转移图，有：
P113/14. 解：画出状态转移图，有：
P113/16．解：画出状态转移图，有：
（1）由于三个状态都是相通的，所以三个状态都是常返态。 （3）状态3、4无法和其他状态相通，组成一个闭集，且
，所以状态3、4为常返态；另外状态0、
2相通组成一个闭集，且，故状态0、2是常返态；因为，所以状态1为非常返态。
（4）0、1相通作成一闭集，且
，故0、1为常返态；又
故2为常返态； ，故3、4为非常返态。
第六讲作业：
P115/17．解：（1）一步转移矩阵为：
（2）当
时，由计算可得
，因此可由以下方程组计算极限分布：
解得极限分布即可。
P115/18．解：由第七题的结果，计算可得：，
因此可计算极限分布如下：
解以上方程，得极限分布：
P115/19．解：见课上讲稿。
P116/21．解：记
，则有：
，故
，因此
，
（1）因为：
(A)
当
时，有：
由（A）可得：
当
且
时，有：
由（A）可得：
当
且
时，有：
由（A）可得：
另外：下列等式是明显的
因此我们有：
即{是一齐次马氏链。一步转移矩阵为：
（2）画出转移矩阵图，可得：
由：及，并且取，由递归可得：
（3）由于：
因此，零状态是正常返的，由相通性，故所有状态都是正常返的，即此马氏链是不可约的。
（4）由马氏链的无后效性，可知此时的T就是零状态到零状态的首达时间。因此我们有：
随机过程习题解答（二）
P228/1。证明：由于s?t，有
P?N(s)?k/N(t)?n???P?N(s)?k,N(t)?n?P?N(t)?n??P?N(s)?k??P{N(t?s)?n?k}P?N(t)?n?
其中
P?N(s)?k??P{N(t?s)?n?k}?(?s)k!ken??s?(?(t?s))n?k(n?k)!e??(t?s)
P?N(t)?n??(?t)n!e??t
所以
(?s)P?N(s)?k/N(t)?n??k!ke??s?(?(t?s))nn?k(n?k)!n!ek??te??(t?s)(?t)
n?k?stkk(t?s)tn?kn?k?n??s??s????1??????kkk!(n?k)!?k??????n!证毕。
P229/3. 解：（1）因为{N(t),t?0}是一Poission过程，由母函数的定义，有：
??N(t??t)(s)???P{N(t)?k}?sk?0k?k?k????P{N(t)?l}?P{N(?t)?k?l}??sk?0?l?0??klk?l?????P{N(t)?l}?s?P{N(?t)?k?l}?s?k?0?l?0?????????l?0?l?0???lk?l?P{N(t)?l}?s?P{N(?t)?k?l}?s??? ?k?l??lk?l????P{N(t)?l}?s???P{N(?t)?k?l}?s?k?l?l??P{N(t)?l}?s???P{N(?t)?l?0j?0j}?sj???N(t)(s)??N(?t)(s)（2）有上面（1）的结果，可得：
??N(t)(s)?t??limlim?N(t??t)(s)??N(t)(s)?t?N(t)(s)??N(?t)(s)??N(t)(s)?t?N(?t)(s)?1?t?t?0?
?t?0??N(t)(s)?lim?t?0（3）当?t充分小时，由于：
??N(?t)(s)??P{N(?t)?s}?sk?00k??1???t??(?t)??s????t??(?t)??s?1?
k??(?t)?sk?2因此，当s?1时，有：
lim?N(?t)(s)?1?t??t?0lim???t???ts??(?t)?t???t?0?k?2?(?t)?t?s??(s?1)k
由（2）的结果，我们有：
??N(t)(s)?t??(s?1)?N(t)(s)
P229/4. 解：（1）由上面3题的结果（3），我们有：