应用随机过程
马尔科夫链及其应用
随机过程是随时间推进的随机现象的数学抽象。例如，某地第n年的年降水量xn由于受许多随机因素的影响,它本身具有随机性,因此{xn,n=1,2,?}便是一个随机过程。类似地，森林中某种动物的头数，液体中受分子碰撞而作布朗运动的粒子位置，百货公司每天的顾客数，等等，都随时间变化而形成随机过程。严格说来，现实中大多数过程都具有程度不同的随机性。
随机过程(Stochastic Process)是一连串随机事件动态关系的定量描述。随机过程论与其他数学、物理分支如位势论、微分方程、复变函数论、力学等有密切的联系，是在自然科学、工程科学及社会科学各领域研究随机现象的重要工具。
研究随机过程的方法是多样的，主要可分为两大类：一是概率方法，其中用到轨道性质、停时、随机微分方程等；另一是分析方法，工具是测度论、微分方程、半群理论、函数论、希尔伯特空间等。但许多重要结果往往是由两者并用而取得的。此外，组合方法、代数方法在某些特殊随机过程的研究中也起一定的作用。研究的主要课题有：多指标随机过程、流形上的随机过程与随机微分方程以及它们与微分几何的关系、无穷质点马尔可夫过程、概率与位势、各种特殊过程的专题讨论等。
随机过程定义：设 (Ω,F,p)为概率空间，T为指标t的集合（通常视t为时间）,如果对每个t∈T,有定义在Ω上的实随机变量x(t)与之对应，就称随机变量族x＝{x(t),t∈T}为一随机过程（简称过程）。研究得最多的是T 为实数集R＝(-∞，∞)的子集的情形；如果T为整数n的集,也称{xn}为随机序列。如果T是d维欧几里得空间R（d为大于1的正整数）的子集，则称x为多指标随机过程。
过程x实际上是两个变元(t,ω)(t∈T,ω ∈Ω)的函数，当t固定时，它是一个随机变量；当ω固定时,它是t的函数,称此函数为随机过程（对应于ω）的轨道或样本函数。
在本学期学习的随机过程里有平稳过程，滑动平均序列，协方差函数遍历性定理，Poisson过程，复合Poisson过程，然后就是马尔科夫过程。本次论文主要是关于马尔科夫链及其应用的介绍。
马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。
马尔可夫进行深入研究后指出：对于一个系统,由一个状态转至另一个状态的转换过程中,存在着转移概率,并且这种转移概率可以依据其紧接的前一种状态推算出来,与该系统的原始状态和此次转移前的过程无关。一系列的马尔可夫过程的整体称为马尔可夫链-马尔可夫过程的基本概念是研究系统的“状态”及状态的‘转移“,从一个状态转换到另一个状态的可能性,我们称之为状态转移
概率-所有状态转移概率的排列即是转移概率矩阵
马尔可夫过程因其无后效性、遍历性和时齐性，在科学研究、天气预测、农业预测、市场预测等方面应用非常广泛接下来通过对马尔可夫链理论和切普曼－柯尔莫哥洛夫方程的探讨，结合天气因素、降水情况的不确定性和无后效性等诸多特点，构建了基于天气预报的马尔可夫链预测模型。
马尔可夫链实际上就是状态和时间都是离散的马尔可夫过程。这一特性可用分布函数来确切地表出：设随机过程{X(t),t?T}，状态空间为?，若对于t 的任意n个值t1 PX(tn)?xnX(t1)?x1,X(t2)?x2,?,X(tn?1)?xn?1 ???P?X(tn)?xn|X(tn?1)?xn?1?,xn?R则称过程{X(t),t?T}具有马尔可夫性，并称此过程为马尔可夫过程。 0?t1?t2???tr?m,ti,m,m?n?T 若对于任意的正整数n，r和任意的 且T??0,1,2,??，有 P Xm?n?ajXt?ai,Xt?ai,?,Xtr?air,Xm?ai?P?Xm?n?aj|Xm?ai?1122??其中ai，aj??, 称｛Xn,n=0,1，2，?｝为马氏链。 ?表示马氏链Pij(m,m?n)?P?Xm?n?aj|Xm?a最重要的是转移概率 ，i 在时刻m处于状态ai的条件下，在时刻m+n转移到状态aj的转移概率。 ?pij(m,m?n)?1,i?1,2,?.很容易得到 表示链在时刻m从任何一 j?1?个状态ai出发，到另一时刻m+n必然转移到a1,a2,?诸状态中的某一个，所以概率和为1。 马氏链的转移概率矩阵：由转移概率组成 P(m,m?n)?(Pij(m,m?n))马尔可夫链的齐次性：若对任意的正整数m1, m2， n及任意的ai，aj，有 P?Xm?n?aj|Xm?ai??P?Xm112?n?aj|Xm2?ai?即马氏链{Xn,n?0}的转移概率Pij(m,m+n)与m无关，则称转移概率具有平稳性，这时，马尔可夫链称为是齐次的。 马尔可夫链的n步转移概率： Pij(n)?P?Xm?n?aj|Xm?ai?,?ai,aj?x,m?0,n?1??(n)?(Pij(n))为齐次马氏链{Xn,n≥0}的n步转移概率，并称由Pij(n)组成的矩阵 为n步转移概率矩阵。 pij?pij?1??P?Xm?1?aj|Xm?ai?马尔可夫链的一步转移概率： P?P(1)??pij(1)? pij表示由状态ai经一步转移到状态aj的概率。 马尔可夫链的遍历性：设齐次马尔可夫链的状态空间为?，如果对于所有的 limpij(n)??jai , aj??, 转移概率pij(n) ,当n→∞时，存在不依赖于i的极限 n?? 或P(n)?Pn??1?2???1?2????n??????????1?2????j??j??j????j?????????????????j?1称?=(?1,?2,?)为马尔可夫链的极限分则称此链具有遍历性，又若 , 布。 设齐次马氏链｛Xn,n?0｝的状态空间为?＝{a1, a2,?,aN}，如果存在正整数m，使对任意的ai ,aj??，都有 Pij(m)>0, i , j =1,?,N，则此链具有遍历性，且有极限分布?=(?1,?2,?, ?N)，它是方程组 N???P或?j??ipij?i?1j?1,2,...,N ??j?1的唯一解。 的满足条件?j>0, j在定理条件下，马氏链的极限分布是平稳分布，即若用?作为链的初始分布，p(0)=?，则链在任一时刻n的分布p(n)永远与?一致.因为 p(n)?p(0)P(n)??Pn??Pn?1????P??Chapman-Kolmogorov（切普曼－柯尔莫哥洛夫）方程 设{Xn，n=0,1,?}为齐次马氏链，则对于任意的正整数k，m，有 Pij (m?k)??Pir(m)Prj(k)，此方程称为Chapman-kolmogorov(切普曼－柯 r尔莫哥洛夫)方程，简称C-K方程。 如果把转移概率写成矩阵的形式，那么C－K方程具有以下简单的形式 P(m+k)=P(m)P(k) ，m, k≧0，特别地，P(n)=Pn, n步转移概率由一步转移概率完全决定。 这样，如果知道了马尔可夫链的初始概率，即初始时刻各个状态的概率，并且知道它的一步转移概率矩阵，进而求得所有有限维概率分布，由此便可进行未来天气情况的预测，进行预报。 通过马尔可夫链预测天气 如果明天是否有雨仅于今天的天气（是否有雨）有关，而与过去的天气无关，并设今天下雨的情况下，明天有雨的概率为α；今天无雨的情况下，而明天有雨的概率为β；又假定把有雨称为0状态天气，把无雨称为1状态天气，则本例是一个两状态的马尔可夫链，其一步转移概率矩阵为 P??p00??p10p01???1????????p11???1????设α=0.7，β=0.4，则一步转移概率矩阵为 于是两步转移概率矩阵为 P??0.70.3????0.40.6?P?2??P2?PP??0.70.3??0.70.3??0.610.39?????????0.40.6??0.40.6??0.520.48?由此，可预报后天的天气情况，今天有雨，后天仍有雨的概率为p00（2）=0.61， 后天无雨概率为p01（2）=0.39；今天无雨，后天有雨的概率是p10（2）=0.52，后天无雨的概率是p11（2）=0.48。 同理四步转移概率矩阵为 P?4??(P(2))2???0.57490.4251??0.56680.4332??据此可预报四日后的天气状况，今日有雨，第五日仍有雨的概率是 p00（4）=0.5749，今天无雨，则第五日的降雨概率p10（4）=0.5668。 六步转移概率矩阵为 P?6??P(4)*P(2)???0.57490.4251??0.610.39??0.57170.4283????????0.56680.4332??0.520.48??0.57100.4290?据此可预报六天后的天气状况，今日有雨，第七日仍有雨的概率p00（6）=0.5717，今天无雨，则第七日的降雨概率p10（6）=0.5710。 因此，根据今日的天气状况，可由马尔可夫链的多步转移概率矩阵求得短期内的天气情况的概率，从而实现对天气的预报。这是马尔科夫链在天气预报方面的应用。 如果我们一直重复作下去，推得每一天的状况，一直到最后数字趋于稳定，我们称之“终极状态”。这个状态由马尔可夫链的遍历性可以求得。 ??(?1,?2)，则由???P得到，设其极限分布为 ??1??1?0.7??2?0.4??1?0.5714? ， 解得 ????0.3???0.6??212??2?0.4286?????12?1由此可预测将来有雨的概率比较大，为0.5714。 天气预报是建立在对天气数据的分析统计之上的。因此数据越多，越精确，预测也就越可靠。利用马尔可夫模型对天气情况做出合理科学的预测分析，在各种天气变化预测中有着实际的重要意义，为气象管理部门预报天气和决策提供科学的理论依据。 接下来介绍马尔科夫链预测法在市场占有率中的应用 单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率。在激烈的竞争中，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时，需要预测