验结果去估计p.在这里,随机性的影响就表现在:哪l00件被挑出是偶然的.
一般,在社会调查性质的问题中,问题的要求规定了调查的范围.如问题是研究某一地区内以农户为单位的经济状况,则该地区的全体农户都是调查对象.若这个数目太大,则我们只能挑一部分作实地调查.这时,所得救据的随机性就来自被挑出的农户的随机性.对这种数据作分析,就必须使用数理统计方法.
数据随机性的另一种来源是试验的随机误差,这是指那种在试验过程中未加控制、无法控制,甚至不了解的因素所引起的误差.例如,设反应温度和压力是影响产品质量y的重要因素,我们想通过一定的试验去考察这影响的程度,并挑选一个适当的温度和压力值以供在今后大批生产中使用.但是,y除了与温度、压力有关外,还受到大量其他因素的影响.例如,每次试验所用原材料略有差异,可能使用不同的仪器设备和操作者等等.这些因素无法或不便加以完全的控制,而对试验结果(数据)产生随机性的影响.这就带来一种不确定性.例如,从试验数据上看,使用温度t2比用t1好.但这个表现在数据上的优势究竟是本质的——即有足够的理由可解释为是由于t2的确优于t1,还是只是随机误差的偶然性表现?这就需要用数理统计的方法去分析.
2.所谓“用有效的方式收集数据”一语中,有效一词该如何解释.归纳起来有两个方面:一是可以建立一个在数学上可以处理并尽可能简单方便的模型来描述所得数据,一是数据中要包含尽可能多的、与所研究的问题有关的信息。
例如,在考察某地区共10000农户的经济状况的问题中,我们前面说挑出100户作实际调查.100这个数字是否恰当?太大了则费用过大,太小了则代表性不够.要决定一个较好的数字,须权衡这两个方面,并用得着统计力法.其次,假定我们选择了100这个数字.这l00户如何挑选?假设你只在该地区最富裕的那部分去找,这样得到的数据就没有代表性,也谈不上有效了.反之,你如果用一种纯随机化的方法,即设法使这10000户中的每一户有同等的机会被挑出,则所得救据就有一定的代表性,我们也不难建立一个简单的模型来描述它.在一些情况下,我们还可以设计出更有效的方法.举一个简单情况,若该地区分成平原和山区两部分,前者较富裕且占全体农户的70%,则我们可规定,在预定要考察的100户中,有70户从平原地区挑,30户从山区挑;而在各自的范围内则用纯随机化的方式挑.直观上我们觉得,这样得到的数据,比在全体10000户中用随机化方式挑选得到的数据更有代表性,因而也更“有效”.数理统计的理论证明确是如此.
又如,在产品质量与反应温度和压力的关系的例中,怎样用有效的方式收集数据?问题更多.若可以考虑的温度在t1和t2之间,压力在F1和F2之间。首先我们当然只能取有限个温度和压力值去做试验.取多少个值好?这里也有与上例中一样的问题:太多了费用太大,太少了不说明问题.在定下了一个数目,例如四个温度值和四个压力值去做试验,则这些值是否均匀地取在相应的区间中好?另外,若把这些值所有可能的搭配都做试验,则至少需做16次.也许条件不允许做这么多,而只能做一部分,则这一部分如何挑选?这些问题解决得好,试验数损就有一种平衡或对称的称的结构,不仅更富于代表性,且可建立一种简单而便于分析的模型.
用有效的方式收集数据的问题的研究,构成了数理统计学中的两个分支,其一叫抽样理论,其二叫试验设计,它们分别处理相当于上面讨论过的两个例子中的那种类型的数据收集问题.
3.现在来解释“有效地使用数据”一语的意义.获取数据的目的,是提供与所研究的问题有关的信息.但这种信息井非是一目了然地表现出来,而需要用“有效”的方式去集中、提取,进而利用之以对所研究的问题做出一定的结论.这种“结论”,在统计上叫做“推断”.所作的推断应是对所提出的问题的一个回答,而不只限于所得数据的范围内.有效地使用数据,就是要使用有效的方法,去集中和提取试验数据中的有关信息,以对所研究的问题作出尽可能精确和可靠的推断.其所以只能做到“尽可能”而非绝对地精确和可象,是因为数据受到随机性因素的影响.这种影响可以通过统计方法去估计或缩小其干扰作用,但不可能完全消除.
为有效地使用数据以进行统计推断,涉及很多的数学问题.需要建立一定的数学模型,并给定某些准则,才有可能去评价和比较种种统计推断方法的优劣.例如,为估计一物体的重量a,把它在天平上秤九次,得到数据。A1,a2,?,a9,它们都受到随机性因素的影响(影响大小反映天平的精密度).我们可以用这九个值
的算术平均去估计a,也可以考虑下述方法:把9个值按大小依次排列,而取正中间的一个,即a5,去估计a.甚至也可以用两个极端值的平均.你可能在直观上会认为;作为a的估计,均值优于中位数,而中位数优于极端值的平均值。但是为什么?这是不是对?在什么意义下对?在什么条件下对?这些问题就不容易回答.事实上,对这些问题的研究,正是数理统计学的中心内容,要使用大量的数学和概率论的工具.实际上,在一定的情况(取决于随机性影响的概率结构,即统计模型)和一定的意义下,上述三个估计方法中的任一个都可能成为最优的.
4.最后一点,就是数理统计学只处理在收集和使用带随机性影响数据中的数学问题,因而是一个数学分支.
一个问题的研究,涉及到问题所在领域的专门知识.数理统计学不以任何一种专门领域为研究对象,不论你的问题是物理学的、化学的、生物学的或工程技术方面的,只要在安排试验和处理试验数据中沙及到一些一般性的、共同的数学问题,就可以用统计方法.例如,不论作哪种试验,都有一个试验规模的问题,即试验须重复多少次,才能把随机误差的影响控制在必要的限度内.这是一个与专业知识无关的带共性的问题,一组试验数据只要对其所受的随机性影响作了明确的规定(如服从正态分布),则可以用相应的统计方法去分析,而不管这些数据的实际含义如何.这种带共性的问题既然从专门的知识领域中超脱出来,就可以用纯数学的方法去研究,这就是数理统计学的对象。我们这样说,并不意味着一个数理统计学者可以不过问其他专门领域的知识.相反,如果他要将统计方法用于实际问题,他必须对所论问题的专门知识有一定的了解.这不仅可以帮助他选定恰当的统计模型和统计方法,而且,用数理统计方法分析随机性数据所得结论的恰当解释,离不开所论问题的专门知识.例如,数理统计方法对数量遗传学很有用,但一个对遗传学一无所知的统计学家就难于在这个领域中有所作为.
统计方法的应用很广泛,所以许多学习其他专业的人都需要一些这方面的知识.幸好,统计方法的具体使用并不需要很高深的数学知识.相反,这些方法的理论根据,不具备较多校深的数学知识就说不清楚.因此在一些统计方法得到广泛应用的国家,例如在美国,出版了大量专供各领域的应用者使用的著作.这种著作介绍统计方法及其应用,但不涉及或很少涉及这些方法的理论根据.这种著作被列入“统计方法”或“应用统计”的范畴内,而只有那种用严格的数学去论证统计方法的理论根据的书,才称为数理统计著作.这显示在这些国家中。“数理统计学”一词是给以一种狭义的解释,即只包括统计学中的数学基础部分.在我国,数理统计学一词则是与作为一门社会科学的统计学相对而言的.粗略地说,在我国,数理统计学与西方的统计学相当,而具有较广泛的含义.明白这个区别就可以避免一些误解.
数理统计的基本知识所包含的内容: 统计量及其分布 参数估计 假设检验 方差分析 回归分析
贝叶斯统计与统计判决 非参数统计 多元统计
数理统计学
mathematical statistics
研究怎样有效地收集 、整理和分析带有随机性的数据,以对所考察的问题作出推断或预测,直至为采取一定的决策和行动提供依据和建议的数学分支。
发展简史 数理统计学是伴随着概率论的发展而发展起来的。19世纪中叶以前已出现了若干重要的工作,如C.F.高斯和A.M.勒让德关于观测数据误差分析和最小二乘法的研究。到19世纪末期,经过包括K.皮尔森在内的一些学者的努力,这门学科已开始形成。但数理统计学发展成一门成熟的学科,则是20世纪上
半叶的事,它在很大程度上要归功于K.皮尔森、R.A.费希尔等学者的工作。特别是费希尔的贡献,对这门学科的建立起了决定性的作用。1946年H.克拉默发表的《统计学数学方法》是第一部严谨且比较系统的数理统计著作,可以把它作为数理统计学进入成熟阶段的标志。 数理统计学的发展大致可分3个时期。① 20世纪以前。这个时期又可分成两段,大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线,前段属萌芽时期,基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先,强调了推断的地位,而摆脱了单纯描述的性质。由于高斯等的工作揭示了正态分布的重要性,学者们普遍认为,在实际问题中遇见的几乎所有的连续变量,都可以满意地用正态分布来刻画。这种观点使关于正态分布的统计得到了深入的发展,但延缓了非参数统计的发展。19世纪末,K.皮尔森给出了以他的名字命名的分布,并给出了估计参数的一种方法——矩法估计。德国的F.赫尔梅特发现了统计上十分重要的x2分布。②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法,以及数理统计学的主要分支学科,都是在这个时期建立和发展起来的。这个时期的成就,包含了至今仍在广泛使用的大多数统计方法。在其发展中,以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中,数理统计学在应用和理论两方面继续获得很大的进展。
分支学科 数理统计学内容庞杂,分支学科很多,难于作出一个周密而无懈可击的分类。大体上可以划分为如下几类:
第一类分支学科是抽样调查和试验设计。它们主要讨论在观测和实验数据的收集中有关的理论和方法问题,但并非与统计推断无关。
第二类分支学科为数甚多,其任务都是讨论统计推断的原理和方法。各分支的形成是基于:①特定的统计推断形式,如参数估计和假设检验。②特定的统计观点,如贝叶斯统计与统计决策理论。③特定的理论模型或样本结构,如非参数统计、多元统计分析、回归分析、相关分析、序贯分析,时间序列分析和随机过程统计。第三类是一些针对特殊的应用问题而发展起来的分支学科,如产品抽样检验、可靠性统计、统计质量管理等。
统计工作诸环节 用数理统计方法去解决一个实际问题时,一般有如下几个步骤 :建立数学模型,收集整理数据,进行统计推断、预测和决策。这些环节不能截然分开,也不一定按上述次序,有时是互相交错的。
①模型的选择和建立。在数理统计学中,模型是指关于所研究总体的某种假定,一般是给总体分布规定一定的类型。建立模型要依据概率的知识、所研究问题的专业知识、以往的经验以及从总体中抽取的样本(数据)。②数据的收集。有全面观测、抽样观测和安排特定的实验3种方式。全面观测又称普查,即对总体中每个个体都加以观测,测定所需要的指标。抽样观测又称抽查,是指从总体中抽取一部分,测定其有关的指标值。这方面的研究内容构成数理统计的一个分支学科。叫抽样调查。③安排特定实验以收集数据,这些特定的实验要有代表性,并使所得数据便于进行分析。这里面所包含的数学问题,构成数理统计学的又一分支学科,即实验设计的内容。④数据整理。目的是把包含在数据中的有用信息提取出来。一种形式是制定适当的图表 ,如散点图,以反映隐含在数据中的粗略的规律性或一般趋势。另一种形式是计算若干数字特征,以刻画样本某些方面的性质,如样本均值、样本方差等简单描述性统计量。⑤统计推断。指根据总体模型以及由总体中抽出的样本,作出有关总体分布的某种论断 。 数据的收集和整理是进行统计推断的必要准备,统计推断是数理统计学的主要任务。⑥统计预测。统计预测的对象,是随机变量在未来某个时刻所取的值,或设想在某种条件下对该变量进行观测时将取的值。例如,预测一种产品在未来3年内的市场销售量,某个10岁男孩在3年后的身高,体重等等。⑦统计决策。依据所做的统计推断或预测,并考虑到行动的后果(以经济损失的形式表示)而制定的一种行动方案。目的是使损失尽可能小,或反过来说,使收益尽可能大 。例如 ,一个商店要决定今年内某种产品的进货数量,商店的统计学家根据抽样调查,预测该产品本店今年销售量为1000件。假定每积压一件产品损失20元,而少销售一件产品则损失10元,要据此作出关于进货数量的决策。
应用 数理统计方法在工农业生产、自然科学和技术科学以及社会经济领域中都有广泛的应用。①在农业中,对田间试验进行适当的设计和统计分析。②实验设计法、回归设计和回归分析、方差分析、多元分析等统计方法,在工业生产的试制新产品和改进老产品、改革工艺流程、使用代用原材料和寻求适当的配方
等问题中起着广泛的作用,统计质量管理在控制工业产品的质量中起着十分重要的作用。③医学是较早使用数理统计方法的领域之一 。 在防治一种疾病时,需要找出导致这种疾病的种种因素。统计方法在发现和验证这些因素上,是一个重要工具。另一方面的应用是,用统计方法确定一种药物对治疗某种疾病是否有用,用处多大,以及比较几种药物或治疗方法的效力。④在自然科学和技术科学中,如统计方法用于地震、气象和水文方面的预报、地质资源的评介等。⑤在社会、经济领域方面,如人口调查和预测,心理学中能力方面的分析等。
最小二乘法
least square,method of
科学实验和统计工作中常用的一种数据处理方法。由A.M.勒让德和C.F.高斯于19世纪初分别独立提出。例如要从一组实验数据(xi,yi)(i=1,2,?,m)中,寻找自变量x与因变量y之间的函数关系y=F(x)。由于观测数据往往不准确,因率不要求y=F(x)经过所有数据点,而只要求所在所有给定点xi上的偏差ri=F(xi)-yi(i=1,2,?,m)的平方和
达到最小。F(x)的函数类型往往与实验的物理背景以
及数据的实际分布有关,它一般含有某些待定参数。如果F(x)是所有待定参数的线性函数,那么相应的问题称为线性最小二乘问题,否则称为非线性最小二乘问题。最小二乘法还是实验数据参数估计的重要工具。这是因为这种方法比其他方法更容易理解,即使在其他方法失效的情况下,用最小二乘法还能提供解答,而且从统计学的观点分析,用该方法求得各项估计具有最优统计特征,因此这一方法也是系统识别的重要基础。线性最小二乘问题可以借助多元微分学知识通过求解法方程组得到解答。求解非线性最小二乘问题比较困难,一般要用线性化方法或最优化方法才行。
概率论
probability theory
研究随机现象数量规律的数学分支。随机现象是相对于决定性现象而言的。在一定条件下必然发生某一结果的现象称为决定性现象。例如在标准大气压下,纯水加热到100℃时水必然会沸腾等。随机现象则是指在基本条件不变的情况下,一系列试验或观察会得到不同结果的现象。每一次试验或观察前,不能肯定会出现哪种结果,呈现出偶然性。例如,掷一硬币,可能出现正面或反面,在同一工艺条件下生产出的灯泡,其寿命长短参差不齐等等。随机现象的实现和对它的观察称为随机试验。随机试验的每一可能结果称为一个基本事件,一个或一组基本事件统称随机事件,或简称事件。事件的概率则是衡量该事件发生的可能性的量度。虽然在一次随机试验中某个事件的发生是带有偶然性的,但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。例如,连续多次掷一均匀的硬币,出现正面的频率随着投掷次数的增加逐渐趋向于1/2。又如,多次测量一物体的长度,其测量结果的平均值随着测量次数的增加,逐渐稳定于一常数,并且诸测量值大都落在此常数的附近,其分布状况呈现中间多,两头少及某程度的对称性。大数定律及中心极限定理就是描述和论证这些规律的。在实际生活中,人们往往还需要研究某一特定随机现象的演变情况
随机过程。例如,微小粒子在液体中受周围分子的随机碰撞而形成不规则的运动(即
布朗运动),这就是随机过程。随机过程的统计特性、计算与随机过程有关的某些事件的概率,特别是研
究与随机过程样本轨道(即过程的一次实现)有关的问题,是现代概率论的主要课题。概率论与实际生活有着密切的联系,它在自然科学、技术科学、社会科学、军事和工农业生产中都有广泛的应用。
概率论的起源与赌博问题有关。16世纪,意大利的学者开始研究掷骰子等赌博中的一些简单问题。17世纪中叶,法国数学家B.帕斯卡、P.de费马及荷兰数学家C.惠更斯基于排列组合方法,研究了一些较复杂的赌博问题,他们解决了分赌注问题、赌徒输光问题等。随着18、19世纪科学的发展,人们注意到在某些生物、物理和社会现象与机会游戏之间有某种相似性,从而由机会游戏起源的概率论被应用到这些领域中;同时这也大大推动了概率论本身的发展。使概率论成为数学的一个分支的奠基人是瑞士数学家J.伯努
利,他建立了概率论中第一个极限定理,即伯努利大数定律,阐明了事件的频率稳定于它的概率。随后A.de棣莫弗和P.S.拉普拉斯 又导出了第二个基本极限定理(中心极限定理)的原始形式。拉普拉斯在系统总结前人工作的基础上写出了《分析的概率理论》,明确给出了概率的古典定义,并在概率论中引入了更有力的分析工具,将概率论推向一个新的发展阶段。19世纪末,俄国数学家P.L.切比雪夫、A.A.马尔可夫、A.M.李亚普诺夫等人用分析方法建立了大数定律及中心极限定理的一般形式,科学地解释了为什么实际中遇到的许多随机变量近似服从正态分布。20世纪初受物理学的刺激,人们开始研究随机过程。这方面A.N.柯尔莫哥洛夫、N.维纳、A.A.马尔可夫、A.R辛钦、P.莱维及W.费勒等人作了杰出的贡献。
如何定义概率,如何把概率论建立在严格的逻辑基础上,是概率理论发展的困难所在,对这一问题的探索一直持续了3个世纪。20世纪初完成的勒贝格测度与积分理论及随后发展的抽象测度和积分理论,为概率公理体系的建立奠定了基础。在这种背景下,苏联数学家柯尔莫哥洛夫1933年在他的《概率论基础》一书中第一次给出了概率的测度论的定义和一套严密的公理体系。他的公理化方法成为现代概率论的基础,使概率论成为严谨的数学分支,对概率论的迅速发展起了积极的作用。
大数定律
large number,laws of
概率论中讨论随机变量序列的算术平均值向常数收敛的定律。概率论与数理统计学的基本定律之一。又称弱大数理论。例如,在重复投掷一枚硬币的随机试验中,观测投掷n次硬币中出现正面的次数。不同的n次试验,出现正面的频率(出现正面次数与n之比)可能不同,但当试验的次数n越来越大时,出现正面的频率将大体上逐渐接近于1/2。又如称量某一物体的重量,假如衡器不存在系统偏差,由于衡器的精度等各种因素的影响,对同一物体重复称量多次,可能得到多个不同的重量数值,但它们的算术平均值一般来说将随称量次数的增加而逐渐接近于物体的真实重量。由于随机变量序列向常数的收敛有多种不同的形式,按其收敛为依概率收敛,以概率 1收敛或均方收敛,分别有弱大数定律、强大数定律和均方大数定律。常用的大数定律有:伯努利大数定律、辛钦大数定律、柯尔莫哥洛夫强大数定律和重对数定律。
中心极限定理
central limit theorem
概率论中讨论随机变量序列部分和的分布渐近于正态分布的一类定理。概率论中最重要的一类定理,有广泛的实际应用背景。在自然界与生产中,一些现象受到许多相互独立的随机因素的影响,如果每个因素所产生的影响都很微小时,总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象 。最早 的中心极限定理是讨论n重伯努利试验中,事件A出现的次数渐近于正态分布的问题。1716年前后,A.棣莫弗对n重伯努利试验中每次试验事件A出现的概率为1/2的情况进行了讨论,随后,P.-S.拉普拉斯和A.M.李亚普诺夫等进行了推广和改进。自P.莱维在1919~1925年系统地建立了特征函数理论起,中心极限定理的研究得到了很快的发展,先后产生了普遍极限定理和局部极限定理等。极限定理是概率论的重要内容,也是数理统计学的基石之一,其理论成果也比较完美。长期以来,对于极限定理的研究所形成的概率论分析方法,影响着概率论的发展。同时新的极限理论问题也在实际中不断产生。
正态分布
normal distribution
一种概率分布。正态分布是具有两个参数μ和σ2的连续
型随机变量的分布,第一参数μ是遵从正态分布的随机变量的均值,第二个参数σ2是此随机变量的方差,所以正态分布记作N(μ,σ2 )。 遵从正态分布的随机变量的概率规律为取 μ邻近的值的概率大 ,而取离μ越远的值的概率越小;σ越小,分布越集中在μ附近,σ越大,分布越分散。正态分布的密度函数的特点是:关于μ对称,在μ处达到最大值,在正(负)无穷远处取值为0,在μ±σ处有拐点。它的形状是中间