沈 阳 大 学 科 技 工 程 学 院
教 案
课程名称：工程数学 —— 概率论与数理统计 编写时间：2013年3 月30 日 授课章节 目的要求 重点难点 第七章 参数估计 掌握点估计的概念，熟练掌握区间估计的概念和方法。 正态总体方差的区间估计 在实际问题中，我们所关心的总体并非完全未知，往往是它的分布类型已知，而未知的只是其中的一些参数。对此，统计推断将分为两类：一是参数估计，二是参数假设检验。本章讨论参数估计，具体分点估计和区间估计。点估计——参数值的估计；区间估计——参数范围的估计。 第一节 点估计 所谓参数的点估计就是参数值的估计。有两种方法：矩估计和最大似然估计。 （一）矩估计法 设总体X的分布类型已知，但含有k个未知参数?1、?2、?、?k。如果总体X为离散型随机变量，则这些参数?1、?2、?、?k含在它的分布律P{X?xi}?pi(?1,?2,??k)（i = 1、2、?）中；如果总体X为连续型随机变量，则这些参数含在它的密度函数f(x,?1,?2,??k)中。分别计算总体的1～k阶矩： E(X)?e1(?1,?2,?,?k)，E(X)?e2(?1,?2,?,?k)， ? ，E(X)?ek(?1,?2,?,?k)。 X1、X2、?、Xn为总体的样本，再计算样本的1～k阶矩： ???1n1n1n2kXi?A1，?Xi?A2，? ，?Xi?Ak。 ?ni=1ni=1ni=1?2?k?令 E(X)?A1、E(X)?A2、? 、E(X)?Ak，即得关于未知参数?1、?2、?、?k的方2k?e1(?1,?2,?,?k)?A1?e(?,?,?,?)?A?212k2?、?、??就是参数?、?、?、?的程组：?，解此方程组得到的解??1、?2k12k????ek(?1,?2,?,?k)?Ak矩估计值，这种方法称为矩估计法。 例1 设总体X~N(?,?)，其中参数?和?未知。X1、X2、?、Xn为总体的样本，求?和22第 次 第1页
沈 阳 大 学 科 技 工 程 学 院
教 案（续页）
?2的矩估计值。 解：因为有两个未知参数，所以先求总体的一阶矩和二节矩，得E(X)??，?E(X)?A11n1n2E(X)????。样本的一、二阶矩为A1??Xi，A2??Xi，令?即2ni=1ni=1E(X)?A?22221n???X?????n?Xi?X??i=1，解得 。 1n?21n?2222n?2???n?Xi?X?n?(Xi?X)?Sn??2??2?1X?ii=1i?1??ni=1?例2 设总体X~U(a,b)，其中参数a和b未知。X1、X2、?、Xn为总体的样本，求a和b的矩估计值。 解：因为有两个未知参数，所以先求总体的一阶矩和二节矩，得E(X)?a?b，2(b?a)2(b?a)2a?b22，E(X)?E(X)?D(X)?E(X)及D(X)??()。样本的一、二阶1221222?E(X)?A11n1n2矩为A1??Xi，A2??Xi，令?，即 2ni=1ni=1?E(X)?A2?a?b1n?a?b?A1?2?n?Xi(?X)???2i=1，或， ??22nn12?(b?a)?1?(b?a)?(a?b)2?AX?(Xi)2??2i???122ni=1ni=1?121n1n1n2222又 ?Xi?(?Xi)??(Xi?X+X)?X? ni=1ni=1ni=11n??[(Xi?X)2+2X(Xi?X)?X2]?X2 ni=11n2X??(Xi?X)2?ni=1n1n(Xi?X)??X2?X2 ?ni=1i=1n22?Sn?0?X2?X2?Sn， 第 次 第2页
沈 阳 大 学 科 技 工 程 学 院
教 案（续页）
?a?b?X?????X?3Sn?b?a?2X?2?a即 ?，或 ，解得 。 ??2???(b?a)?S2??b?a?23Sn?b?X?3Snn??12特殊的，如果只有一个端点是未知时，如b点未知，则只需求一阶矩即可：a?b?=2X-a。 =X?b2（二）最大似然估计法 看下面的例子，袋中有球10只，分两种颜色：红和白，数目比为3∶7，但谁多谁少未知，自袋中摸球一只，发现该球为白球。由此推断谁多谁少。 无外乎有两种场合：当 红∶白 = 3∶7 时，摸到白球的概率0.7；当 白∶红 = 3∶7 时，摸到白球的概率0.3。而试验结果是摸到白球，所以概率应尽可能的大（因为越大越有利于该事件发生），所以，推断的结果是第一种场合，就是 红∶白 = 3∶7。这就是最大似然估计的思想。一般的，分一下两种情况： 1）当总体X为离散型随机变量，它的分布律是 P{X?x}?p(x;?1,?2,?,?k)，其中?1,?2,?,?k为未知参数 X1、X2、?、Xn为样本， x1、x2、?、xn 为样本值。 或 白∶红 = 3∶7， 第四节 区间估计 参数的区间估计：参数范围的估计 总之，极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本X1,X2,?,Xn，则必然认为发生该事件的概率最大。 从例6.7我们可以看出，极大似然估计的做法，关键有两步：第一步写出某样本X1,X2,?,Xn出现概率的表达式L(?)，对于离散型总体X，设它的分布列为p(ki;?),i?1,2,?,则上述样本出现的概率为 L(?)??p(Xi;?) i?1n对于固定的样本，L(?)是参数?的函数，我们称之为似然函数(Likelihood Function)。第二步则是第 次 第3页
沈 阳 大 学 科 技 工 程 学 院
教 案（续页）
???(?是参空间）,使得L(?)达到最大，此??即为所求的参数?的极大似然估计。这里还需要求?着重强调几点： ａ） 当总体X是连续型随机变量时，谈所谓样本X1,X2,?,Xn出现的概率是没有什么意义的，因为任何一个具体样本的出现都是零概率事件。这时我们就考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大。因此在连续型总体的情况下，我们用样本的密度函数作为似然函数。 L(?)??f(Xi;?) i?1nｂ） 为了计算方便，我们常对似然函数L(?)取对数，并称lnL(?)为对数似然函数(Logarithm likelihood function)。易知，L(?)与lnL(?)在同一??处达到极大，因此，这样做不会改变极大点。 c） 在例6.7中参数空间只有两点，我们可以用穷举法求出在哪一点上达到最大，但在大多数情形中，?包含ｍ维欧氏空间的一个区域,因此,必须采用求极值的办法，即对对数似然函数关于?i求导，再令之为0，即得 ?lnL(?)?0,??(?1,?2,?,?m) i?1,2,?,m (6.2) ??i我们称(6.2)为似然方程（组）(Likelihood equation (group)) 。解上述方程，即得到?i的MLE，i?1,2,?,m． Example 6.8 设X1,X2,?,Xn是N(?,?)的样本，求?与?的MLE． Solution 我们有 22?n?(X??)?i??1?i?1?2L(?,?)?exp???nn22222?(2?)(?)??????nnlnL(?,?2)??ln2??ln?2?22 ?(Xi?1ni??)22?2??lnL(?,?2)1n?2?(Xi??)?0?????i?1 ?2n?lnL(?,?)n1????(Xi??)2?0224????2?2?i?1?解似然方程组，即得 第 次 第4页
沈 阳 大 学 科 技 工 程 学 院
教 案（续页）
1n???Xi?Xni?1? 1n????(Xi?X)2?S2?ni?12看来，对于正态分布总体来说，?，?的矩估计与ＭＬＥ是相同的。矩估计与ＭＬＥ相同的情形还有很多，如例6.4的问题中，容易验证，事件Ａ发生的频率也是其概率P(A)的ＭＬＥ．我们有更进一步的例子。 Example 6.9 设有k个事件A1,A2,?,Ak两两互斥，其概率p1,p2,?,pk之和为1.做n次重复独立试验，则各事件发生的频率为各相应概率的ＭＬＥ．事实上，设样本X1,X2,?,Xn记录了每次试验中所发生的事件，以ni表示n次试验中事件Ai(i?1,2,?,k)发生的次数，则此样本出现的概率（似然函数）为 2?k?1niL(p)????pi?i?1 于是 lnL(p)?k?1i?1??k?1????1??pi? i?1???k?1i?1nk?nlnpii?nkln(1??pi) 得似然方程 ?lnL(p)nj???pjpj即 nk1??pii?1k?1?njpj?nk?0 pknjpk?pjnk,j?1,2,?,k?1 将上述k?1个等式相加，注意到?ni?1ki?n,?pi?1及 i?1k(n?nk)pk?nk(1?pk) 得到 ?k?pnk n第 次 第5页