第二节 点估计的常用方法
内容分布图示
★ 矩估计法 ★ 求矩估计的方法
★ 例1 ★ 例2 ★ 例3 ★ 例4
★ 最大似然估计法
★ 求最大似然估计的一般方法
★ 例5 ★ 例6 ★ 例7 ★ 例8
★ 关于有k个未知参数的最大似然估计 ★ 内容小结 ★ 课堂练习
★ 习题6-2
内容要点：
一、矩估计法
矩估计法的基本思想是用样本矩估计总体矩. 因为由在数定理知, 当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如, 可用样本均值X作为总体均值E(X)的估计量, 一般地, 记
总体k阶矩 ?k?E(Xk);
样本k阶矩 Ak?1n?ni?1Xik;
总体k阶中心矩 Vk?E[X?E(X)]k; 样本k阶中心矩 Bk?1ni?(Xni?1?X).
k用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计. 求矩估计的方法：
设总体X的分布函数F(x;?1,?,?k)中含有k个未知参数?1,?,?k, 则
(1) 求总体X的前k阶矩?1,?,?k，一般都是这k个未知参数的函数, 记为
?i?gi(?1,?,?k),i?1,2,?,k （*） (2) 从（*）中解得 ?j?hj(?1,?,?k),计量:
??j?hj(A1,?,Ak),(I?1,2,???,k)。
j?1,2,?,k
(3) 再用?i(i?1,2,?,k)的估计量Ai分别代替上式中的?i,即可得?j(i?1,2,?,k)的矩估
j?1,2,?,k.
注：求V1,?,Vk,类似于上述步骤，最后用B1,???,Bk代替V1,?,Vk，求出矩估计??j
二、最大似然估计法
引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下, 试猜测是谁打中的?
由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率, 故一般会猜测这一枪是猎人射中的.
最大似然估计法的思想: 在已经得到实验结果的情况下, 应该寻找使这个结果出现的可能性最大的那个?作为?的估计??.
注: 最大似然估计法首先由德国数学家高斯于1821年提出, 英国统计学家费歇于1922年重新发现并作了进一步的研究.
下面分别就离散型总体和连续型总体情形作具体讨论. 离散型总体的情形: 设总体X的概率分布为
P{X?x}?p(x,?),其中?为未知参数.
如果X1,X2,?,Xn是取自总体X的样本,样本的观察值为x1,x2,?,xn,则样本的联合分布律
nP{X1?x1,,?,Xn?xn}??i?1p(xi,?),
对确定的样本观察值x1,x2,?,xn,它是未知参数?的函数,
n记为L(?)?L(x1,x2,?,xn,?)??f(xi,?),并称其为似然函数.
i?1连续型总体的情形: 设总体X的概率密度为f(x,?),其中?为未知参数,此时定义似然函数
nL(?)?L(x1,x2,?,xn,?)??i?1f(xi,?).
似然函数L(?)的值的大小意味着该样本值出现的可能性的大小, 在已得到样本值的情况下, 则应该选择使L(?)达到最大值的那个?作为?的估计??. 这种求点估
计的方法称为最大似然估计法.
定义 若对任意给定的样本值x1,x2,?,xn, 存在
x1,x2,?,xn?????(x1,x2,?,xn),
使 L(??)?maxL(?),
?则称?????(x1,x2,?,xn)为?的最大似然估计值.称相应的统计量??(X1,X2,?,Xn)为?最大似然估计量. 它们统称为?的最大似然估计(MLE).
三、求最大似然估计的一般方法
求未知参数?的最大似然估计问题, 归结为求似然函数L(?)的最大值点的问题. 当似然函数关于未知参数可微时, 可利用微分学中求最大值的方法求之. 其主要步骤:
(1) 写出似然函数L(?)?L(x1,x2,?,xn,?);
(2) 令
dL(?)d??0或
dlnL(?)d??0, 求出驻点;
注: 因函数lnL是L的单调增加函数,且函数lnL(?)与函数L(?)有相同的极值点,故常转化为求函数lnL(?)的最大值点较方便.
(3) 判断并求出最大值点, 在最大值点的表达式中, 用样本值代入就得参数的最大似然估计值.
注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。
(ii) 上述方法易推广至多个未知参数的情形.
例题选讲：
矩估计法
例1（讲义例1）设总体X的概率密度为
???(??1)x,f(x)????0,0?x?1其它
其中?(???1),是未知数，X1,X2,?,Xn是取自X的样本, 求参数?的矩估计. 解
数学期望是一阶原点矩
?1?E(X)??10(??1)xdx?(??1)??1x??1dx???1??2,
0其样本矩为X???1??2, ??而?2X?11?X, 即为?的矩估计.
例2 设总体X在[a,b]上服从均匀分布，a,b未知. X1,X2,?,Xn是来自
X的样本, 试求a,b的矩估计量.
解
?1?E(X)?(a?b)/2,
?2?E(X)?D(X)?[E(X)]?(b?a)/12?(a?b)/4,
2222即 a?b?2?1,b?a?12(?2??12).
解得 a??1?3(?2??12),b??1?3(?2??12). 注意到
1n2i?Xni?1?X2?1ni?(Xni?1?X),2 以A1,A2代替?1,?2,到a,b的矩估计量分别为
??A1?a3(A2?2A1)?X??(Xni?13ni2?X),
??A?b13(A2?2A1)?X??(Xni?13ni?X).
2
例3（讲义例2）设总体X的均值?及方差?2都存在, 且有?又设X1,X2,?,Xn是来自X的样本. 试求?,?2的矩估计量.
解
?1?E(X)??, ?2?E(X)?D(X)?[E(X)]??2222?0,
但?,?2均为未知,
??,2
得到???1,?2??2??12.
以A1,A2代替?1,?2,得?和?的矩估计量分别为
??A1?X,???22?A2?A?211n2i?Xni?1?X2?1ni?(Xni?1ni?X).
2注: 本例表明, 总体均值与方差的矩估计量的表达式不因不同的总体公布而异. 如,
X~N(?,?),?,?22??X,???未知, 则?,?的矩估计量为?221?(Xni?1?X).
2
例4（讲义例3）设总体X的概率分布为
XPk122?(1??)3(1??)2?2
其中?为未知参数.现抽得一个样本x1?1,x2?2,x3?1,求?的矩估计值.
解 先求总体一阶原点矩
2E(X)?1???2?2?(1??)?3(1??)?3?2?,
2一阶样本矩x?13(1?2?1)?43,
43.
56,
由E(X)?x, 得3?2??推出???所以?的矩估计值???56.
最大似然估计法
例5 （讲义例4） 设X~b(1,p)，X1,X2,?,Xn是取自总体X的一个样本，试求参数p的最大似然估计.
解
设x1,x2,?,xn是X1,X2,?Xn的一个样本值, X的分布律为
P{X?x}?p(1?p)nnnx1?x,x?0,1,
故似然函数为L(p)??pi?1xin??xi?xii?1?pi?1(1?p),
令
?lnL(p)???dp?dn?i?1?xi????p??n???n?i?1n?xi???(1?p)?0,
??解得p的最大似然估计值p1?xni?1i?x. ??从而p的最大似然估计值p1ni?Xni?1?X.
注: 这一估计量与矩估计量是相同的.
例6 设总体X服从[0,?]上的均匀分布, ?未知. X1,?,Xn为X的样本, x1,?,xn为样本值. 试求?的最大似然估计.
解
?1,?似然函数L(?)???n??0,0?x1,?,xn??其它.
因L(?)不可导, 可按最大似然法的基本思想确定??. 欲使L(?)最大, ?应尽量小但又不能太小, 它必须同时满足??xi(i?1,?,n), 即??max(x1,?xn), 否则L(?)?0, 而0不可能是L(?)的最大值.
因此,当??max{x1,?,xn}时, L(?)可达最大. 所以?的最大似然估计值与最大似然估计量分别为
???max{x1,?,xn},???max{X1,?,Xn}.
例7（讲义例5）设总体X服从指数分布, 其概率密度函数
??e??x,f(x,?)???0,x?0x?0
其中??0, 是未知参数. x1,x2,?,xn是来自总体X的样本观察值, 求参数?的最大似然估计值.
????xi?n似然函数L(x1,x2,?,xn;?)???ei?1,?0,?n解
xi?0 其它n??显然L(x1,x2,?xn;?)的最大值点一定是L1(x1,x2,?,xn;?)??nen?xii?1的最大值点, 对其
取对数lnL1(x1,x2,?,xn;?)?nln????xi
i?1由
dlnL1(x1,x2,?,xn;?)d??nn???i?1xi?0,
可得参数?的最大似然估计值???nn?i1x.
?xi?1
例8（讲义例6） 设x1,x2,?,xn是正态总体N(?,?2)的样本观察值, 其中?,?2是未知参数, 试求?和?2的最大似然估计值.
解
记似然函数L(x1,x2,?xn;?,?2)?L(?,?2),
n2则L(?,?)??i?1?????12???(xi??)2?22e??1???n2?n/2?(2?)(?)exp??????2???12?2nn2?i?1?2?(x1??)???
lnL(?,?)??nln22??n2ln?2?(xi?11??)2
?lnL???1n?2?(xi?1n4i??)?0,
?lnL??2?12??i?1(xi??)?2n2?2?0
??由此可得参数?和?的最大似然估计值为?21ni?xni?1i??x,?2?1ni?(xni?1?x)2
??最大似然估计量为?1ni?Xni?1??X,?2?1n?(Xni?1?X)2
与例3中的矩估计量相同.
课堂练习
1. 设总体X具有概率概率密度
??e??(x??),f(x,?,?)???0,x??x??
其中??0,?为未知参数. X1,X2,?,Xn是来自总体X的样本, 求?,?的矩估计量.
2. 设总体X在[a,b]上服从均匀分布，a,b未知，x1,x2,?,xn是一个样本值. 试求a,b的最大值似然估计量.