黑龙江工程学院本科生毕业论文
H?D?1?D?1ACBH
将上式左乘B，得
BD?1?(C?1?BD?1A)CBH，
或 (C?1?BD?1A)BD?1?CBH 此即(1-2-33)式，代入(1-2-34)式，即得(1-2-32)式．
2.3极大似然估计
设有参数向量X，它可以是未知的非随机量，也可以是随机向量，为了估计X，进行了n次
t?1观测．得到了观测向量L的观测值l，又假定对X的所有可能取值为x，在X=x的条件下得到的
n?1n?1观测向量L的条件概率密度为f(lx)．容易理解，f(lx)是x和l的函数，但对具体的观测值l来
?是x中的一个，而f(lx?)是f(lx)中的最大说，f(lx)可以认为只是x的函数．因此，如果x?叫做X的极大似然估值，并记作X?(L)或X??是x的准确值的可能性最大．此时把X值，那么，xMLML
这就是说，极大似然估计是以
f(lx)?max (1-3-1) 为准则求最佳估值x的方法． 显然，它满足于
?f(lx)?0 (1-3-2)
?xx?X?(L)ML由于对数是单调增加函数，因此lnf(lx)与f(lx)在相同的x值达到最大，亦即(1-3-2)式等价于
?lnf(lx)?0 (1-3-3)
?x?(L)x?XML此方程称为似然方程，f(lx)称为似然函数，而lnf(lx)称为对数似然函数 如果参数X是非随机量，则
f(lx)?f(l,x)
而(1-3-1)式变为
f(lx)?max (1-3-4) 此时，f(l,x)是L的概率密度，其中的x只是表示函数与参数X有关．
n?1 11
黑龙江工程学院本科生毕业论文
? 由似然方程或(1-3-2)式可见，极大似然估值X是观测值L的函数．在采用极大似然估计ML?时，需要首先知道似然函数f(lx)或对数似然函数lnf(lx)． 求XML2.4最小二乘估计
(n?t)其观测误差（或称为噪声）向量 设被估计量是t维未知的参数向量X，观测向量为nL?1为?，观测方程
n?1 L?BX?? (1-4-1)
?，则有 式中B的秩rk(B)?t,E(?)?0,D(?)?D?，设X的估值为Xn?t??L (1-4-2) V?BX?使下列二次型达到最小值，即 所谓最小二乘估计，就是要求估计值x??VTPV?BX??LP(BX??L)?min (1-4-3) ?X?称为X的最小二乘估值，记为X?或X?(L)． 其中P是一个适当选取的对称正定常数阵，XLSLSn?n????T? 当参数X的各个分量Xi之间没有确定的函数关系，即它们是函数独立的参数时，可将?X?求自由极值，令其一阶导数为零，得 对X 转置后，得
?????X??X???2VTP?V?2VTPB?0 (1-4-4) ??X??L?0 BTPV?BTPBX??BTPL (1-4-5) 或 BTPBX????BPB解得 XT???1BTPL (1-4-6)
又因为
??2?X?2?X???2BPB?0
T?达到极小值． ?使?X所以X 最小二乘估计量x的估计误差为
?1T?1TTT?? ?x?X?X?X??BPB?BP?BX??????BPB?BP? (1-4-7)
??由此式按协方差传播律可得X的误差方差阵为
12
黑龙江工程学院本科生毕业论文
???BPB D??xT???1BPD?PB?BPB? (1-4-8)
TT?1将对称正定阵D?表示为D??RTR (R为可逆阵)，并令
???1? Tb?RPB?BPB???则得：
a?BTR?1ab?BRRPB?BPB??E
T?1T?1且由“矩阵形”许瓦茨不等式可得：
???bTb??ab?D??x即
?1T?aaT??1?ab???aaT??1?1
?1????BTPB?BTPD?PB?BTPB??(BTD?D??xB)?1
?1?2?1?2?只有当P?P或 (P?P?D??D???0??0为常数)时，上式才取等号，而使X的误差方差阵
达到最小，此时有
???Var??x???(BD?B) D??xT?1?12??BTPB??0 (1-4-9)
?1?1?1?2有时将P取为D?或D??0时的估计称为马尔柯夫估计，此时应将(1-4-3)式写为
VTPV?min (1-4-10) ?可以看到，最小二乘估计具有如下性质：
?是观测值的线性函数． (1)最小二乘估计是一种线性估计，即X的估计量XLS (2)当观测误差的数学期望为E(?)?0时，因 E?L??BX 所以
?1T?1TTT? EXLS??BPB?BPE?L???BPB?BPBX?X
???具有无偏性． 即XLS?1?1?2?的误差方差阵达到最小值． (3)当观测误差的方差阵为D?，而取PD? 或P?D??0时，XLS (4)最小二乘估计不需要X的任何先验统计信息．当X是非随机量，或X虽然是随机量，但完全不考虑其先验统计信息时，由观测方程(1-4-1)和(1-4-6)式按协方差传播律可知
DL?D? (1-4-11)
13
黑龙江工程学院本科生毕业论文
?LS? (1-4-12) Dx?LS?D??x 上面是不考虑概率分布，直接将(1-4-3)式作为一种估计准则．当观测误差和参数X是正态随
机向量时，这种最小二乘估计准则还可以从极大似然估计导出．
设?~N(0,D?),X~N(?x,DX)，由于X和?一般是互相独立的，故设DX??0．则由观测方程(1-4-1)式可得：
?L?E?L??B?x? DL?BDXBT?D?? (1-4-13)
???DLX?BDX而在X?x条件下的条件概率密度为 f?lx??式中
1?2??n2D?Lx?12T?1?exp???l?E?Lx???D?1?Lx??l?E?Lx???
?2? E?Lx???L?DLXDX?x??x?
?1?1D?Lx??DL?DLXDXDXL
将(1-4-13)式代人上式得：
E?Lx??B?x?B?x??x??Bx
?1D?Lx??(BDXBT?D?)?BDXDXDXBT?D?
由于似然方程等价于
l?E?Lx?所以也等价于
??TD?1?Lx??l?E?Lx???min
? L?BX考虑到
??T?1??min （l-4-14) D?L?BX???1?12 P??D?或P??D??0
??L V?BX则（l-4-14)式也就是最小二乘估计的准则(1-4-10).这就由极大似然估计导出了最小二乘估计． 从上述讨论看到，在由极大似然估计导出最小二乘估计的过程中，虽然将参数X作为随机向
?时，并不需要知道X的先验期望和先验方差．因此，从这个意义量，但是在求最小二乘估值XLS上可以说，最小二乘估计实际上并没有考虑参数的随机性质．正因为如此，当不知道参数的先验
期望和先验方差，或者参数是非随机量时，可以应用上述最小二乘估计求其估值．
本节是以间接平差的函数模型为例，说明了最小二乘估计的准则．至于其他的各种经典平差法(如条件平差、附有参数的条件平差、附有限制条件的间接平差)，尽管它们各具自己的函数模
14
黑龙江工程学院本科生毕业论文
型，但它们所依据的估计准则不变，其差别仅在于：在不同的函数模型下，它们的具体求解方法有所不同．因此可以说，各种经典平差方法，都是依据最小二乘估计准则VTPV?min，去求未
?． ?和观测值L的平差值L知参数X的最小二乘估值XLS2.5极大验后估计
如1-3节中所述，极大似然估计是以“f?xl??max”为准则的估计方法，而极大验后估计则是以
f?xl??max (1-5-1) 为准则的估计方法·这里f?xl?是随机参数向量X在观测向量L?l的条件下的条件概率密度
t?1n?1n?1l仍然表示L的观测值．这个准则的含义在直观上是较明显的．它的含义是：给定了L的一组子样?，其中最佳估值的条件概率密度观测值l，由这组l可以按一定的概率取得参数X的不同估值X?或X?(L)表示由极大验后估计得到的最佳估值，称之为极大验f?xl?应为极大值．一般用XMAMA?应满足 后估值，显然，XMA?lnf?xl?
?x此方程称为验后方程． 因为
?x?XMA?0 (1-5-2)
f?xl??f?l,x? f2?l?lnf?xl??lnf?l,x??lnf2?l?
将上式对x求导，则有
?lnf?xl??lnf?x,l??
?x?x由此可知，极大验后估计的准则(1-5-1)式等价于 f?x,l??max
2.6最小方差估计
最小方差估计是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求得
参数X的估值，如果它的误差方差比任何其他估值的方差小，就认为这个估值是最优估值．记X
?或X?(L)． 的最小方差估值为XMVMV
15