第7卷 第1期
太原师范学院学报(自然科学版)Vol.7No.1
2008年3月 JOURNALOFTAIYUANNORMALUNIVERSITY(NaturalScienceEdition) Mar.2008
解线性最小二乘问题的正交化方法及应用
曹 蓉
(汕头职业技术学院,广东汕头515041)
〔摘要〕 文章讲述在求解线性最小二乘问题时系数矩阵出现病态时,应用Householder变换
把系数矩阵正交三角化,从而求出最小二乘解,以及在实际中的应用.
〔关键词〕 最小二乘问题;正交化方法;奇异矩阵〔文章编号〕 1672-2027(2008)01-0035-04 〔中图分类号〕 O241.2 〔文献标识码〕 A
0 引言
最小二乘问题在数据拟合、参数估计和函数逼近等方面有着广泛的应用.从最优化方法的观点解释最小二乘问题,就是要求矛盾方程组Ab=Y中的参数b在最小二乘意义下的最佳估计值.记矛盾方程组[1](1)Ab=Y
其中A=(aij)为m×n(m>n)矩阵,b=(b1,b2,…,bn)T,Y=(y1,y2,…,yn)T.矛盾方程组(1)一般不存在通常意义下的解,即任何n维向量b,一般Y-Ab≠0.现在应用加权最小二乘法估计参数向量b,即矩阵为:(AWA)b=AWY(2)
其中W=diag(w1,w2,…,wm),wi>0(i=1,2,…,m),若矩阵A=(aij)是列满秩矩阵,即rank(A)=n,得出(2)的系数矩阵AWA是非奇异的,则可以用古典最小二乘求解得b=(AWA)精度,有时ATWA并不一定非奇异.
11
设矛盾方程组(1)中的系数矩阵A=
w1+w2
ATWA=
w1
2
T
^
T
-1
T
T
AWY,但要考虑计算机的
T
00
,于是法方程组(2)中的系数矩阵:
0 000
w1w1
w1
2
w1+w3
2
w1w1w1+w42
假定 =10-3且计算ATWA是在字长为6的10进制浮点数的计算机上进行的,则 i+ i = i+ i10-6
被舍入为 1,这意味着A的最后四行的信息全部丧失,则ATWA的浮点表示fl(ATWA)贮存在计算机内为:
w1w1w1
w1w1w1
w1w1.w这是一个奇异矩阵,即(2)是病态的.也就是说最小二乘估计要求系数矩阵必须是非奇异的,而当系数矩阵出现奇异时,无法用古老的最小二乘估计,为此我们将系数矩阵进行变换,将系数矩阵正交三角化,然后求最小二乘解.
1 Householder变换
Gauss消去法是用左乘一系列初等下三角阵来约化一个矩阵为上三角阵.讨论另一种三角化方法
23
,