五）关于牛顿法的讨论
(1)牛顿法对正定二次函数的寻优特别有效，迭代一次即达到极小点，。对于一般目标函数，在极小点附近，它的收敛速度也是很快的，即牛顿法具有二次收敛性。
(2)牛顿法对函数的性态有较严格的要求。除了函数需具有一、二阶偏导数外，为了保证函数的稳定下降，海森矩阵必须处处正定，否则牛顿法将失败。为了能使迭代计算顺利进行，海森矩阵必须为非奇异，否则无法求其逆短阵，不能构成牛顿方向。
(3)计算复杂。因为除了求梯度外还需计算海森矩阵及其逆矩阵，所以计算困难且占用较大的计算机贮存量。
牛顿法作业：
第六节 共轭方向法
一、共扼方向的基本概念 (一)共轭方向与正交方向
设A为n阶实对称正定矩阵，若有两个n维向量S1和S2：能满足 S1TAS2?0
则称向量S1和S2对矩阵A共扼，共扼向量的方向称为共轭方向。 如果非零向量组S1、S2、共轭，即满足
T?i ? j?SiASj?0 i j ?, ?TSAS?0 i ? j?j?i、Sk中任意两个向量关于n阶对称正定矩阵A
1,2k,3A,正定 则称向量组S1、S2、、Sk，关于矩阵A共轭，即对于同一实对称矩阵A
可根据需要取不同的对A共扼的方向组。
若有两个向量S1和S2关于单位矩阵I共轭，则由共轭定义知
S1TIS2?0即 S1TS2?0
S1和S2正交。正交是共轭方向的特例。
共轭方向的理解：两个不相关的向量经过A变换后变成互相正交的向量。 矩阵的作用变换向量的方向。高等数学中的坐标变换
(二) 共扼方向的几何意义 设有二元二次正定函数
1f(X)?XTAX?BTX?C
2
它在坐标平面上的等值线是一族同心的椭圆，如图。
在图上两点沿S1方向作根两平行线，它与等值线的切点（即该方向上f(X)的极小点）为X1和X2，那么连接这两点的方向为
S2?X2?X1，它与S1是共轭的。 证明如下：
因为函数f(X)在X1和X2处的梯度分别为
?f(X(1))?AX(1)?B ?f(X(2))?AX(2)?B
将上述两式相减
?f(X(2))??f(X(1))?AX(2)?B?AX(1)?B?A(X(2)?X(1))?AS2
又由梯度的性质可知，?f(X(1))和?f(X(2))是函数等值线在X1和X2处的法向量，故
S1T?f(X(1))?0
S1T?f(X(2))?0
TS1(?f(X(2))??f(X(1)))?0 ?S1T(?f(X(2))??fX((1)?))ST? 01AS2所以S1和S2对矩阵A共扼。 二、共扼向量的重要性质
(1)设A为n×n阶实对称正定矩阵，S1、S2、非零向量，则可证明这一组向量线性无关。 线性无关的定义
对向量组
，如果存在一组不全为零的数 那么, 称向量组
个数不存在, 即上述向量等式仅当
线性无关。
用通俗的话说就是：线性相关，就是在一组数据中有一个或者多个向量可以被
其余向量表示。线性无关，就是在一组数据中没有一个向量可以被其余向量表示。
、Sn。为对A共轭的n个
, 使得
线性相关. 如果这样的时才能成立, 就称向量组
向量线性无关的证明 用反证法：
设存在一组数不全为零的数，?1、?2、
、?k，使得??iSi?0
i?1k在上式分别左乘SjTA，当i?j时的项为零，故得到?iSiASi?0，
??i?0，由于i为任选，故?1、?2、(2) 设一组向量S1(1)、S2(1)、个向量S1(2)、S2(2)、
、?k=0得证。
、Sn(1)是线性无关的向量组，则可以构造出n
、Sn(2)，使其满足
Si(2)TASj(2)?0 i?j
对于n维优化问题而言，线性无关向量系中向量的个数不可能超过问题的维数，因此共扼向量的个数最多等于n。
单位坐标向量系是一组线性元关的共扼向量的最简单的例子，且它们也是正