交向量系。
(3)设A为n×n阶实对称正定矩阵，S1、S2、
、Sn。为对A共轭的n个
非零向量，对于正定二次函数f(X)的极小化寻优问题，从任何初始点X0出发，依次沿Si方向经n次一维搜索即可收敛到极小点X*=Xn。
这与同心椭圆簇的几何性质有关：两条平行的任意方向的切线，其切点的连线必通过椭圆簇的共同中心。（证明略—说明：教材中的只是一个说明性的结论）
三、以n个单位向量构造共轭方向共轭方向的构造方法 以n维空间的n个单位向量构造共轭方向。
单位向量ei?(00（1）S1?e1?(1,0,（2）S2?e2??1S1
10i0)
,0)
S1和S2对矩阵A共扼，即
S2TAS1?0
(e2??1S1)TAS1?(e2T??1S1T)AS1?0
e2TAS1??1S1TAS1?0 ?e2TAS1 ??TS1AS111（3）S3?e3??1S1??2S2 令S3TAS2?0
(e3??1S1??2S2)TAS2?0 e3TAS2??1S1TAS2??2S2TAS2?0 ?e3TAS2其中S2AS1?0 ??2?T
S2AS22令S3AS1?0
(e3??1S1??2S2)TAS1?0 e3TAS1??1S1TAS1??2S2TAS1?0
?e3TAS1其中S2AS1?0 ???T S1AS121注意：每一步中的?1是不同的。 （4）通式：
SK?eK??1S1??2S2?K?1i?1??K?1SK?1,n)
?eK???iSi (K?2,3,?eKTASi ??i?TSiASi这样共构造了n个共轭向量。
四、以函数梯度信息的构造共轭方向-共轭梯度法 一）共轭梯度法的基本原理
利用极小点的负梯度方向来构成共轭方向，使它形成具有二次收敛的共轭梯度法。
设有二次函数：
1f(X)?XTAX?bTX?C
2二）共轭梯度法共轭向量的构造方法：
给定X0，令g0??f(X0)
取S0??g0
沿S0一维搜索（注意！！）得到X1，令g1??f(X1)
令S1??g1??01S0 并使S(1)、S(0)共轭，（注意：g0和g1是正交的） 即S1TAS0?(?g1??01S0)TAS0?0，则有
g1TAS0 ??TS0AS010沿S1一维搜索得到X2，令g2??f(X2)
令S2??g2??02S0??12S1，并使S2与S(1)、S(0)共轭
T22T??S2AS0?(?g2??0S0??1S1)AS0?0即?T，则有 22T??S2AS1?(?g2??0S0??1S1)AS1?0
?2g2TAS0??0?TS0AS0?(1)(0)TSS （注意：、共轭，故S?1AS0?0） T??2?g2AS11?S1TAS1? 通式
Sk??gk???iSi
i?0k?1?iKgKTASi 其中k?1,2,?TSiASin?1
注意：K表示第K步，每一步迭代均有K个?i值，不同的迭代轮次中， ?i的
值是不同的，都要重新计算。
这样可以构造一组共轭向量。
说明：每个梯度是通过迭代一步一步获得的，同样，每获得一个梯度，旋即通过梯度和前面的方向向量构造一个新的与前面得到的方向向量共轭的向量，这样迭代n次即可获得n个互相共轭的向量。
三）公式的简化
采用这种方法构造共轭方向，要用到海赛矩阵A，对A的要求比较高，对上述方法作改进和简化。
首先，了解根据以上方法构造的共轭方向以及各迭代点梯度的关系和特点，主要有三个特点：
特点一： 前后两次迭代点的梯度之差与其他任一共轭方向是正交的
特点二：某迭代点的梯度与此前各点的搜索方向是正交的。
特点三：迭代点处的梯度与前面各点处的梯度正交，亦即通过此方式得到各点的梯度
是一个正交系。
1、 前后两次迭代点的梯度之差与其他任一共轭方向是正交的
f(X)?1TXAX?bTX?C在第K次迭代中 2X(K?1)?X(K)??(K)S(K)
因 若令
?f(X)?AX?b
g(k)??f(X(k))?AX(k)?b
g(k?1)??f(Xk?())1?AXk?(1)?b
和
二式相减得
式中?)g(k?1?gk(?)A(X(k)k?()k?1X)k)?(A?Sk
(—第K次迭代的最优步长因子
g(k?1)?g(k)为前后两个点的梯度方向的差
如果S(1)、S(2)、、S(n)是按照共轭梯度法构造的关于A的n个共轭向量
则[S(j)]TAS(k)?0 （j?k j,k=1,2,?,n） 即[S(j)]T(g(k?1)?g(k))?0
结论一： （g(k?1)?g(k)为前后两个点的梯度方向的差，上式说明前后两次迭代点的梯度之差与其他任一共轭方向是正交的）
2、某迭代点的梯度与此前各点的搜索方向是正交的。 设k＞j，则：
[g(k)]TSj?[g(k)]TSj?[g(k?1)]TSj?[g(k?1)]TSj?[g(k?2)]TSj?[g(k?2)]TSj ? =[g(k)?[g(j?1)]TSj?[g(j?1)]TSj?g(k?1)T]S?[gj(k?1)?g(k?2)T]S?j?[g(j?2)?g(j?1)T]S?[gj(j?1)T]Sj
?[g(j?1)]TSj由于g(j?1)是迭代点Xj?1处的梯度，而Xj?1是沿S方向搜索得到的最优点，故gj(j?1)与
Sj正交，所以有
[g(j?1)]TSj?0
因此：[g]S?0， j=1,2，?,k-1
结论二：某迭代点的梯度与此前各点的搜索方向是正交的。
当K=n时，即有（n是函数的维数）
kTjg(n?1)?g(n)?A?(n)S(n) ?g(n?1)?A?(n?1)S(n?1)?A?(n)S(n) ? ?g(k?1)?A?(k?1)S(k?1)??A?(n)S(n) (k?0,1,2,,n?1)
即
g(n?1)?gk?(?1)i?k?1?nA?iS(i) ( (0?j?n )上式等式两边左乘以[S(k)]T，得
[S(k)]Tg(n?1)?[S(k)]Tg(k?1)??(k?1)[S(k)]TAS(k?1)???(n)[S(k)]TAS(n) *
由于沿S(k)方向求极小点X(K?1)，即?f(X(k?1))与S(k)正交
于是有：[S(k)]Tg(k?1)?0 (k?0,1,2,,n?1)
如果S(1)、S(2)、、、S(n)是关于A的n个共轭向量，式（*）为
k?0,1,2,n?, [S(k)]Tg(n?1)?0 (因而，必有g(n?1)?0 或
?f(X(n?1))?0 （因为K的取值范围）
所以X(n?1)为函数f(X)的极小点。（间接证明了共轭梯度法的二次收敛性）
这说明，若能在迭代过程中，能利用梯度信息，来构造一个S(1)、S(2)、、、S(n)的共轭方向序列，对于一个n维函数，在第n次迭代中，即可取得最优点。
3、迭代点处的梯度与前面各点处的梯度正交，即通过此方式得到各点的梯度是一个正
交系。
在第r次迭代中（r r?1Sr??gr???irSi i?0gr??Sr???irSi i?0r?1统一写成 gr???irSi （此处?r??1） i?0r上式两边同时左乘gkT （注意：r gkgr??gkT?irSi Ti?0r由结论二（某迭代点的梯度与此前各点的搜索方向是正交的）可知 （r