结论三：迭代点处的梯度与前面各点处的梯度正交，并可得到结论：通过此方式得到各点的梯度是一个正交系。
4、通过以上特点，可以对共轭梯度法的构造公式进行简化
由g(i?1)?g(i)?A(X(i?1)?X(i))?A?(i)S(i) ?1?AS(i)?(i?1)(i)(g?g) (i)两边左乘gkT，得：
gkTAS(i)?1?T(i?1)T(i)(gg?gg) kk(i)当i=1,2,?,k-2时，由结论三（迭代点处的梯度与前面各点处的梯度正交）可得
gkTAS(i)?0
共轭方向的构造公式中
k?1??Sk??gk???iSii?0? ?T??K?gKASi k?1,2,n?1iT?SiASi?当i?k?1时（注意i=1,2,?,k-2,k-1）
?iKgKTASi?T?0 i?1,2,?,k?2 SiASi当i?k?1时，?iK?0 i?k?1 （注意?iK的上标的含义，表示第K步） 所以，Sk??gk?所有公式：
??i?0k?1KiSi??gk??k?1KSk?1
?Sk??gk??k?1KSk?1?K?1?Sk?1??gk?1??k?2Sk?2?S??g??K?2S?k?2k?2k?3k?3 ???S??g??1S100?1??S0??g0将它们代入Sk??gk??k?1Sk?1中
K
Sk??gk??k?1Kgk?1??k?1K?k?2K?1gk?2??k?1K?k?2K?1?k?3K?2gk?3 ???k?1?k?2KK?1?k?3K?2??g21100
将等式两边分别左乘(?k?1ASk?1)T?(gk?gk?1)T
等式左边(?k?1ASk?1)TSk??k?1Sk?1TASk?0 等式右边展开：
(gk?gk?1)T(?gk??k?1Kgk?1??k?1K?k?2K?1gk?2??k?1K?k?2K?1?k?3K?2gk?3 ?T??k?1K?k?2K?1?k?3K?2Tk?1KT?12?01g0)KTk?1??gkgk?ggk??k?1gkgk?1??k?1ggk?1
???k?1K?k?2K?1?k?3K?2?12?01gkTg0??k?1K?k?2K?1?k?3K?2由结论三（迭代点处的梯度与前面各点处的梯度正交）
?12?01gk?1Tg0)只有两项不为0，?gkTgk，?k?1Kgk?1Tgk?1，其余皆为零
所以左右两边相结合
?gkTgk??k?1Kgk?1Tgk?1?0
可以得到?k?1K的公式：
?k?1KgkTgk ?Tgk?1gk?1K或 ?k?1?
gkgk?122 四）共轭梯度法的算法及特点
简化后公式的优点：
（1）不含海赛矩阵，而且不用担心海赛矩阵的正定与非奇异问题（n 阶方阵 A 是非奇异方阵的充要条件是 A 为可逆矩阵也即行列式A的值不为零）。
（2）每一步只用计算一个?k?1K值
（3）共轭梯度法是使用一阶导数的算法，所用公式结构简单，并且所需的存储量少、它的收敛速度较梯度法快，具有超线性收敛速度。
（4）共轭梯度法利用梯度信息，一个共轭方向序列，对于一个n维二次正定函数，在第n次迭代中，即可取得最优点。
（5）共轭梯度法是以正定二次函数的共扼方向理论为基础的，因此，在理论上对于二次型函数而言，最多经过n步迭代必能达到极小点，但在实际计算时，由于舍入误差的影响，以及函数的非二次型，也不一定n次迭代就能达到极值点。因此，在n次迭代后如未达到收敛精度，则通常以重置负梯度方向开始，直到满足精度为止。对于n维非二次函数，需要进行多轮迭代（每轮迭代次数为n）
五）算例
六）本节重点：
共轭方向的定义、性质及构造
作业：
?21??1??1?1、若A???，判断S1??1?，S2???1?是否共轭；
12??????2、若A??共轭
?62??3??2??0???6?，判断，是否共轭；，是否S?S?S?S?1234??????????23??0???6??3??4??21??1??1?3、若A???， S1??1?， Y??0?，构造S2?Y??1S1，使得S1,S2关于A共
12??????轭。