?f?2x1?x2|(1,2)?4,?x1f(x)在x(0)点处的梯度为
?f?x1|(1,2)?1 ?x2??f???x??4?(0)?f(x)??1????
??f??1????x2??x(0)f(x)在x(0)点处梯度的模为
?f(x(0))?42?12?17
2.3 函数的泰勒级数展开
一元函数f(x)的泰勒级数展开，设f(x)在开区间（a，b）内具有直到（n+1）阶的导数，x0
是区间（a，b）内一点，x是以x0为中心的某个领域内的点，则f(x)在x0处的泰勒级数展开为
f(x)?f(x0)?f?(x0)f??(x0)(x?x0)?(x?x0)2?0(?x2) 1!2!1f??(x0)(?x)2 2取级数的前3项近似目标函数，则f(x)可近似表示为
f(x)?f(x0)?f?(x0)?x?对于n元函数f(x)=f(x1,x2,…,xn)，设f(x)在x(0)点的某一领域内存在连续偏导数，则在这个领域内函数f(x)可展开成泰勒级数。即
f(x)?f(x(0))??f?f(0)|x(0)(x1?x1(0))?|x(0)(x2?x2)?...?x1?x2?1??2f?2f?2f(0)2(0)(0)(0)??2|x(0)(x1?x1)?|x(0)(x1?x1)(x2?x2)?|x(0)(x1?x1(0))(x3?x3)???2??x1?x1?x2?x1?x3?1?3f?3f(0)3(0)(0)?[3|x(0)(x1?x1)?|x(0)(x1?x1(0))(x2?x2)(x3?x3)3?x1?x1?x2?x3?3f(0)(0)?|x(0)(x1?x1(0))(x2?x2)(x4?x4)??]???x1?x2?x4
如果忽略二阶以上的各阶小量，则函数可近似表述为
1f(x)?f(x(0))?[?f(x(0))]T(x?x(0))?(x?x(0))TG(x(0))(x?x(0)) （2.5）
2其中，x?[x1x2?xn]T （2.6）
?f(x(0))?[?f?x1?f?x2??fT]x(0) （2.7） ?xn??2f??x2?21??fG(x(0))??2f(x(0))???x2?x1???2??f??x?x?n1?2f?x1?x2?2f2?x2??2f?xn?x2?2f???x1?xn???2f???x2?xn? （2.8）
????2f??2??xn?x(0)
G(x(0))称为f(x)在点x(0)处的Hessian（黑塞）矩阵。 对二元函数，式2.5表示为
f(x1x2)?f(x1(0)(0)x2)??f?f(0)|x(0)(x1?x1(0))?|x(0)(x2?x2)?x1?x21??2f?2f?2f(0)2(0)(0)(0)2???2|x(0)(x1?x1)?2|x(0)(x1?x1)(x2?x2)?2|x(0)(x2?x2)?2??x1?x1?x2?x2?以向量形式表示二元函数f(x)在点x(0)处展开成泰勒二次多项式为
??f?f1??2f?2f?2f2f(x)?f(x)?dx1?dx2??2(dx1)?2dx1dx2?2(dx2)2?
?x1?x22??x1?x1?x2?x2?(0)用矩阵形式表示则为
??ff(x)?f(x(0))????x1(0)?f??dx1?1?dx??2?dx1?x2???2???2f??x2dx2??21??f??x?x?21?2f??dx1??x1?x2??? (2.9) ?2f??dx?2?2??x2?其中，dxi?xi?xi,i?1,2. 根据二元函数的梯度定义，
??f?f(x(0))????x1故式2.9可改写成
?f??,?x2?x(0)T??2f??x22(0)?f(x)??21??f??x?x?21T?2f??x1?x2?? 2?f?2??x2?x(0)f(x)?f(x(0))??f(x(0))x1?x1(0)?函数f(x)在点x(0)处的梯度?f(x重要依据。
(0)????1?x?x?21(0)T1??2f(x(0))x1?x1(0)
??)和Hessian矩阵是计算函数极值以及判断极值点性质的
2.4 无约束优化问题的极值条件
函数的极值点（如极小值点）定义为：对函数定义域内任意一点x(0)，若总存在
f(x(0)??)?f(x(0))，则称x(0)为函数f(x)在x(0)处的局部极小值点。若函数f(x)是单峰函
数，则该极小值点也是f(x)的全局极小值点。因此，求函数的一阶导数（或一阶偏导数）并令其为0是求无约束优化问题函数极值的基本方法。以一元函数为例，如果函数f(x)在某点处一阶导数为0，则该点有可能是函数的极值点，进一步的判断要用到函数f(x)在驻点处的二阶导数f??(x0)。也就是对单调、连续、可微的一元函数f(x)，x=x0为其极值点的充分必要条件为
f?(x0)?0,??0(极小值)?f??(x0)??? （2.10）
0??（极大值）?对于多元函数来说，由式2.7可以看到，如果x(0)是函数f(x)的极小值点，则必有
f(x)>f(x(0))
其中，x是以x(0)为中心的某领域内的点。利用函数取得极值的必要条件，有
[?f(x(0))]?0
因此，可得出下面的不等式：
T1x1?x1(0)??2f(x(0))x1?x1(0)?0 2f(x)?f(x(0))?或
????f(x)?f(x(0))?T1x1?x1(0)G(x(0))x1?x1(0)?0 (2.11) 2????将式2.11应用到一元函数的情形，可知，这也就是式2.11。 对于对称矩阵G，若存在非零向量x，满足
xTGx?0 （2.12）
则称G为正定矩阵。对于极大值问题，则要求G为负定矩阵（即），因此，n元函数f(x)在点x(0)处取得极值的充分必要条件是
??f?f(x(0))????x1?f...?x2?f?T?[00...0]?0 (2.13) ??xn?T??2f??x2?21??f(0)2(0)G(x)??f(x)???x2?x1???2??f??x?x?n1?2f?x1?x2?2f2?x2??2f?xn?x2?2f???x1?xn??2?f???x2?xn? （2.14）
????2f??2??xn?x(0)（若为正定，则为极小值；若为负定，则为极大值。）
对于二元函数y=f(x1,x2), x(0)为其极值点的充要条件可表示为
??f(0)?f(x)????x1?f??0（必要条件）
?x2?(0)?xT??2f??x2(0)G(x)??21??f??x?x?21?2f??x1?x2??正定或负定（充分条件） ?2f?2??x2?x(0)?2f?2f(0)(0)(0)(0)且2?0时，(x1,x2)为极大值点，2?0时，(x1,x2)为极小值点。 ?x1?x1对称矩阵G的正定性除可按定义式2.10判定外，更实用的方法是利用矩阵的各阶主子式的正负号进行判定。若G的各阶主子式均大于0，则G为正定矩阵；若G的各阶主子式的正负号负、正相间，即奇数阶主子式小于0，偶数阶主子式大于0，则G为负定矩阵。
?1021???例2.2 判断矩阵A?253的正定性。 ????134??解：
因为a11>0，则
即矩阵A的各阶主子式的值均大于0，故矩阵A为正定。 例2.3 判断矩阵
??12?2??
A???35?3????0?1?2??的正定性。 clc;
A=[-1 2 -2;-3 5 -3;0 -1 -2]; for i=1:3
A1(i)=det(A(1:i,1:i)); end -1 1 -5
2x12x2例2.4 试求函数f(x)?的极值。 ?22[0 0]T
G=[1 0
0 1] 正定 极小值
2.5 凸集与凸函数
经典优化算法大多属于沿某一搜索方向的局部优化算法，要求目标函数和约束条件满足一定要求，如要求目标函数及约束条件为单峰函数或单调函数，或者说要求目标函数和约束函数为凸函数，对应的解集为凸集。相对于全局优化算法来说，凸集、凸函数的概念对于局部优化算法更为重要。如果已知目标函数为凸函数且求解域为凸集，则求解出的局部极值点也是全局极值点，否则求出的局部极值点就不一定是全局极值点。对于约束优化问题应验证解是否满足约束条件。
1 凸集
设集合S?R，如果对于任意的x1，x2∈Rn，有
n?x1?(1??)x2?S,???[0,1] (2.15)
则称S是一个凸集。该定义用文字描述就是：对于一个点集（或区域），如果连续其中任意两点x1，x2的线段都全部包含在该集合内，就称该点集为凸集，否则为非凸集。 反过来，如果是一个凸集，点x1,x2,…,xm∈S，则这m个点的组合为凸集：
??x?S
iii?1m其中，
??i?1mi?1,?i?0（i=1，2，…，m）
例2.5 证明超平面H?x?R|px?c是一个凸集。其中p∈Rn是超平面的法向量，且不为0；c是一个标量。
2 凸函数
定义：设f(x)为定义在非空凸集x?R上的实值函数，若对任意x1,x2∈Rn以及数??[0,1]，恒有
n?nT?f[?x1?(1??)x2]?(?)?f(x1)?(1??)f(x2)
则称f(x)为x上的下凸（上凸）函数。 若对任意x1,x2∈Rn以及数??[0,1]，恒有
f[?x1?(1??)x2]?(?)?f(x1)?(1??)f(x2)
则称f(x)为x上的严格下凸（上凸）函数。 性质：
（1）设f(x)为定义在凸集上Rn上的凸函数，则对于任意实数β≥0，函数βf(x)也是定义在Rn上的凸函数。 （2）设f1(x)和f2(x)为定义在凸集Rn上的两个凸函数，α，β为不同时为0的实数，则f(x)= αf1(x)+βf2(x)仍然是定义在Rn上的凸函数。
（3）设f(x)为定义在凸集Rn上的凸函数，则对于任意实数β，集合S?x|x?R,f(x)???n?是凸集。
（4）设f(x)为定义在凸集Rn上的可微凸函数，若存在点x*∈Rn，使得对于所有的x∈Rn有[?f(x)][x?x]?0，则x*是在f(x)上的最小点（全局极小点）。该性质说明，函数f(x)在极值点x*处的梯度与曲线上两点割线构成的矢量的夹角α≤π/2，在极值点处函数的梯度与过极值点的切线垂直。 凸规划
*T*