最陡下降法
梯度下降算法
xk xk 1 x f ( x),
0
近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数μ称为自适应增益常数，或步长因子、收敛因子，它能控制收敛步长，决定近似解趋向最优解的收敛速率。μ越大，收敛越快；太大则会发散现代信号处理 13
最陡下降法
梯度与最小均方误差
均方误差性能曲面的梯度定义为： n n n n n w n w0 n w1 n wL n 2Rw n 2pT
最优权矢量处梯度为零： n 2Rw n 2p 0 w R 1 p
现代信号处理 14