牛顿法只需要迭代一次便可得到正定二次的极小值，而梯度下降需要迭代很多次，因此可以认为牛顿法对于二次函数是有效，但牛顿法每步迭代的计算量大，所以有了共轭方向法。共轭方向法建立在二次模型的基础上，有效次迭代终止，介于梯度下降和牛顿法之间，既能克服梯度下降的收敛慢，又避免了牛顿法计算量大的缺点。共轭方向法是在共轭方向法和梯度下降法之间建立一种联系，得到一个既有效又有较好收敛性的算法 共轭方向法 共轭梯度法 ← Previous Post Next Post →
