在讨论函数的极值问题时,我们一般使用二次正定函数来推导。为什么只是二次呢?这里引用吴福朝老师的话说:“光滑函数或二阶可微函数,在极值点的局部范围内,在相差高阶无穷小的情况下,都可以表示为二次函数,极值是局部性质,这就理所当然地,用局部二次taylor展开来讨论函数的极值了。”说得很精妙!             最速梯度下降方法,其每次进行直线搜索的梯度方向,都与等值面相切,不是直

无约束优化   梯度下降   牛顿法   共轭梯度法