机器学习笔记一：梯度下降算法
梯度下降算法
介绍
在数学中，梯度下降（通常也称为最速下降）是一种一阶迭代优化算法，用于寻找可微函数的局部最小值。 思路是在函数当前点的梯度（或近似梯度）的反方向重复走几步，因为这是最速下降的方向。 相反，沿梯度方向步进将导致该函数的局部最大值； 这个过程被称为梯度上升。
梯度下降法一般归因于奥古斯丁-路易斯柯西，他于1847年首先提出它。雅克阿达玛在1907年独立提出了类似的方法。它对非线性优化问题的收敛性质首先由Haskell Curry于1944年研究，用该方法 在接下来的几十年中得到越来越多的研究和使用。