深度学习优化学习方法（一阶、二阶）

深度学习优化学习方法总结 （一阶为主）https://blog.csdn.net/sunflower_sara/article/details/81321886

常用的优化算法：梯度下降法，牛顿法，拟牛顿法,共轭梯度法 （二阶为主） https://blog.csdn.net/sunflower_sara/article/details/81215135

一阶方法：

随机梯度下降（Stochastic Gradient Descent，SGD）

动量（SGD with Momentum，SGDM）

牛顿动量法（Nesterov Acceleration Gradient，NAG）

AdaGrad（自适应梯度）

RMSProp（均方差传播）

Adam

Nadam

二阶方法：

牛顿法

拟牛顿法

共轭梯度法 CG

BFGS

L-BFGS