文章
- 一、优化器
- 1.SGD(Stochastic gradient descent)
- 2.Momentum
- 3.NAG(Nesterov accelerated gradient)
- 4.Adagrad
- 5.RMSprop
- 6.Adadelta
- 7.Adam
- 效果对比：
- 二、优化器的简单使用
- 完整代码
常见的一些优化器有：SGD、Adagrad、Adadelta、RMSprop、Adam、Adamax、Nadam、TFOptimizer等等。
1.SGD(Stochastic gradient descent)
标准梯度下降法:
标准梯度下降法计算所有样本汇总误差，然后根据总误差来更新权值。
随机梯度下降法:
随机梯度下降法随机抽取一个样本来计算误差，然后更新权值。
批量梯度下降法:
批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。
2.Momentum
动力，通常设置为0.9。
3.NAG(Nesterov accelerated gradient)
动力，通常设置为0.9。
4.Adagrad
5.RMSprop
动力，通常设置为0.9。
6.Adadelta
动力，通常设置为0.9。
7.Adam
效果对比：
变化为
使用前需要先导入。
完整代码
2.加载数据及数据预处理
3.训练模型
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/170839.html