beta和1-beta分别代表之前的dW权重和现在的权重。
效果图如下(红色)：
下面继续另一种加速下降的一个算法RMSprop，全称root mean square prop。也用到权重超参数beta（一般取0.999），和Momentum相似：
其中dW的平方是(dW)^2，db的平方是(db)^2。如果严谨些，防止分母为0，在分数下加上个特别小的一个值epsilon，通常取10^-8。
效果图如下(绿色)：
研究者们其实提出了很多的优化算法，可以解决一些问题，但是很难扩展到多种神经网络。而Momentum，RMSprop是很长时间来最经得住考研的优化算法，适合用于不同的深度学习结构。所以有人就有想法，何不将这俩的方法结合到一起呢？然后，pia ji一下，Adam问世了。全程Adaptive Moment Estimation。算法中通常beta_1=0.9,beta_2=0.999。
算法为(很明显看出是两者的结合，其中多了一步V和S的调节，t为迭代次数，除以1-beta^t表示越近的重要，越远的就可以忽视)：
因为Adam结合上述两种优化算法的优点于一身，所以现在经常用的是Adam优化算法。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/184444.html