<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p></p> 讯享网
神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。
首先我们先看这么一个函数：
讯享网
假设我们需要求解这个函数的最小值。
我们可以用代码先画出这个函数的图像：
讯享网
结果如下：
这是一个三维的图，可以观察到函数值z的最小值就是0。
我们可以尝试从上往下看，这样就能直观的反应梯度了。
输出：
我们可以发现这个函数的特征是在y轴上的梯度变化大，在x轴上的梯度变化小。
下面将介绍一些优化器。
为了找到最优参数，我们将参数的梯度（导数）作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（stochastic gradient descent），简称SGD。
SGD是一个简单的方法，不过比起胡乱地搜索参数空间，也算是“聪明”的方法。但是，根据不同的问题，也存在比SGD更加聪明的方法。
SGD的数学公式如下：
代码实现如下：
讯享网
由于随机梯度下降法从当前梯度进行更新，我们可以画出各个点的负梯度。
输出：
通过图可以发现，（0，0）是最小值的位置，但是很多点的梯度并没有指向（0，0），这说明SGD在面对函数的形状非均向的时候，效率并不高，因为下降的方向并不是最小的方向。
下面用代码实现SGD对此函数的最小值求解：
讯享网
输出结果：
SGD呈“之”字形向使函数取得最小值的(0,0)处移动。SGD低效的根本原因是，梯度的方向并没有指向最小值的方向。
为了改正SGD的缺点，我们将继续介绍其他的一些方法。
Momentum是“动量”的意思，和物理有关。用数学式表示Momentum方法，如下所示：
因为初始速度为0，所以第一次更新时其实和SGD是一样的，当第二次更新时，Momentum也便发挥作用，因为第一次更新留下一个“速度”，会影响第二次更新的幅度。
用这个方法求解一下函数的最小值：
讯享网
输出结果：
图6-5中，更新路径就像小球在碗中滚动一样。和SGD相比，我们发现“之”字形的“程度”减轻了。这是因为虽然x轴方向上受到的力非常小，但是一直在同一方向上受力，所以朝同一个方向会有一定的加速。反过来，虽然y轴方向上受到的力很大，但是因为交互地受到正方向和反方向的力，它们会互相抵消，所以y轴方向上的速度不稳定。因此，和SGD时的情形相比，可以更快地朝x轴方向靠近，减弱“之”字形的变动程度。
在神经网络的学习中，学习率（数学式中记为η）的值很重要。学习率过小，会导致学习花费过多时间；反过来，学习率过大，则会导致学习发散而不能正确进行。
在关于学习率的有效技巧中，有一种被称为学习率衰减（learning rate decay）的方法，即随着学习的进行，使学习率逐渐减小。实际上，一开始“多”学，然后逐渐“少”学的方法，在神经网络的学习中经常被使用。
逐渐减小学习率的想法，相当于将“全体”参数的学习率值一起降低。而AdaGrad 进一步发展了这个想法，针对“一个一个”的参数，赋予其“定制”的值。
AdaGrad会为参数的每个元素适当地调整学习率，与此同时进行学习（AdaGrad的Ada来自英文单词Adaptive，即“适当的”的意思）。下面，让我们用数学式表示AdaGrad的更新方法。
首先我们先实现一下AdaGrad:
这里需要注意的是，最后一行加上了微小值1e-7。这是为了防止当self.h[key]中有0时，将0用作除数的情况。在很多深度学习的框架中，这个微小值也可以设定为参数，但这里我们用的是1e-7这个固定值。现在，让我们试着使用AdaGrad解决函数的最优化问题。
讯享网
输出如下：
由图6-6由此可知，函数的取值高效地向着最小值移动。由于y轴方向上的梯度较大，因此刚开始变动较大，但是后面会根据这个较大的变动按比例进行调整，减小更新的步伐。因此，y轴方向上的更新程度被减弱，“之”字形的变动程度有所衰减。
AdaGrad会记录过去所有梯度的平方和。因此，学习越深入，更新的幅度就越小。实际上，如果无止境地学习，更新量就会变为 0，完全不再更新。为了改善这个问题，可以使用 RMSProp方法。RMSProp方法并不是将过去所有的梯度一视同仁地相加，而是逐渐地遗忘过去的梯度，在做加法运算时将新梯度的信息更多地反映出来。这种操作从专业上讲，称为“指数移动平均”，呈指数函数式地减小过去的梯度的尺度。
更新公式如下：
类实现：
对上述函数最优化求解：
讯享网
输出结果：
Momentum参照小球在碗中滚动的物理规则进行移动，AdaGrad为参数的每个元素适当地调整更新步伐。如果将这两个方法融合在一起会怎么样呢？这就是Adam[8]方法的基本思路。Adam是2015年提出的新方法。它的理论有些复杂，直观地讲，就是融合了Momentum和AdaGrad的方法。通过组合前面两个方法的优点，有望实现参数空间的高效搜索。此外，进行超参数的“偏置校正”也是Adam的特征。
其更新公式如下：
代码实现Adam:
使用Adam求解函数最优化问题：
讯享网
输出结果：
在图6-7中，基于Adam的更新过程就像小球在碗中滚动一样。虽然Momentun也有类似的移动，但是相比之下，Adam的小球左右摇晃的程度有所减轻。这得益于学习的更新程度被适当地调整了。Adam会设置 3个超参数。一个是学习率（论文中以α出现），另外两个是一次momentum系数β1和二次momentum系数β2。根据论文，标准的设定值是β1为 0.9，β2 为 0.999。设置了这些值后，大多数情况下都能顺利运行。
这个实验以一个5层神经网络为对象，其中每层有100个神经元。激活
函数使用的是ReLU，直接上结果。
实验结果表明，在这个实验当中除了SGD，另外三种都蛮不错的。
确实，Adam用的比较多。
上课深度学习的课件
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/146301.html