sigmoid函数实现（sigmoid函数实现归一化）

科技前沿 • 2025-04-20 07:16 • 阅读 31

大家好，我是讯享网，很高兴认识大家。

Sigmoid函数:

$Sigmoid=frac{1}{1+exp(-x)}$
讯享网

sigmoid归一化参数 sigmoid归一化函数_机器学习_02

特性：

1.当变量值远离中心轴时，梯度几乎为0，在神经网络的反向传播过程中，链式求导导致经过sigmoid函数之后的梯度

很小，权重值更新较慢

2.计算机执行指数运算较慢

3.sigmoid在压缩数据幅度方面有优势，在深度网络中，在前向传播中，sigmoid可以保证数据幅度在[0,1]内，这样数据幅度稳住了，不会出现数据扩散，不会有太大的失误。

4.定义域(0, 1) 可以表示作概率，或者用于输入的归一化，如Sigmoid交叉熵损失函数。

5.如图像所示其值域在[0,1]之间，函数输出不是0均值的，权重更新效率降低，因为这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响：假设后层神经元的输入都为正(e.g. x>0 elementwise in ),那么对w求局部梯度则都为正，这样在反向传播的过程中w要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。当然了，如果你是按batch去训练，那么每个batch可能得到不同的符号（正或负），那么相加一下这个问题还是可以缓解。因此，非0均值这个问题虽然会产生一些不好的影响，不过跟上面提到的 kill gradients 问题相比还是要好很多的。

Tanh函数：

$Tanh = frac{e^{x}-e^{-x}}{e^{x}+e^{-x}} = 2sigmoid(2x)-1$

特性：

1.Tanh 网络的收敛速度要比 Sigmoid 快。因为 Tanh 的输出均值为 0，SGD 会更接近 natural gradient（一种二次优化技术），从而降低所需的迭代次数。

2.Tanh 激活函数与sigmoid函数一样也具有软饱和性，没有改变Sigmoid函数的最大问题——由于饱和性产生的梯度消失。

Relu函数（Rectified linear unit）：

$ReLU = max(0,x) = left{begin{matrix} 0, x<0 & & \ x, xgeq 0 & & end{matrix} ight.$

特性：

1.当输入值小于0时，出现硬饱和，梯度消失为0；

2.解决了梯度消失的问题：在正区间当输入值大于0时，梯度保持不变，没有sigmoid及Tanh函数的梯度消失的问题。

3.计算速度快，只需要判断输入是否大于0

4.收敛速度远快于sigmoid和tanh

5.输出不是zero-centered

Leaky ReLU函数

$ReLU = max(0.1x,x) = left{begin{matrix} 0.1x, x<0 & & \ x, xgeq 0 & & end{matrix} ight.$

sigmoid归一化参数 sigmoid归一化函数_deep learning_06

Leaky ReLU是为了解决ReLU函数的Dead ReLU Problem而提出的激活函数。为了解决Dead ReLU Problem，Leaky ReLU提出了将ReLU的前半段设为0.01x0.01x而非0。另外一种直观的想法是基于参数的方法，即Parametric ReLU:

$ReLU = max(alpha x,x) = left{begin{matrix} alpha x, x<0 & & \ x, xgeq 0 & & end{matrix} ight.$

ELU函数

$ELU = left{begin{matrix} x, x>0 & & \ alpha (e^{x}-1), xleq 0 & & end{matrix} ight.” title=“ELU = left{begin{matrix} x, x>0 & & \ alpha (e^{x}-1), xleq 0 & & end{matrix} ight.” style=“width: 203px; visibility: visible;” data-type=“block”></p><p><br></p><p style=$ sigmoid归一化参数 sigmoid归一化函数_deep learning_09

特性：

ELU(Exponential Linear Units)函数也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：

不会有Dead ReLU问题
输出的均值接近0，zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。