2025年机器学习中的数学——激活函数(五):ELU函数

机器学习中的数学——激活函数(五):ELU函数分类目录 机器学习中的数学 总目录 相关文章 激活函数 基础知识 激活函数 一 Sigmoid 函数 激活函数 二 双曲正切函数 Tanh 函数 激活函数 三

大家好,我是讯享网,很高兴认识大家。

分类目录:《机器学习中的数学》总目录
相关文章:
· 激活函数:基础知识
· 激活函数(一):Sigmoid函数
· 激活函数(二):双曲正切函数(Tanh函数)
· 激活函数(三): 线性整流函数(ReLU函数)
· 激活函数(四):Leaky ReLU函数
· 激活函数(五):ELU函数
· 激活函数(六):Parametric ReLU(PReLU)函数
· 激活函数(七):Softmax函数
· 激活函数(八):Swish函数
· 激活函数(九):Maxout函数
· 激活函数(十):Softplus函数
· 激活函数(十一):Softsign函数
· 激活函数(十二):高斯误差线性单元(GELUs)


ELU 的提出也解决了ReLU 的问题。与ReLU相比,ELU有负值,这会使激活的平均值接近零。均值激活接近于零可以使学习更快,因为它们使梯度更接近自然梯度。

E L U ( x ) = { x , x > 0 α ( e x − 1 ) , x ≤ 0 ELU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha(e^x - 1) & \quad , x\leq 0\\ \end{aligned} \right. ELU(x)={ xα(ex−1)​,x>0,x≤0​


讯享网

ELU函数的特点:

  • 没有Dead ReLU问题,输出的平均值接近0,以0为中心。
  • ELU 通过减少偏置偏移的影响,使正常梯度更接近于单位自然梯度,从而使均值向零加速学习。
  • ELU函数在较小的输入下会饱和至负值,从而减少前向传播的变异和信息。
  • ELU函数的计算强度更高。与Leaky ReLU类似,尽管理论上比ReLU要好,但目前在实践中没有充分的证据表明ELU总是比ReLU好。

ELU函数的图像:
ELU函数的图像

小讯
上一篇 2025-02-14 18:53
下一篇 2025-02-19 08:31

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/112879.html