什么是非饱和神经元（non-saturating neurons）
在读AlexNet文章时，在Abstract中发现有non-saturating neurons一词，于是想知道什么是non-saturating neurons。参考知乎回答：https://www.zhihu.com/question//answer/
- 含义
non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值saturating neurons = 被挤压（到一个特定的区间）过的值
关键:1.值是否被挤压 2.值有无最大最小限制 - 输出saturating neurons的activation：
sigmoid: input neurons的值会被挤压到[0,1]的区间
讯享网tanh：input neurons的值会被挤压到[-1,1]的区间
- 输出non-saturating neurons 的activation：
relu：input neurons的值，要么变0， 要么保持原值（无挤压，无最大最小值限制）
leaky_relu：input neurons的值， 要么按照某比例缩小，要么保持原值（无挤压，无最大最小值限制）
- 为什么要用relu这样的能生成non-saturating neurons的non-linear activations, 而不用生成saturating neurons的sigmoid或tanh?
规避vanishing, exploding of gradients 带来的gradient值过大过小，导致训练效率低下。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/12640.html