在神经网络中，我们称逻辑回归中的 Sigmoid 函数为激活函数。在神经网络中，有很多可选的激活函数。
Sigmoid 函数定义如下：
<img alt="Sigmoid函数" src="https://www.54benniao.com/uploads/allimg//7-20091G44535H5.gif" /></div> 讯享网
其图像如图 1 所示。
讯享网<img alt="Sigmoid函数图像" src="https://www.54benniao.com/uploads/allimg//7-20091G.gif" /><br /> 图1：Sigmoid函数图像<br /> </div>
Sigmoid 函数将拟合曲线最后的结果转换到 (0,1) 区间。比较大的负数无限接近于 0，比较大的正数无限接近于 1。这样我们就可以用 0、1 来表示不同的分类结果。
tanh 函数的定义如下：
<img alt="tanh函数" src="https://www.54benniao.com/uploads/allimg//7-20091G45030b2.gif" /></div>
其图像如图 2 所示。
讯享网<img alt="tanh函数" src="https://www.54benniao.com/uploads/allimg//7-20091G4514L33.gif" /><br /> 图2：tanh函数图像</div>
tanh 函数将拟合曲线最后的结果转换到 (-1,1) 的区间上。比较大的负数无限接近于 -1，比较大的正数无限接近于 1。
ReLU 函数的定义如下：
<img alt="ReLU函数" src="https://www.54benniao.com/uploads/allimg//7-20091G4552bI.gif" /></div>
其图像如图 3 所示。
讯享网<img alt="ReLU函数图像" src="https://www.54benniao.com/uploads/allimg//7-20091G45H0607.gif" /><br /> 图3：ReLU函数图像</div>
ReLU 函数将拟合曲线最后的结果转换到 [0,+∞) 的区间上，其中小于 0 的结果转换为 0，大于 0 的结果不变。因为 Sigmoid 函数和 tanh 函数在训练神经网络的过程中效率比较低，所以现在都默认使用 ReLU 函数进行训练。
声明：《Python系列教程》为本站“54笨鸟”官方原创，由国家机构和地方版权局所签发的权威证书所保护。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/146182.html