参考答案：
这里答案应该是计算错了，正确结果应该是 -37。
详细解析：
如果在第1题中，在第一层与第二层计算后附加了RLU激活函数，结果是怎样的？
参考答案：
详细解析：
参考答案：
详细解析：
请从优化的角度谈谈，为什么在实际应用中，人们会优先选择ReLU作为激活函数，而不是Sigmoid？请谈谈你的理解。
参考答案：
神经网络主要靠反向传播进行优化，而反向传播需要求导数。
Sigmoid函数在远离0点的时候导数非常小，影响优化。
而ReLU的梯度非常容易求，对于优化是非常方便的。
详细解析：
ReLU函数优于Sigmoid函数主要体现在以下几个方面：
Sigmoid激活函数的输出范围在0到1之间，函数图像在两侧（接近0或1）时趋向于平缓，在输入非常大或非常小时会接近饱和。由于这种平缓的饱和区域存在，Sigmoid在反向传播计算梯度时，梯度值可能会变得非常小，导致梯度的快速衰减。这种现象称为“梯度消失”。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/152904.html