残差函数是网络层之中常见的一种函数，这里只想用通俗易懂的内容去阐述残差函数的公式内容
讯享网
也就是说，正常的神经网络层x经过weight layer之后为 r e l u ( w 1 x + b ) relu(w_{1}x+b) relu(w1x+b)，再经过一次weight layer之后为 r e l u ( w 2 ∗ ( r e l u ( w 1 x + b ) ) ) relu(w_{2}*(relu(w_{1}x+b))) relu(w2∗(relu(w1x+b)))
正常情况下 F ( x ) = r e l u ( w 2 ∗ ( r e l u ( w 1 x + b ) ) ) ) F(x) = relu(w_{2}*(relu(w_{1}x+b)))) F(x)=relu(w2∗(relu(w1x+b))))
然而在此特殊情况下的公式，我们定义它为H(x)，这里的H(x)属于经过特殊定义的残差函数的内容，可以得到 H ( x ) = F ( x ) + x H(x)=F(x)+x H(x)=F(x)+x，也就是说现在的前向传播函数H(x)为原来的前向传播函数F(x)加上两层之前的输入x。
这样拟合的残差函数F(x) = H(x)-x更简单。虽然理论上两者都能得到近似拟合，但是后者学习起来更容易。
拟合的残差函数含义，虽然得到的是 H ( x ) = F ( x ) + x H(x)=F(x)+x H(x)=F(x)+x的内容，但是需要求出的内容仍然为F(x) = H(x)-x的内容。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/75744.html