<svg xmlns="http://www.w3.org/2000/svg" ><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" ></path></svg> 讯享网
网络越深，获取的信息就越多，特征也越丰富，但是随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。ResNet 开创性地引入了残差连接，解决了深层网络训练过程中的梯度弥散问题，是深层模型更容易训练，并且验证了随着网络层次的加深模型可以获得更好的性能。
特点
- 引入直连通路，使深层模型可以保持原始数据信息且训练过程不容易梯度弥散
- 直连通路与卷积层进行合并时采用元素点相加的方式，而不是直接拼接（Concatenate），使模型在训练过程中只需要拟合不同层网络中输出值与输入值的残差值，而无需直接拟合网络输出值，降低了模型训练难度。
- 残差块中模型 Inception，将 3x3 卷积拆分成两个 1x1 和 一个 3x3 组合，减少了模型参数量。
(1).残差块
假设 F(x) 代表某个只包含有两层的映射函数， x 是输入， F(x)是输出。假设他们具有相同的维度。在训练的过程中我们希望能够通过修改网络中的 w和b去拟合一个理想的 H(x)(从输入到输出的一个理想的映射函数)。也就是我们的目标是修改F(x) 中的 w和b逼近 H(x) 。如果我们改变思路，用F(x) 来逼近 H(x)-x ，那么我们最终得到的输出就变为 F(x)+x（这里的加指的是对应位置上的元素相加，也就是element-wise addition），这里将直接从输入连接到输出的结构也称为shortcut，那整个结构就是残差块，ResNet的基础模块。
ResNet沿用了VGG全3×3卷积层的设计。残差块里首先有2个有相同输出通道数的3×3卷积层。每个卷积层后接BN层和ReLU激活函数，然后将输入直接加在最后的ReLU激活函数前，这种结构用于层数较少的神经网络中，比如ResNet34。若输入通道数比较多，就需要引入1×1卷积层来调整输入的通道数，这种结构也叫作瓶颈模块，通常用于网络层数较多的结构中。如下图所示：
(2).ResNet34整体结构
每个ResentBlock模块里有多个个卷积层（不计算 1×1卷积层），这些卷积层加上最开始的卷积层和最后的全连接层，共计34层，所以这个模型被称为ResNet34。
讯享网
讯享网
其它版本ResNet就是每个ResentBlock模块里的卷积数量不同，具体差别如下：
讯享网
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/172929.html