ResNet的应用比较广泛，为了方便以后的学习，对ResNet网络结构做了进一步了解，ResNet的种类有好几种，此处简要介绍ResNet-18的代码。
论文地址：
1512.03385.pdf (arxiv.org)
https://arxiv.org/pdf/1512.03385.pdf
ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。
ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想也非常类似，允许原始输入信息直接传到后面的层中，如下图所示：
这样的话这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此ResNet又叫做残差网络。
创新的点在于：
提出残差学习的思想。传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。ResNet在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。VGGNet和ResNet的对比如下图所示。ResNet最大的区别在于有很多的旁路将输入直接连接到后面的层，这种结构也被称为shortcut或者skip connections。
在ResNet网络结构中会用到两种残差模块，一种是以两个3*3的卷积网络串接在一起作为一个残差模块，另外一种是1*1、3*3、1*1的3个卷积网络串接在一起作为一个残差模块，他们如下图所示。
ResNet有不同的网络层数，比较常用的是50-layer，101-layer，152-layer。他们都是由上述的残差模块堆叠在一起实现的。
ResNet-18的Pytorch代码如下：
函数定义如下：
使用其他的ResNet模型时，使用对应的名字的函数就行，函数返回的是一个类型的实例，这个类定义了resnet网络的结构，类的结构如下：
注意上面的ResNet类的代码中的参数，这个参数定义了残差块的结构，分为两种：
- ：resnet-18和resnet-34的残差块结构；
- ：resnet-50，resnet-101和resnet-152的残差块结构；
这里仅关注resnet-18因此我们只关注BasicBlock类，这个类的结构如下：
定义的网络结构如下所示：
ResNet类：
类定义的网络结构如下图所示：
_make_layer方法
类中还有一个方法是在这个方法中，定义了ResNet网络的一个Stage的结构，代码如下：
首先是为第一个残差块定义downsample结构，当残差块的输入和输出的尺寸不一致或者通道数不一致的时候就会需要下采样结构，下采样结构由一个1x1卷积层和一个BatchNorm层组成。之后定义了b l o c k s blocksblocks个残差块（在ResNet-18中每一个Stage均有两个残差块），只有第一个残差块需要下采样层。
在ResNet中，Stage1中输入通道数和输出通道数相同，并且使用的是stride为1的卷积，因此在Stage1中不需要有下采样层，其余Stage中钧需要有下采样层。
ResNet-50的结构略有差别，但整体思乡并无太大差别，感兴趣的可自行查看Pytorch中的源码。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/156311.html