写在前面的话
这部分只解释代码，不对线性层(全连接层)，卷积层等layer的原理进行解释。
尽量写的比较全了，但是自身水平有限，不太确定是否有遗漏重要的部分。

教程参考：
https://pytorch.org/tutorials/
https://github.com/TingsongYu/PyTorch_Tutorial
https://github.com/yunjey/pytorch-tutorial

在pytorch中所有的module都继承了nn.Module()，都是它的子类。一个神经网络也是一个module，只不过它本身包含了其它别的module。
源码链接：https://pytorch.org/docs/stable/_modules/torch/nn/modules/module.html#Module

源码链接：https://pytorch.org/docs/stable/_modules/torch/nn/parameter.html#Parameter
nn.Parameter()它并没有继承nn.Module(), 而是继承了torch.Tensor()。它同样被放到torch.nn这个模块下面，是因为它在用于nn.Module()时会呈现出和一般的tensor不一样的特征。
它会天然地被添加到Module.parameters中去，作为一个可训练的参数使用。

在构建网络时，我们基于nn.Module()定义我们自己的模型的class，并在初始化的过程中使用多个不同的layer或者module来组成我们的模型。这些layer和module都会被register到网络中，方便我们使用参数名进行访问。
比如说我们现在定义一个非常简单的网络。这个网络在初始化时定义了三个变量，分别是self.t1：一个普通的tensor，self.p1：一个parameter和self.conv1：一个卷积层。这个卷积层，同样也继承了nn.Module()，它会被储存在Module._modules中。

讯享网

在上方，我们已经使用net = Model()实例化了我们的网络，现在来看一下网络里面的参数情况。
可以看到，我们的’p1’，因为类别是"Parameter"，所以它被添加到了net._parameters中去；我们的’conv1’，类别是"Module"，所以它被添加到了net._modules中去；而我们的t1，因为啥也不是，所以单独地被放到了net.t1。和普通的class中的属性没有什么区别。

在上方我们提供了add_module()的源码，它起到的就是register_module()的作用。
除了使用obj.name = value类似的命令定义网络中的module以外，我们也可以使用self.add_module(name, value)的方法，两者是等价的。需要注意的是，这里的value必须是一个module。
如下图，可以看到，我们用两种方法，都成功将一个卷积层加入到了net._modules中去。

当我们想使用add_module()方法加入一个非module类型的变量时，则会出现报错。从方便的角度讲，一般我们也不会使用这样的方法来构建我们的模型，还是obj.name = value更为简单常用。

children()和named_children()都返回了一个迭代器，两者也是很好区分。children()只返回了定义的模型中的module，而named_children()在返回module的同时，还返回了module的名字。

类似于上面的children()和named_children()，parameters()和named_parameters()同样也返回了一个迭代器，只不过迭代器中的内容不再是module和它的名字，而是换成了module._parameters。
我们在这里使用Linear层做例子。

apply()的作用是在你模型的所有module上执行同一个函数，因此输入参数是一个函数，在使用时，它会对你的self.children()的结果进行遍历，并在每个结果上递归地都执行传入的函数。

讯享网

比如说，在对模型进行权重初始化时，就可以使用这个函数。在tutorial文档中也给出了相应的例子。下方的代码给出了一个初始化权重的方法，假如module是一个线性层，就将它的权重的数值全部别为1。我们在上方定义的模型上使用这个函数。

可以看到在我们的结果中，net中的l1和l2的weights都受到了影响，但是bias没有发生变化。你也可以使用类似的方法改变它的bias或者别的module中的权重值。

modules()函数也可以返回我们的网络中的module，来看一下它和children()的区别。使用我们之前构建的有两个卷积层的网络，可以看到net.modules()除了返回它的submodule外，还返回了它本身。

而get_submodule(target)中的target，代表你想获得的module的name，使用name可以获得对应的module。

state_dict()是一个比较重要的方法，它可以orderdict的形式返回我们的模型中各个模块的权重和权重名。
以我们定义的包含两个线性层的模型为例子，state_dict()返回了l1的weight和bias以及l2的weight和bias。并且我们可以通过名称来检测对应的权重值。

讯享网

在确定设备后，我们使用.to()函数，就可以把网络放到对应的设备上。

定义模型的三要素：

• 继承nn.Module()
• 在__init__中定义组件
• 在forward()中确定组件使用的顺序
  我们要基于nn.Module()类来构建我们自己的网络，并且在__init__中进行初始化，我们可以使用各种各样的组件来完成我们的网络，并在forward中决定我们的输入在各个组件中传递的顺序。
  需要注意的是，这个顺序不是随便决定的，我们要考虑我们使用的组件的输入维度和输出维度。
  比如说下面这个例子，我们定义了两个forward，其中第一个forward()会在__call__()中被调用，所以我们可以使用net(x)直接调用第一个forward()，第二个forward2()则需要用函数名调用。
  在这个例子中，我们定义了两个线性层，其中l1的输入大小为5，输出大小为2。l2的输入大小为2，输出大小为2。而我们创建的输入变量的大小是(3,5)，相当于batchsize = 3，channel=5，因此在先使用l1后使用l2时，代码可以成功执行。但是反过来后代码就会报错。
  

nn.Sequential()方法也继承了nn.Module()，它的作用是作为一个container，把组件按照入参时的顺序添加进来，并且在forward()时，传入的数据也会按照顺序通过这些组件。
nn.Sequential()的传入参数有两种形式，第一种是OrderedDict[str, Module]，其中有序字典的key代表的是你给要传入的module起的名字。如果使用的不是有序字典作为输入，而是直接使用的Module，那么这个方法会按从0开始的index给组件命名。
具体可以直接看源码：
可以看到，在__init__()函数中，该方法对输入的组件进行了遍历，并且使用add_module()进行register。

我们给出一个非常简单的样例，我们使用nn.Sequential()构建一个简单的网络，模型里只有两个线形层。这个定义好的网络是直接可以使用的。

需要注意的是，nn.Sequential()在forward()中进行数据的传递时是按照组件传入的顺序进行的，因此你的组件顺序不对，仍然会出现报错。

nn.ModuleList()方法也继承了nn.Module()，它和nn.Sequential()一样，也是一个container，但是两者也存在一些区别。
nn.ModuleList()中没有实现forward()的方法，它只是把传入的组件放到了一个类似于python中list的序列中。
nn.ModuleList()中也不可以使用OrderedDict作为输入。
nn.ModuleList()中传入组件时不需要考虑组件的顺序。
以下给入了一个使用的例子。

讯享网

要注意的是我们不能使用python的list来代替nn.Module()，因为之前提到过在进行register时会判断你所创建的obj.name = value的value的类别，假如这个类不是Module，则不会被add_module()添加到self._modules中去。

nn.ModuleDict()与nn.ModuleList()类似，不同的是它传入的是一个dict。这也弥补了nn.ModuleList()中不能给组件起名字的缺点，传入的dict中的key就代表了对应组建的名字。
这个方法同样也没有实现forward()函数。
下方给出一个使用的例子。在forward()中调用组件时，用的也不再是nn.ModuleList()中的index，而是dict中的key。