大家好，我是讯享网，很高兴认识大家。



在中给出了CNN的简单实现，这里对每一步的实现作个说明：

共7层：依次为输入层、C1层、S2层、C3层、S4层、C5层、输出层，C代表卷积层(特征提取)，S代表降采样层或池化层(Pooling)，输出层为全连接层。

1.        各层权值、偏置(阈值)初始化：

各层权值、偏置个数计算如下：

(1)、输入层：预处理后的32*32图像数据，无权值和偏置；

(2)、C1层：卷积窗大小5*5，输出特征图数量6，卷积窗种类1*6=6，输出特征图大小28*28，因此可训练参数(权值+偏置)：(5*5*1)*6+6=150+6；

         (3)、S2层：卷积窗大小2*2，输出下采样图数量6，卷积窗种类6，输出下采样图大小14*14，因此可训练参数(权值+偏置)：1*6+6=6+6；

         (4)、C3层：卷积窗大小5*5，输出特征图数量16，卷积窗种类6*16=96，输出特征图大小10*10，因此可训练参数(权值+偏置)：(5*5*6)*16+16=2400+16；

         (5)、S4层：卷积窗大小2*2，输出下采样图数量16，卷积窗种类16，输出下采样图大小5*5，因此可训练参数(权值+偏置)：1*16+16=16+16；

         (6)、C5层：卷积窗大小5*5，输出特征图数量120，卷积窗种类16*120=1920，输出特征图大小1*1，因此可训练参数(权值+偏置)：(5*5*16)*120+120=48000+120；

         (7)、输出层：卷积窗大小1*1，输出特征图数量10，卷积窗种类120*10=1200，输出特征图大小1*1，因此可训练参数(权值+偏置)：(1*120)*10+10=1200+10.

         代码段如下：

         权值、偏置初始化：

(1)、权值使用函数uniform_real_distribution均匀分布初始化，tiny-cnn中每次初始化权值数值都相同，这里作了调整，使每次初始化的权值均不同。每层权值初始化大小范围都不一样；

(2)、所有层的偏置均初始化为0.

         代码段如下：

2.        加载MNIST数据：

关于MNIST的介绍可以参考：

使用MNIST库作为训练集和测试集，训练样本集为60000个，测试样本集为10000个。

(1)、MNIST库中图像原始大小为28*28，这里缩放为32*32，数据取值范围为[-1,1]，扩充值均取-1，作为输入层输入数据。

代码段如下：

(2)、对于Label,输出层有10个节点，对应位置的节点值设为0.8，其它节点设为-0.8，作为输出层数据。

代码段如下：

3.        前向传播：主要计算每层的神经元值；其中C1层、C3层、C5层操作过程相同；S2层、S4层操作过程相同。

(1)、输入层：神经元数为(32*32)*1=1024。

(2)、C1层：神经元数为(28*28)*6=4704，分别用每一个5*5的卷积图像去乘以32*32的图像，获得一个28*28的图像，即对应位置相加再求和，stride长度为1；一共6个5*5的卷积图像，然后对每一个神经元加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

激活函数的作用：它是用来加入非线性因素的，解决线性模型所不能解决的问题，提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。

代码段如下：

(3)、S2层：神经元数为(14*14)*6=1176，对C1中6个28*28的特征图生成6个14*14的下采样图，相邻四个神经元分别乘以同一个权值再进行相加求和，再求均值即除以4，然后再加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

代码段如下：

(4)、C3层：神经元数为(10*10)*16=1600，C3层实现方式与C1层完全相同，由S2中的6个14*14下采样图生成16个10*10特征图，对于生成的每一个10*10的特征图，是由6个5*5的卷积图像去乘以6个14*14的下采样图，然后对应位置相加求和，然后对每一个神经元加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

也可按照Y.Lecun给出的表进行计算，即对于生成的每一个10*10的特征图，是由n个5*5的卷积图像去乘以n个14*14的下采样图，其中n是小于6的，即不完全连接。这样做的原因：第一，不完全的连接机制将连接的数量保持在合理的范围内。第二，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征。

讯享网

代码段如下：

(5)、S4层：神经元数为(5*5)*16=400，S4层实现方式与S2层完全相同，由C3中16个10*10的特征图生成16个5*5下采样图，相邻四个神经元分别乘以同一个权值再进行相加求和，再求均值即除以4，然后再加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

代码段如下：

(6)、C5层：神经元数为(1*1)*120=120，也可看为全连接层，C5层实现方式与C1、C3层完全相同，由S4中16个5*5下采样图生成120个1*1特征图，对于生成的每一个1*1的特征图，是由16个5*5的卷积图像去乘以16个5*5的下采用图，然后相加求和，然后对每一个神经元加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

代码段如下：

(7)、输出层：神经元数为(1*1)*10=10，为全连接层，输出层中的每一个神经元均是由C5层中的120个神经元乘以相对应的权值，然后相加求和；然后对每一个神经元加上一个阈值，最后再通过tanh激活函数对每一神经元进行运算得到最终每一个神经元的结果。

代码段如下：

4.        反向传播：主要计算每层权值和偏置的误差以及每层神经元的误差；其中输入层、S2层、S4层操作过程相同；C1层、C3层操作过程相同。

(1)、输出层：计算输出层神经元误差；通过mse损失函数的导数函数和tanh激活函数的导数函数来计算输出层神经元误差，即a、已计算出的输出层神经元值减去对应label值，b、1.0减去输出层神经元值的平方，c、a与c的乘积和。

损失函数作用：在统计学中损失函数是一种衡量损失和错误(这种损失与”错误地”估计有关)程度的函数。损失函数在实践中最重要的运用，在于协助我们通过过程的改善而持续减少目标值的变异，并非仅仅追求符合逻辑。在深度学习中，对于损失函数的收敛特性，我们期望是当误差越大的时候，收敛(学习)速度应该越快。成为损失函数需要满足两点要求：非负性；预测值和期望值接近时，函数值趋于0.

代码段如下：

(2)、C5层：计算C5层神经元误差、输出层权值误差、输出层偏置误差；通过输出层神经元误差乘以输出层权值，求和，结果再乘以C5层神经元的tanh激活函数的导数(即1-C5层神经元值的平方)，获得C5层每一个神经元误差；通过输出层神经元误差乘以C5层神经元获得输出层权值误差；输出层偏置误差即为输出层神经元误差。

代码段如下：

(3)、S4层：计算S4层神经元误差、C5层权值误差、C5层偏置误差；通过C5层权值乘以C5层神经元误差，求和，结果再乘以S4层神经元的tanh激活函数的导数(即1-S4神经元的平方)，获得S4层每一个神经元误差；通过S4层神经元乘以C5层神经元误差，求和，获得C5层权值误差；C5层偏置误差即为C5层神经元误差。

代码段如下：

(4)、C3层：计算C3层神经元误差、S4层权值误差、S4层偏置误差；通过S4层权值乘以S4层神经元误差，求和，结果再乘以C3层神经元的tanh激活函数的导数(即1-S4神经元的平方)，然后再乘以1/4，获得C3层每一个神经元误差；通过C3层神经元乘以S4神经元误差，求和，再乘以1/4，获得S4层权值误差；通过S4层神经元误差求和，来获得S4层偏置误差。

代码段如下：

(5)、S2层：计算S2层神经元误差、C3层权值误差、C3层偏置误差；通过C3层权值乘以C3层神经元误差，求和，结果再乘以S2层神经元的tanh激活函数的导数(即1-S2神经元的平方)，获得S2层每一个神经元误差；通过S2层神经元乘以C3层神经元误差，求和，获得C3层权值误差；C3层偏置误差即为C3层神经元误差和。

代码段如下：

(6)、C1层：计算C1层神经元误差、S2层权值误差、S2层偏置误差；通过S2层权值乘以S2层神经元误差，求和，结果再乘以C1层神经元的tanh激活函数的导数(即1-C1神经元的平方)，然后再乘以1/4，获得C1层每一个神经元误差；通过C1层神经元乘以S2神经元误差，求和，再乘以1/4，获得S2层权值误差；通过S2层神经元误差求和，来获得S4层偏置误差。

代码段如下：

(7)、输入层：计算输入层神经元误差、C1层权值误差、C1层偏置误差；通过C1层权值乘以C1层神经元误差，求和，结果再乘以输入层神经元的tanh激活函数的导数(即1-输入层神经元的平方)，获得输入层每一个神经元误差；通过输入层层神经元乘以C1层神经元误差，求和，获得C1层权值误差；C1层偏置误差即为C1层神经元误差和。

5.        更新各层权值、偏置：通过之前计算的各层权值、各层权值误差；各层偏置、各层偏置误差以及学习率来更新各层权值和偏置。

代码段如下：

6.        测试准确率是否达到要求或已达到循环次数：依次循环3至5中操作，根据训练集数量，每循环60000次时，通过计算的权值和偏置，来对10000个测试集进行测试，如果准确率达到0.985或者达到迭代次数上限100次时，保存权值和偏置。

代码段如下：

7.        对输入的图像数据进行识别：载入已保存的权值和偏置，对输入的数据进行识别，过程相当于前向传播。

代码段如下：

https://github.com/fengbingchun/NN_Test