logo资料库

最全卷积神经网络CNN(初学者入门共83页，良心整理.pdf

发布时间：2022-06-19 发布人：admin 分类：说明书 资料大小：2.60M 资料格式：pdf 举报 版权申诉
第1页 / 共83页
第2页 / 共83页
第3页 / 共83页
第4页 / 共83页
第5页 / 共83页
第6页 / 共83页
第7页 / 共83页
第8页 / 共83页
资料共83页，剩余部分请下载后查看
    卷积神经网络 CNN 从入门到精通 卷积神经网络算法的一个实现 前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透 彻，CNN 还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠 自己去专研，阅读推荐列表在末尾的参考文献。目前实现的 CNN 在 MINIT 数据集上效 果还不错，但是还有一些 bug，因为最近比较忙，先把之前做的总结一下，以后再继续 优化。 卷积神经网络 CNN 是 Deep Learning 的一个重要算法，在很多应用上表现出卓 越的效果，[1]中对比多重算法在文档字符识别的效果，结论是 CNN 优于其他所有的算 法。CNN 在手写体识别取得最好的效果，[2]将 CNN 应用在基于人脸的性别识别，效 果也非常不错。前段时间我用 BP 神经网络对手机拍照图片的数字进行识别，效果还算 不错，接近 98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。 1、CNN 的整体网络结构 卷积神经网络是在 BP 神经网络的改进，与 BP 类似，都采用了前向传播计算输出 值，反向传播调整权重和偏置；CNN 与标准的 BP 最大的不同是：CNN 中相邻层之间 的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层 的部分神经单元，而不是像 BP 那样与所有的神经单元相连接。CNN 的有三个重要的思 想架构： 局部区域感知 权重共享 空间或时间上的采样 局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些 基本特征是构成动物视觉的基础[3]；而 BP 中，所有的像素点是一堆混乱的点，相互 之间的关系没有被挖掘。 CNN 中每一层的由多个 map 组成，每个 map 由多个神经单元组成，同一个 map 的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积 和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能 是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固 定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络， 实际上，BP 也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权 重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模 型的泛华能力更强。 采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已 经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上 面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o” 我们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识 它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。 CNN 的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要 针对时间序列数据，参考 TDNN）上的扭曲有很强的鲁棒性。CNN 一般采用卷积层与
    采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积...这样卷积层提取 出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN 后面 还可以跟全连接层，全连接层跟 BP 一样。下面是一个卷积神经网络的示例： 图 1（图片来源） 卷积神经网络的基本思想是这样，但具体实现有多重版本，我参考了 matlab 的 Deep Learning 的工具箱 DeepLearnToolbox，这里实现的 CNN 与其他最大的差别是采样层没 有权重和偏置，仅仅只对卷积层进行一个采样过程，这个工具箱的测试数据集是 MINIST， 每张图像是 28*28 大小，它实现的是下面这样一个 CNN： 图 2 2、网络初始化 CNN 的 初 始 化 主 要 是 初 始 化 卷 积 层 和 输 出 层 的 卷 积 核 （ 权 重 ） 和 偏 置 ， DeepLearnToolbox 里面对卷积核和权重进行随机初始化，而对偏置进行全 0 初始化。 3、前向传输计算 前向计算时，输入层、卷积层、采样层、输出层的计算方式不相同。 3.1 输入层：输入层没有输入值，只有一个输出向量，这个向量的大小就是图片 的大小，即一个 28*28 矩阵; 3.2 卷积层：卷积层的输入要么来源于输入层，要么来源于采样层，如上图红色 部分。卷积层的每一个 map 都有一个大小相同的卷积核，Toolbox 里面是 5*5 的卷积 核。下面是一个示例，为了简单起见，卷积核大小为 2*2，上一层的特征 map 大小为 4*4，用这个卷积在图片上滚一遍，得到一个一个(4-2+1)*（4-2+1）=3*3 的特征 map，卷积核每次移动一步，因此。在 Toolbox 的实现中，卷积层的一个 map 与上层 的所有 map 都关联，如上图的 S2 和 C3，即 C3 共有 6*12 个卷积核，卷积层的每一
    个特征 map 是不同的卷积核在前一层所有 map 上作卷积并将对应元素累加后加一个 偏置，再求 sigmod 得到的。还有需要注意的是，卷积层的 map 个数是在网络初始化 指定的，而卷积层的 map 的大小是由卷积核和上一层输入 map 的大小决定的，假设 上 一 层 的 map 大 小 是 n*n 、 卷 积 核 的 大 小 是 k*k ， 则 该 层 的 map 大 小 是 (n-k+1)*(n-k+1)，比如上图的 24*24 的 map 大小 24=（28-5+1）。斯坦福的深 度 学 习 教 程 更 加 详 细 的 介 绍 了 卷 积 特 征 提 取 的 计 算 过 程 。 图 3 3.3 采样层（subsampling,Pooling）：采样层是对上一层 map 的一个采样处 理，这里的采样方式是对上一层 map 的相邻小区域进行聚合统计，区域大小为 scale*scale，有些实现是取小区域的最大值，而 ToolBox 里面的实现是采用 2*2 小 区域的均值。注意，卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，ToolBox 里面计算采样也是用卷积(conv2(A,K,'valid'))来实现的，卷积核是 2*2，每个元素都 是 1/4 ， 去 掉 计 算 得 到 的 卷 积 结 果 中 有 重 叠 的 部 分 ， 即 ： 图 4 4、反向传输调整权重 反向传输过程是 CNN 最复杂的地方，虽然从宏观上来看基本思想跟 BP 一样，都 是通过最小化残差来调整权重和偏置，但 CNN 的网络结构并不像 BP 那样单一，对不 同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难，很多论文 [1][5]和文章[4]都进行了详细的讲述，但我发现还是有一些细节没有讲明白，特别是 采样层的残差计算，我会在这里详细讲述。 4.1 输出层的残差 和 BP 一样，CNN 的输出层的残差与中间层的残差计算方式不同，输出层的残差是 输出值与类标值得误差值，而中间各层的残差来源于下一层的残差的加权和。输出层的 残差计算如下：
    公式来源 这个公式不做解释，可以查看公式来源，看斯坦福的深度学习教程的解释。 4.2 下一层为采样层（subsampling）的卷积层的残差 当一个卷积层 L 的下一层(L+1)为采样层，并假设我们已经计算得到了采样层的残 差，现在计算该卷积层的残差。从最上面的网络结构图我们知道，采样层（L+1）的 map 大小是卷积层 L 的 1/（scale*scale），ToolBox 里面，scale 取 2，但这两层的 map 个数是一样的，卷积层 L 的某个 map 中的 4 个单元与 L+1 层对应 map 的一个 单元关联，可以对采样层的残差与一个 scale*scale 的全 1 矩阵进行克罗内克积进行 扩充，使得采样层的残差的维度与上一层的输出 map 的维度一致，Toolbox 的代码如 下，其中 d 表示残差，a 表示输出值： net.layers{l}.d{j} = net.layers{l}.a{j} .* (1 - net.layers{l}.a{j}) .* expand(net.layers{l + 1}.d{j}, [net.layers{l + 1}.scale net.layers{l + 1}.scale 1]) 扩展过程： 图 5 利用卷积计算卷积层的残差： 图 6 4.3 下一层为卷积层（subsampling）的采样层的残差 当某个采样层 L 的下一层是卷积层(L+1)，并假设我们已经计算出 L+1 层的残差， 现在计算 L 层的残差。采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷 积层到采样层那样简单。现再假设 L 层第 j 个 map Mj 与 L+1 层的 M2j 关联，按照 BP 的原理，L 层的残差 Dj 是 L+1 层残差 D2j 的加权和，但是这里的困难在于，我们 很难理清 M2j 的那些单元通过哪些权重与 Mj 的哪些单元关联，Toolbox 里面还是采用
    卷积（稍作变形）巧妙的解决了这个问题，其代码为： convn(net.layers{l + 1}.d{j}, rot180(net.layers{l + 1}.k{i}{j}), 'full'); rot180 表示对矩阵进行 180 度旋转（可通过行对称交换和列对称交换完成），为什么这 里要对卷积核进行旋转，答案是：通过这个旋转，'full'模式下得卷积的正好抓住了前向 传输计算上层 map 单元与卷积和及当期层 map 的关联关系，需要注意的是 matlab 的内 置函数 convn 在计算卷积前，会对卷积核进行一次旋转，因此我们之前的所有卷积的计 算都对卷积核进行了旋转： a = 1 1 1 1 1 1 1 1 1 k = 1 2 3 4 5 6 7 8 9 >> convn(a,k,'full') ans = 1 3 6 5 3 5 12 21 16 9 12 27 45 33 18 11 24 39 28 15 7 15 24 17 9 convn 在计算前还会对待卷积矩阵进行 0 扩展，如果卷积核为 k*k，待卷积矩阵 为 n*n，需要以 n*n 原矩阵为中心扩展到(n+2(k-1))*(n+2(k-1))，所有上面 convn(a,k,'full')的计算过程如下：
    图 7 实际上 convn 内部是否旋转对网络训练没有影响，只要内部保持一致（即都要么旋转， 要么都不旋转），所有我的卷积实现里面没有对卷积核旋转。如果在 convn 计算前，先 对卷积核旋转 180 度，然后 convn 内部又对其旋转 180 度，相当于卷积核没有变。 为了描述清楚对卷积核旋转 180 与卷积层的残差的卷积所关联的权重与单元，正 是前向计算所关联的权重与单元，我们选一个稍微大一点的卷积核，即假设卷积层采用 用 3*3 的卷积核，其上一层采样层的输出 map 的大小是 5*5，那么前向传输由采样 层得到卷积层的过程如下： 图 8 这里我们采用自己实现的 convn（即内部不会对卷积核旋转），并假定上面的矩阵 A、B 下标都从 1 开始，那么有： B11 = A11*K11 + A12*K12 + A13*K13 + A21*K21 + A22*K22 + A23*K23 + A31*K31 + A32*K32 + A33*K33 B12 = A12*K11 + A13*K12 + A14*K13 + A22*K21 + A23*K22 + A24*K23 + A32*K31 + A33*K32 + A34*K33
    B13 = A13*K11 + A14*K12 + A15*K13 + A23*K21 + A24*K22 + A25*K23 + A33*K31 + A34*K32 + A35*K33 B21 = A21*K11 + A22*K12 + A23*K13 + A31*K21 + A32*K22 + A33*K23 + A41*K31 + A42*K32 + A43*K33 B22 = A22*K11 + A23*K12 + A24*K13 + A32*K21 + A33*K22 + A34*K23 + A42*K31 + A43*K32 + A44*K33 B23 = A23*K11 + A24*K12 + A25*K13 + A33*K21 + A34*K22 + A35*K23 + A43*K31 + A44*K32 + A45*K33 B31 = A31*K11 + A32*K12 + A33*K13 + A41*K21 + A42*K22 + A43*K23 + A51*K31 + A52*K32 + A53*K33 B32 = A32*K11 + A33*K12 + A34*K13 + A42*K21 + A43*K22 + A44*K23 + A52*K31 + A53*K32 + A54*K33 B33 = A33*K11 + A34*K12 + A35*K13 + A43*K21 + A44*K22 + A45*K23 + A53*K31 + A54*K32 + A55*K33 我们可以得到 B 矩阵每个单元与哪些卷积核单元和哪些 A 矩阵的单元之间有关联： A11 [K11] [B11] A12 [K12, K11] [B12, B11] A13 [K13, K12, K11] [B12, B13, B11] A14 [K13, K12] [B12, B13] A15 [K13] [B13] A21 [K21, K11] [B21, B11] A22 [K22, K21, K12, K11] [B12, B22, B21, B11] A23 [K23, K22, K21, K13, K12, K11] [B23, B22, B21, B12, B13, B11] A24 [K23, K22, K13, K12] [B23, B12, B13, B22] A25 [K23, K13] [B23, B13] A31 [K31, K21, K11] [B31, B21, B11] A32 [K32, K31, K22, K21, K12, K11] [B31, B32, B22, B12, B21, B11] A33 [K33, K32, K31, K23, K22, K21, K13, K12, K11] [B23, B22, B21, B31, B12, B13, B11, B33, B32] A34 [K33, K32, K23, K22, K13, K12] [B23, B22, B32, B33, B12, B13] A35 [K33, K23, K13] [B23, B13, B33] A41 [K31, K21] [B31, B21] A42 [K32, K31, K22, K21] [B32, B22, B21, B31] A43 [K33, K32, K31, K23, K22, K21] [B31, B23, B22, B32, B33, B21] A44 [K33, K32, K23, K22] [B23, B22, B32, B33] A45 [K33, K23] [B23, B33] A51 [K31] [B31] A52 [K32, K31] [B31, B32] A53 [K33, K32, K31] [B31, B32, B33] A54 [K33, K32] [B32, B33] A55 [K33] [B33] 然 后 再 用 matlab 的 convn( 内 部 会 对 卷 积 核 进 行 180 度 旋 转 ) 进 行 一 次
    convn(B,K,'full')，结合图 7，看红色部分，除去 0，A11=B'33*K'33=B11*K11， 发 现 A11 正 好 与 K11 、 B11 关 联 对 不 对 ； 我 们 再 看 一 个 A24=B'34*K'21+B'35*K'22+B'44*K'31+B'45*K'32=B12*K23+B13*K22+ B22*K13+B23*K12，发现参与 A24 计算的卷积核单元与 B 矩阵单元，正好是前向 计算时关联的单元，所以我们可以通过旋转卷积核后进行卷积而得到采样层的残差。 残差计算出来后，剩下的就是用更新权重和偏置，这和 BP 是一样的，因此不再细 究，有问题欢迎交流。 5、代码实现 详细的代码不再这里贴了，我依旧放在了 github，欢迎参考和指正。我又是在重 造车轮了，没有使用任何第三方的库类，这里贴一下调用代码： publicstaticvoid runCnn() { //创建一个卷积神经网络 LayerBuilder builder = new LayerBuilder(); builder.addLayer(Layer.buildInputLayer(new Size(28, 28))); builder.addLayer(Layer.buildConvLayer(6, new Size(5, 5))); builder.addLayer(Layer.buildSampLayer(new Size(2, 2))); builder.addLayer(Layer.buildConvLayer(12, new Size(5, 5))); builder.addLayer(Layer.buildSampLayer(new Size(2, 2))); builder.addLayer(Layer.buildOutputLayer(10)); CNN cnn = new CNN(builder, 50); //导入数据集 String fileName = "dataset/train.format"; Dataset dataset = Dataset.load(fileName, ",", 784); cnn.train(dataset, 3);// String modelName = "model/model.cnn"; cnn.saveModel(modelName); dataset.clear(); dataset = null; //预测 // CNN cnn = CNN.loadModel(modelName); Dataset testset = Dataset.load("dataset/test.format", ",", -1); cnn.predict(testset, "dataset/test.predict"); } 6、参考文献 LECUN. Gradient-Based [1].YANN Recognition. [2].Shan Sung LIEW. Gender classification: A convolutional neural network approach. Learning Applied to Document
    分享到：
    赞 收藏

    相关推荐

    资料库

    人工智能

    共收录2047份资料，累计62个分类，关注成员有19位，主要包括：GNSS,Pico-SIM868-GSM,GPRS,NB-IoT,GPRSHAT,SIM7070GCat-M,GNSSHAT,GSM,NB-IoTHAT,SIM7080GCat-M,R800CGSM,SIM800CGSM,UPSPowerModule(B),UPSPowerModule,Pico-SIM7020C-NB-IoT,SIM7028NB-IoTHAT,SIM7020CNB-IoTHAT,SIM7000XNB-IoTHAT,A7670CCat-1HAT,A7600C1Cat-1,SIM7600X4G&LTECat-1HAT,SIM7600X4GDONGLE用户手册,RM520N-GL5GHAT,RM500Q-GL5GHAT,RM500U-CN5GHAT,SIM820X-M25GforJetsonNano,AudioCardforJetsonNano,SIM7600G-H4GforJetsonNano,OpenNCC-Lite-4G8M,IMX219-77Camera,13.3inche-PaperHAT,10.3inche-PaperHAT(D),10.3inche-PaperHAT,9.7inche-PaperHAT,7.8inche-PaperHAT,6inchHDTouche-PaperHAT,6inchHDe-PaperHAT,6inche-PaperHAT,5.83inche-PaperHAT(C),LCD-Clock-A,0.95inchRGBOLED(A),0.96inchRGBOLEDModule,0.96inchOLEDModule,0.96inchOLED(A),1.27inchRGBOLEDModule,1.3inchOLEDModule(C),1.3inchOLED(A),1.32inchOLEDModule,1.5inchRGBOLEDModule,1.5inchOLEDModule,JETSONORINNX,自然语言处理,搜索引擎,VR,计算广告,深度学习,机器学习

    热门标签

    GNSS Pico-SIM868-GSM GPRS NB-IoT GPRSHAT SIM7070GCat-M GNSSHAT GSM NB-IoTHAT SIM7080GCat-M R800CGSM SIM800CGSM UPSPowerModule(B) UPSPowerModule Pico-SIM7020C-NB-IoT SIM7028NB-IoTHAT SIM7020CNB-IoTHAT SIM7000XNB-IoTHAT A7670CCat-1HAT A7600C1Cat-1 SIM7600X4G&LTECat-1HAT SIM7600X4GDONGLE用户手册 RM520N-GL5GHAT RM500Q-GL5GHAT RM500U-CN5GHAT SIM820X-M25GforJetsonNano AudioCardforJetsonNano SIM7600G-H4GforJetsonNano OpenNCC-Lite-4G8M IMX219-77Camera 13.3inche-PaperHAT 10.3inche-PaperHAT(D) 10.3inche-PaperHAT 9.7inche-PaperHAT 7.8inche-PaperHAT 6inchHDTouche-PaperHAT 6inchHDe-PaperHAT 6inche-PaperHAT 5.83inche-PaperHAT(C) LCD-Clock-A 0.95inchRGBOLED(A) 0.96inchRGBOLEDModule 0.96inchOLEDModule 0.96inchOLED(A) 1.27inchRGBOLEDModule 1.3inchOLEDModule(C) 1.3inchOLED(A) 1.32inchOLEDModule 1.5inchRGBOLEDModule 1.5inchOLEDModule JETSONORINNX 自然语言处理 搜索引擎 VR 计算广告 深度学习 机器学习

    最新资料