051 传感器与微系统( Transducer and Microsystem Technologies ) 2019 年 第 卷 第 期 8 38 : DOI 10． 13873 / J． 1000—9787 ( ) 2019 08—0150—03 改进 CaffeNet 模型在水面垃圾识别中的应用 * 向 伟1，2，3，史晋芳1，2，3，刘桂华3，徐 锋3，黄占鳌1，2，3 ( 1． 西南科技大学 制造科学与工程学院，四川 绵阳 621010 ; 2． 西南科技大学 制造过程测试技术省部共建教育部重点实验室，四川 绵阳 621010 3． 西南科技大学 特殊环境机器人技术四川省重点实验室，四川 绵阳 621010 ) ; 。 模型改进了卷积核的大小 摘 要: 为了提高水面垃圾识别的准确率，提出一种改进 识别 的能力，降低了网络复杂度 减少水面波纹 关键词: 深度学习; 卷积神经网络; 中图分类号: CaffeNet 文献标识码: 实验结果证明: 改进的 。 CaffeNet TP 391． 41 模型; 水面垃圾识别 的卷积神经网络模型对水面垃圾进行 卷积核的数量以及增加了一层稀疏结构，进而增强了网络模型特征提取 、 ，能 模型将水面垃圾的识别率提高到 CaffeNet 95． 75 % 物体倒影和桥梁等复杂环境对水面垃圾识别的影响，具有较好的水面垃圾识别效果 、 。 A 文章编号: 1000—9787 ( ) 2019 08—0150—03 Application of improved CaffeNet model in water surface garbage identification* 3， ， 3， ， ， 2 LIU Guihua3， XU Feng3， SHI Jinfang1 ， 2 HUANG Zhanao1 ， 2 ， 3 ， XIANG Wei1 ( 1． School of Manufacturing Science and Engineering ， Southwest University of Science ＆ Technology ， Mianyang 621010 2． Key Laboratory of Technology for Manufacturing Process ， China ; Southwest University of Science ＆ Technology 3． Special Environment Ｒobotics Laboratory of Sichuan Province Science ＆ Technology ， Mianyang 621010 ， China ) ， Mianyang 621010 ， China ; ， Southwest University of : Abstract In order to improve the accuracy of water surface garbage identification ， a modified convolutional neural network model of CaffeNet is proposed to identify water surface garbage． The model improves the size of the ， the number of convolution kernels ， and adds a sparse structure ， which enhances the ability of convolution kernel network model feature extraction and reduces network complexity． The experimental results show that the improved CaffeNet model improves the recognition rate of water surface garbage to 95． 75 % of water surface ripple ， object reflection and bridges on the recognition of water surface garbage ， and has better ， which can reduce the influence water surface garbage recognition effect． : ; deep learning convolutional neural network Keywords 0 引 言 水面生活垃圾自动清理船体积小，工作机动灵活效率 高 。 水面垃圾有效识别是水面垃圾自动清理船清理水面垃 1 。 圾的第一步 目前针对水面垃圾识别的相关研究并不多 。 王斌和叶晓杰人等采用基于红外图像的检测方法来识别水 ］，但受到水面环境复杂多变和水面目标众多的 面物体［ ， 2 干扰，导致识别率低下 李昀峰等人采用目标显著性区域 ］，但目标显著性 提取技术的检测方法来识别水面物体［ ， 4 区域提取技术容易受到水面物倒影和波纹的干扰，导致识 别受到影响 薛萍采用超像素识别率分割方法对水面物体 。 3 。 ; CaffeNet model ; water surface garbage identification 5 ］，但会受水面波纹影响 进行分割识别［ 觉注意机制的目标检测方法来识别水面目标［ 候复杂 特征的水面目标检测方法［ 体轮廓的干扰，影响水面垃圾识别 方晶等人采用视 ］，但水面气 魏建荣采用基于纹理 ］，该方法易受水面建筑物和岸 目标众多会影响识别精度 、 。 。 6 7 。 深度学习具有深层神经网络，深层神经网络拥有多个 隐藏层的人工神经网络具有非常强大的特征学习能力，通 过训练模型提取的特征对原始输入数据形成了更高效的特 ］ 8 ～ 10 征提取［ 功的模型，在图像分类和图像识别领域较为突出［ 卷积神经网络是深度学习中的一种较为成 ］，所 11 ～ 13 。 2018—11—29 收稿日期: * 基金项目: 国防科工局核能开发科研项目( ［ ( 19YCX0124 ) ; 国家自然科学基金资助项目( 2016 ］ ) ; 四川省教育厅资助项目( 1295 ) ; 国家自然科学基金青年科学基金资助项目( 16ZB0141 11602292 61701421 ) ) ; 西南科技大学研究生创新基金资助项目 

第 8 期 向 伟，等: 改进 CaffeNet 模型在水面垃圾识别中的应用 151 以将深度学习卷积神经网络方法运用来识别水面垃圾 。 在 ， 5 × 5 3 × 3 卷积操作之前使用 本文采用改进的 CaffeNet 网络能减少水面复杂环境对 垃圾识别的干扰，提高了水面垃圾的识别率 1 卷积神经网络模型 1． 1 CaffeNet 神经网络模型 。 CaffeNet 第一层输入数据大小为 227 × 227 × 3 ，卷积核 大小 为 11 × 11 ，卷 积 核 数 量 ( ，卷积后数据大小为 num _ output 55 × 55 × 96 ) 为 ，经过 96 ( ) 为 4 stride 数据大小不改变 长( ) 为 stride 大小为 5 × 5 接着进行池化， pool1 。 核大小为 后数据大小为 ， pool1 2 的归一化处理 。 27 × 27 × 96 ，步 长 relu1 后 ，步 ，接着进行 3 × 3 CaffeNet 缘扩充层数( ，卷积核数量( ，经过 1 27 × 256 核大小为 2 第二层输入数据大小为 ，卷积核大小为 ) 为 pad 2 27 × 27 × 96 ，步长( 5 × 5 ，图像边 ) 为 stride num_output ) 为 256 卷积后数据大小为 27 × relu2 后数据大小不改变，接着进行池化， pool 后 数 据 大 小 为 3 × 3 ，接着进行归一化处理，归一化运算的尺度为 ，步 长 ( ) 为 stride pool2 ， 2 13 × 13 × 256 ［ ］ 16 5 × 5 。 第 第 3、 层只进行了 4 CaffeNet 使用了卷积 结果变成一个长向量，输入到传统的神经网络中，最后 Conv 在得到第 池化操作 、ＲeLU、 。 5 和 第五层 ＲeLU。 层的结果后，将 层 3 使用全连接的网络结构 1． 2 改进 CaffeNet 网络模型 。 ) 1 CaffeNet 模型的卷积核较大，用来识别水面倒影效果 较差，为了提取到更精确的水面特征，需要缩小卷积核的大 小，减小水面波纹和物体倒影的影响 大小进行调整实验，当卷积核大小为 影的识别情况最好，把第 层的卷积核大小改为 时对水面物体倒 层卷积核的 把第 9 × 9 。 1 9 × 9。 ) 2 CaffeNet 模型第 类效果比前面两层好［ 17 1 层和第 3 ］，第 层的特征提取能力和分 4 层和第 4 3 层的卷积核个数为 ，把第 层和第 384 型的特征提取能力 3 层的卷积核个数增加到 4 ，以增强模 398 。 第 4 层的分类效果要强于前面各层［ ］，在 18 ) CaffeNet 3 层与第 3 第 Inception module 使其增加网络的宽度和深度，从而提升该深度卷积网络模 层之间增加一层稀疏结构 4 ， 型性能 。 稀疏结构如图 所示 。 1 图 1 稀疏结构 卷积核，有降维 1 × 1 接下来进行卷积特征 。 中 1 × 1 卷积核， Inception module 和增强网络的特征提取能力的作用 提取， 5 × 5 卷积核，能将多尺度特征集合在一起，让后一层网络能同时 提取不同尺寸下的特征，增强网络特征提取能力 2 实验平台和数据 2． 1 实验平台 卷积核， 3 × 3 。 16 G cpu12 T7810 Python ，双核 MT4000 核心， 实验的深度神经网络搭建在 caffe 语言编程实现，工作站为戴尔 深度学习框架上，运 工作站，内存 用 ，显卡为 主频 自动 为 导航设备，船体前方顶部安装一部高度 清理船内部有 万像素监控摄像头，镜头可以小幅转动， 的海康 为 摄像机采集到水面垃圾图像后将图像传到工作站进行实时 处理 2． 2 样本采集 3． 4 G GPS 400 1 m 。 。 水面垃圾自动清理船图像采集地点在大型湖泊上，晴 天和阴天湖面状态有较大差异，需要采集到晴天和阴天不 同时刻大量的水面垃圾样本 。 。 。 为了提高水面垃圾识别的准确率，需要增加样本量和 样本种类 本实验中采集了大量垃圾样本以及对垃圾识别 水面漂浮的玻璃瓶子由于阳光 影响比较大的非垃圾样本 照射产生和波纹相似的反光，会对水面垃圾识别造成干扰， 所以将垃圾样本分为水面玻璃瓶子垃圾和生活垃圾 由于 水面环境复杂，水面桥梁 水面物体倒影和水面波纹变化等 、 均可能被识别为垃圾，所以将这些复杂环境样本做为非垃 圾样本进行学习和训练 2． 3 样本增强 。 。 剪切图像 、 扭曲图像特征 、 收集到各类样本各 在图像的深度学习中，为了丰富图像训练集，更好地提 取图像特征，泛化模型( 防止模型过拟合) ，将样本图像进行 数据增强，常用的方式: 旋转图像 改变图像色 差 改变图像尺寸大小和增强图像噪音［ 、 1 500 种类型的图片通过随机翻转 样本大小统一为 方式进行分配，得到的 子 。 张，然后进行数据增强，把每 颜色抖动等方式进行处理，把 、 样本增强后，把总图片按照 ︰ 4 1 水面瓶 水面物体倒影和水面波纹，每种类型样本用 、 组样本分别是水面桥梁 水面垃圾 、 256 × 256。 、 、 5 ］ 19 张作为训练， 张作为测试 。 300 1 200 3 实验分析 设计实验将 网络与改进 CaffeNet 框架中训练 caffe 比，均在 5 000 动量系数为 网络与改进 准确率和实验损失函数变化情况如图 ， CaffeNet 0． 9 CaffeNet 次，基础学习率均为 网络进行对 ， 0． 01 网络测试的 CaffeNet 所示 2 从图 ( 2 a ) 可知，三角型线条为 CaffeNet 随着迭代次数的增加，准确率逐渐上升， CaffeNet 变化曲线，圆点线条为改进后 曲线 络和改进 测试集准确率为 网络均 CaffeNet 3 000 ，改进 。 次左右收敛， 89． 29 % CaffeNet 。 网络的正确率 网络的正确率变化 网 网络 网络测试集识别率 CaffeNet CaffeNet 

251 传 感 器 与 微 系统 第 卷 38 幅图识别为水面生活垃圾的概率是 ，第 3 99． 93 % 第 4 幅图识别为水面物体倒影的概率是 识别为水面波纹的概率是 4 结 论 99． 93 % 96． 23 % ，识别都正确 。 ， 99． 89 % ，第 幅图 5 图 2 准确率和损失函数变化曲线 为 95． 75 % 。 ( 2 ) 是网络训练时损失函数( 图 值) 的变化图，可以看出随着训练次数的增多， Loss function b ( loss 逐步降低，当训练次数达到 ) 输出值 值 网络和改进 loss 3 000 次时， CaffeNet CaffeNet 网络均趋于稳定 。 使用修改后的模型对测试集进行测试得到新识别率， 同原模型识别率对比如表 所示 。 1 表 1 CaffeNet 改进前后识别率对比 总体 桥梁 玻璃瓶子 生活垃圾 倒影 % 波纹 识别方法 CaffeNet 89． 29 90． 43 91． 57 89． 96 81． 75 92． 74 改进 92． 12 97． 63 94． 27 96． 74 97． 97 瓶子 、 CaffeNet’ 95． 75 从测试结果中可以看出，增加稀疏结构的模型在识别 物体倒影和波纹上均得到提升，改进 水面桥梁 、 后的模型对倒影的识别率有较大的提升，下面分别用改进 种样本进行识别测试， 前后的 测试结果对比如图 模型随机对水面 5 ) 所示 垃圾 、 CaffeNet ) 和( ( 3 a b 。 图 3 CaffeNet 改进前后识别率对比 中，从左到右分别为模型改进前与改进后对水 在图 3 玻璃瓶子 、 面桥梁 模型改进前的测试结果显示，图( 生活垃圾 、 物体倒影和波纹的识别情况 、 。 幅识别为水面桥 ) 中第 a 1 幅图识别为水面生活垃圾的概率是 93． 87 % ，第 2 梁的概率是 ，第 97． 76 % 3 幅图识别为水面波纹的概率是 5 情况图识别都正确 第 。 4 圾和倒影本身的概率分别为 幅识别为水面玻璃瓶子的概率是 ，第 ，这几种水面复杂 幅图识别错误，将倒影识别为垃 ，这种错误 96． 61 % 96． 68 % 和 48． 96 % 43． 96 % 识别将对识别造成干扰 。 改进后测试结果显示，第 1 幅图是识别为水面桥梁的 概率是 98． 91 % ，第 2 幅图识别为水面玻璃瓶子的概率是 梁这 对水面瓶子 水面垃圾 、 水面倒影 、 水面波纹和水面桥 、 种较为复杂的水面情况进行识别，总识别率达到了 ，实验结果证明了运用深度卷积网络在水面垃圾识 95． 75% 别上有较好的效果，能够解决实际应用需求，具有很好的应 5 用前景 。 参考文献: ［ ］ 王斌 1 ． ］ 海面目标红外检测方法研究［ D ． 大连: 大连海事大学， 2018． ［ ］ 叶晓杰，赵巨峰，公晓丽，等 2 ． 基于边缘权重分析的水面弱目 ］ 标红外增强［ J ． 激光与红外， 2018 ( ) : 1 119 － 123． ［ ］ 李昀峰，周东，阮雅端，等 3 ． 抑制船尾拖纹的船舶显著性视频 ］ 检测方法［ J ． 北京邮电大学学报， 2017 ( ， 40 ) : S1 72 － 76． ［ ］ 李双双 4 ． ］ 内河视频监控中运动船舶检测算法研究［ D ． 大连: 大连海事大学， 2018． ［ ］ 薛萍 5 ． ］ 基于超像素特征表示的图像前景背景分割算法［ J ． 西 安科技大学学报， 2017 ( ) : 5 731 － 735． ［ ］ 方晶，冯顺山，冯源 6 ． 水面航行体对舰船目标的图像检测方 北京理工大学学报， ( ) : 12 1235 － 1240． 2017 背 景 纹 理 模 型 在 海 面 舰 船 目 标 检 测 中 的 应 用 研 ． 舰船科学技术， ， ， ＲOSE D C ( ) : 20 159 － 161． 2017 AＲEL I KAＲNOWSKI T P． Deep machine lear- ］ 法［ J ． ］ 魏 建 荣 ［ 7 ］ 究［ J ． ning—A new frontier in artificial intelligence research ． Computational Intelligence Magazine IEEE ［ Ｒesearch ， ， 2010 ］［ ］ J Frontier ( ) : 5 4 13 － 18． ， YU D DAHL G E ， DENG L ， et al． Context-dependent pre-trained ］ ［ ． J ， deep neural networks for large-vocabulary speech recognition IEEE Transactions on Audio Speech ＆ Language Processing ( ， 20 1 ) : 2012 30 － 42． ［ ］ 余乐，李阳光，陈岩，等 10 基于卷积神经网络的软硬触觉感知 ． ］ 方法研究［ J ． 传感器与微系统， ( ， 36 ) : 2017 35 － 37． ］ 深度学习研究综述［ J ． 6 北京工业大 ［ ］ 尹宝才，王文通，王立春 11 ． 学学报， 2015 ( ) : 1 48 － 59． ［ ］ 纪野，李玉惠，王蒙，等 12 基于卷积神经网络的车型识别方法 ． ］ 研究［ J ． 传感器与微系统， 2017 ( ， 36 11 ) : 42 － 43． ［ ］ 秦 子 亮，李 朝 锋 13 基 于 卷 积 神 经 网 络 的 胸 片 肺 野 自 动 分 ． ］ 割［ J ． 传感器与微系统， 2017 ［ ］ 14 KＲIZHEVSKY A ， SUTSKEVEＲ I ( 10 ) : ， 36 ， HINTON G E． ImageNet clas- 64 － 66． ［ ］ 8 ［ ］ 9 sification with deep convolutional neural networks national Conference on Neural Information Processing Systems Curran Associates Inc ， 2012 : 1097 － 1105． ［ ］ 15 HINTON G E ， SＲIAVSTAVA N ， KＲIZHEVSKY A ［ ］ C ∥ Inter- ， ， et al． Improving ］ ［ J ． neural networks by preventing co-adaptation of feature detectors Computer Science ， 2012 ， 3 ( 4 ) : 212 － 223． ( 下转第 156 页) 

651 传 感 器 与 微 系统 第 卷 38 ( 。 图 ) 为最终的柑橘区域提取效果，可以看 全分割开来 到椭圆拟合的效果较好与柑橘果实本身的轮廓重合度较高， 因此，将该区域识别为柑橘果实区域具有较高的准确率 h 6 。 20 统计了 文中所提到 表 A 角度下的识别准确率达 图 6 成熟柑橘分割识别效果 组柑橘树成熟柑橘的识别率( 其中包含了前 张) 的结果如 角度 ， B 角度下的识别准确率达 张， B 角度下的识别准确率达 A 所示，由表 7 可知 张， C 94． 7 % 角度 角度 7 6 1 1 96． 3 % ， C 92． 9 % ，三种不同角度下的平均准确识别率达 表 1 不同角度下的柑橘识别准确率 94． 72 % 。 拍摄角度 柑橘树图像数 识别准确率 / % 7 7 6 平均识别准确率 A B C 3 结 论 94． 7 96． 3 92． 9 94． 72 ，对成熟果实识别的准确率达 本文研究的柑橘树三维重建与成熟柑橘识别方法具有 较 高 的 稳 定 性 和 准 确 性，对 柑 橘 树 的 重 建 精度 达 到 由此说 94． 83 % 明，该方法能够保证柑橘树的重建精度和对成熟柑橘的识 别率，可以为柑橘采摘机器人提供采摘指导 参考文献: ］ 周小军 ［ 1 ． ］ 柑橘采摘机器人成熟果实定位及障碍物检测研究［ D ． 94． 72 % 。 。 镇江: 江苏大学， 2009． ［ ］ 郑立华，麦春艳，廖崴，等 2 ． 基于 ］ 云配准［ J ． 农业机械学报， ［ ］ 蔡健荣，孙海波，李永平，等 3 ． 2016 Kinect ， 47 5 ( 相机的苹果树三维点 ) : 9 － 14． 基于双目立体视觉的果树三维 农业机械学报， ］ 信息获取与重构［ J ． 农林作物三维重建方法研究进展［ ］ 刘刚，司永胜，冯娟 ］ ［ J ． 4 ． ， ( 45 业机械学报， 152 － 156． 农 ， 43 2012 2014 ) : ) : 3 6 ( ］ 李诗锐，李琪，李海洋，等 ［ ． 5 ， 27 软件学报， 建系统 2016 ． ］ 艾 达，倪 国 斌，王 苗，等 ［ ． 6 传感器与微系统， ， KOＲNPＲOBST P ］ 述［ J ． ［ ］ 7 PAＲIS S kinect v2 ) ， 2519 － 2529． 38 － 46． 基于 ( 10 基 于 ， 36 Kinect ( ) : 的实时精确三维重 的 三 维 重 建 技 术 综 8 2017 ， TUMBLIN J． Bilateral filtering 1 － 6． International Journal for Numerical Methods in Engineering ， 63 2009 BESL P J ) : 1911 － 1938． ( 13 ， MCKAY N D． A method for registration of 3D shapes ［ ］ 8 IEEE Transactions on Pattern Analysis ＆ Machine Intelligence ］ ［ J ． ， ］ ［ ． J ， ( ， 14 ) : 2 1992 239 － 256． ］ 刘涛，高媛，秦品乐，等 ［ ． 9 计算机应用研究， ］ 法［ J ． ， 基于点云增强优化的泊松重建算 ( ， 35 3 ) : 940 － 943． 2018 ［ ］ 10 ［ ］ 11 KAZHDAN M HOPPE H． Screened poisson surface reconstruc- ［ ］ J tion ． ACM Transactions on Graphics ， 2013 ， 32 ( 3 ) : NEWMAN T S ， YI H． A survey of the marching cubes algorithm Computers ＆ Graphics ， 2006 ， 30 ( 5 ) : 854 － 879． 1 － 13． ］ ［ J ． ［ 12 ］ 胡友呈 自然环境下柑橘采摘机器人的目标识别与定位方法 ． ］ 研究［ D ． 重庆: 重庆理工大学， 2018． ［ ］ 张艳邦，陈征，张芬，等 基于颜色和纹理特征的显著性检测 ］ 算法［ J ． 计算机应用研究， ( ， 32 ) : ［ ］ 唐丽玉，张浩，黄洪宇，等 2015 基于点云数据的树木三维重建方 284 － 286． 1 ． ． 13 14 ］ 法改进［ J ． 农业机械学报， ( ) : 2 191 － 199． 2017 作者简介: 熊龙烨( 1995 － 器视觉， : 杨长辉( 与机器视觉 。 1976 － ) ，男，硕士研究生，研究方向为三维重建与机 E—mail 940685674@ qq． com。 ) ，男，博士研究生，研究方向为智能农业机械 檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸 ( 上接第 149 页) ， SHAMSHIＲSAZ M． Electrospinning / ［ ， LATIFI M MOKHTAＲI F ［ ］ ］ ) : 14 ( ， ZHANG L M ， WANG C B ， et al． Structural ， dielectric and electrospray of polyvinylidene fluoride LI S B 12 nanofibers ． Journal of The Textile Institute ［ ］ J PVDF ， 2016 Piezoelectric ， ) : 107 8 ( ferroelectric properties of lead-free Ba0． 85 Ca0． 15 Zr0． 10 Ti0． 90 O3 ceram- ics prepared by plasma activated sintering ． Ceramics Interna- 1037 － 1055． ［ ］ J tional ( ， 42 ， 2016 ， ) : ， ， 16 18585 － 18591． ［ ］ 13 FU Ｒ F CHEN S LIN Y et al． Preparation and piezoelectric ) ，女，硕士研究生，研究方向为压电及柔性电 1991 － 作者简介: 胡海燕( 子的研究 。 王 英( investigation of ［ ］ J ) : membrane ( ， 16 2016 12 12337 － 12343． electrospun polyvinylidene fluoride fibrous ， ． Journal of Nanoscience and Nanotechnology 1976 － ) ，女，通讯作者，副教授，主要从事纳米材料制 备与纳米加工技术研究工作， E—mail : wangying@ sjtu． edu． cn 。 檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸檸 ( 上接第 152 页) ) ，男，硕士研究生，研究方向为目标识别，深度 ［ 向 伟( 1994 － 学习 ］ ， 16 LIU F SHEN C． Learning deep convolutional features for MＲI- ) ，女，通讯作者，博士，副教授，主要研究领域 based Alzheimer’s disease classification EB / OL ［ ］ ． ［ 2017—04— 。 史晋芳( 1977 － 为机器视觉工程， 603071939@ qq． com。 ∥ www． researchgate． net / publication /261636125 _ 刘桂华( ) ，女，博士，教授，主要研究领域为图像处理 ］ 30 ． https : Learning_Deep_Convolutional_Features_for_MＲI_Based_Alzhei- 三维重建 徐 锋( ) ，男，博士，讲师，主要研究领域为机器视觉 、 、 mer＇s_Disease_Classification． 作者简介: 1972 － 、SLAM。 1985 － 三维测量 。