logo资料库

一种基于轮廓强化的迁移学习船舰识别方法.doc

第1页 / 共17页
第2页 / 共17页
第3页 / 共17页
第4页 / 共17页
第5页 / 共17页
第6页 / 共17页
第7页 / 共17页
第8页 / 共17页
资料共17页,剩余部分请下载后查看
基於深度學習的船艦識別系統 一种基于轮廓强化的迁移学习船舰识别方法 陈志华(學號 XXXXXX) 摘要 随着内河运输需求的增加,水路运输的安全性也受到重视。如何在内河水路运输建 立一套船舰识别系统,自动化识别船舰类型和状态是重要的议题之一。有鉴于此,本研 究提出一套船舰识别系统,包含智能桥墎设备和船舰识别服务器。其中,船舰识别服务 器主要包含轮廓强化方法和迁移学习船舰识别方法;可分析智能桥墎设备传送的船舰影 像时,将实时运用轮廓强化方法强化影像中的轮廓特征,再运用迁移学习船舰识别方法 进行影像识别,判断船舰类型。由实验结果显示,运用轮廓强化后影像,搭配残差网络 的迁移学习模型能得到较高的船舰识别识别正确率;正确率可以达到 97.79%。 关键词:船舰识别、轮廓强化、迁移学习、卷积神经网络 1.前言 随着运输需求的增加,内河的运输量也快速增加,并且长江干线的货运量已 经连续多年蝉联世界内河运输量的第一名。根据交通运输部的统计资料指出: 2018 的货运量和货物周转量已经分别达到 702,684 万吨和 990,528,155 万吨公里, 并且每年货运量和货物周转量仍不断在增加,如表 1 所示(交通运输部,2020)。 然而,由于内河的运输需求仍持续增加,而运输业者为提升收益有可能用较少的 船舰来运输较多的旅客或货物,并可能发生超载的情况。由于超载将可能造成船 舰的翻覆,将可能威胁到旅客生命安全和货物损失的风险。因此,如何在内河水 路运输建立一套船舰识别系统,自动化识别船舰类型、船舰号码、以及船舰载重 等信息是目前急需解决的重要议题。 表 1 水路交通运输量统计表(交通运输部,2020) 年份* 货运量(万吨) 2018 年 2017 年 2015 年 2014 年 702,684 665,719 613,567 598,283 货物周转量 (万吨公里) 990,528,155 974,549,696 917,724,507 927,745,556 客运量(万人) 27,981 28,358 27,072 26,293 旅客周转量 (万人公里) 795,742 778,920 730,840 743,413 *备注:交通运输部未统计 2016 年水路交通运输量 - 1 -
基於深度學習的船艦識別系統 近年来在影像识别技术上,卷积神经网络和深度神经网络模型(LeCun, Bengio, & Hinton, 2015)取得了卓越的表现成果,包含视觉几合组网络(Visual Geometry Group Network, VGGNet)(Simonyan & Zisserman, 2015) 、 残 差 网 络 (Residual Network, ResNet)(He, Zhang, Ren, & Sun, 2016)、密集卷积网络(Densely Connected Convolutional Networks, DenseNet)(Huang, Liu, Weinberger, & van der Maaten, 2017)等神经网络模型的提出和提升影像识别正确率。其中,VGG 网络 经由深度模型来提取影像特征;残差网络为解决梯度消失问题运用跨层的方式来 连结,可有效提升正确度;以及密集卷积网络可建立每一层之间的连结,进一步 来将输入信息传递到每一层隐藏层中进行分析。虽然这些算法可以经由深度神经 网络模型来萃取出影像特征,但如果一开始输入的影像特征不明显时,将可能造 成较大的误判率。 有鉴于此,本研究提出一套船舰识别系统,包含(1) 智能桥墎设备和(2) 船 舰识别服务器,系统架沟图如图 1 所示。其中,智慧桥墎设备主要布置在长江上 的各个桥墎上,运用影像撷取模块,实时拍下经过的船舰,并且经由网络服务(web services)模块将船舰影像传到船舰识别服务器进行后续分析。船舰识别服务器主 要包含轮廓强化方法和迁移学习船舰识别方法;当收到智能桥墎设备传送的船舰 影像时,将实时运用轮廓强化方法强化影像中的轮廓特征,再运用迁移学习船舰 识别方法进行影像识别,判断船舰类型。本研究的主要贡献包含两点: (1). 提出一套轮廓强化方法,运用轮廓强化方法强化船舰影像中的轮廓特 征,提升影像识别正确率。 (2). 提出一套迁移学习船舰识别方法,将迁移学习算法应用于船舰识别,分 析轮廓强化后的船舰影像,自动化判断船舰类型。 图 1 系统架构 - 2 -
基於深度學習的船艦識別系統 此论文以下分为五个章节,在第二节将探讨深度学习应用于影像识别相关的 技术背景。第三节说明本研究所提出之基于轮廓强化的迁移学习船舰识别方法。 第四节则针对本研究提出之系统与方法进行实证和分析。最后一节则说明此论文 之结论与未来研究方向。 2.文献探讨 本节将先介绍卷积神经网络相关概念和技术,并且说明和讨论视觉几合组网 络 (Visual Geometry Group Network, VGGNet) 、 残 差 网 络 (Residual Network, ResNet)、密集卷积网络(Densely Connected Convolutional Networks, DenseNet)等 进阶卷积神经网络方法。 2.1 卷积神经网络 卷积神经网络主要将包含输入层、卷积层、池层、全链接神经网络层、以及 输出层,如图 2 所示。在卷积层中将包含多个过滤器(filter),经由过滤器萃取出 影像中的特征,并且可以经由多层的卷积层来萃取多维度的空间特征。并且经由 池层进行数据降维,减少运算量,再把萃取后的特征输入至全链接神经网络层和 输出层进行分类(Lee, Eum, & Kwon, 2020; Wang, Huang, & Liu, 2020)。 图 2 卷积神经网络 - 3 -
基於深度學習的船艦識別系統 2.2 VGG 网络 VGG 网络是在 2015 年由牛津大学视觉几合组网络所提出的卷积神经网络模 型,主要包含 16 层的卷积层,运用 3x3 大小的卷积核经由多层的卷积运算来萃 取影像特征(Simonyan & Zisserman, 2015; Luo, Zhang, Zhou, Xie, Wu, & Lin, 2019; Mai, Cao, Yuen, & Jain, 2019),如图 3 所示。VGG 网络虽然可以透过多层的卷积 运算取得特征,但随着神经网络深度的增加,将可能因为接近输入层的卷积层距 离输出层中间间隔太多层,而造成在倒传递修正权重时梯度变得太小,而发生梯 度消失的情况,无法收敛到较好的影像分辨率。 图 3 VGG 网络 2.3 残差网络 有鉴于随着网络深度增加时,导致的梯度消失问题。何博士在 2016 年提出 残差网络,经由跨层连结建立短路连接(shortcut connection)来训练残差,让倒传 递修正权重时梯度不会变小(He, Zhang, Ren, & Sun, 2016),如图 4 所示。由于残 差网络经由学习残差的方式来避免梯度消失问题,所以可以训练更深层的网络结 构,萃取出更高维度更复杂的影像特征,进而提升影像识别的正确率(You, Zhang, Hsieh, Demmel, & Keutzer, 2019; Verma, Vipparthi, Singh, & Murala, 2020)。 2.4 密集卷积网络 为解决梯度消失问题,黄教授在 2017 年提出密集卷积网络,让每一层和其 - 4 -
基於深度學習的船艦識別系統 他每一层都进行连结。密集卷积网络可以让输入层信息也传递到接近输出层的卷 积层,让输出层可依据输入层信息进行权重修正;此外,倒传递修正权重时梯度 也不会消失(Huang, Liu, Weinberger, & van der Maaten, 2017; Huang, Liu, Pleiss, van der Maaten, & Weinberger, 2019; Liao, Drummond, Reid, & Carneiro, 2020)。 图 4 残差网络 图 5 密集卷积网络 - 5 -
基於深度學習的船艦識別系統 3.基于轮廓强化的迁移学习船舰识别方法 本研究提出一套基于轮廓强化的迁移学习船舰识别方法,其中主要将先经由 网络服务接收来自智能桥墎设备的船舰影像,运用本研究提出的轮廓强化方法来 强化船舰影像中的轮廓特征,再将轮廓强化后的影像输入至迁移学习船舰识别方 法进行影像识别,取得船型类别。基于轮廓强化的迁移学习船舰识别方法之方法 流程如图 6 所示,将于 3.1 节描述轮廓强化方法,在 3.2 节说明迁移学习船舰识 别方法。 图 6 方法流程 3.1 轮廓强化方法 本研究提出的轮廓强化方法主要将分析相邻像素的色彩值,并且设定一个门 坎值 d,当相邻像素的色彩值差异大于门坎值 d 时,则认定为轮廓,详述如下。 3.1.1 轮廓侦测算法 假设原始影像  C c 1,1,1 ,  , c , , x y k ,  , c , m n ,3  为一个 m n 大小的彩色影像,具有 , , , i jc 、蓝色色彩值为 , ,2 ,3 红绿蓝(RGB)三个颜色的组合(如图 7 所示);其中,像素位置(i, j)的红色色彩值为  i jc 、绿色色彩值为 , d 判 ,1 , i j kc 色彩值的差异是否大于门坎值 d,如公式(1)所示。再运用公 c 色彩值和 , 断 , , x y k 式(2),判断目标像素(即像素位置(x, y))的左上像素、上方像素、右上像素、左方 像素、右方像素、左下像素、下方像素、以及右下像素是否有大于门坎值 d。如 果有大于门坎值 d,则代表是轮廓,设定像素位置(x, y)为黑色;如果没有大于门 i jc 。可以运用函数  f c c , , i j k , , x y k - 6 -
基於深度學習的船艦識別系統 坎值 d,则代表不是轮廓,设定像素位置(x, y)为白色;依此建立轮廓影像 C (如图 8 所示),算法如表 2 所示。 c c  , ,  ,  ,  , , x y k   c 1,1,1  ,3 , m n  (1) (2) n  f c , c , , i j k , d , , x y k  c  0, if    1, otherwise  , , x y k c , , i j k  d    x m 1 , 1   y n , 1   k 3 , 1   y c , , x y k          1 y  1 j y   1 x  1 i x   0, if 255, otherwise    x m 1 3 k 1   f c , c , , i j k , d , , x y k   0 图 7 原图 图 8 轮廓 - 7 -
表 2 轮廓侦测算法  ,3 , c  ,3 , m n  c , m n ,  , ,   , , x y k c , , x y k , c c , , i j k  d then f = 0 基於深度學習的船艦識別系統 Input: ,  C , c  1,1,1    C c 1,1,1 , Output:  (1). for x = 2 to m – 1 (2). (3). (4). (5). (6). (7). (8). (9). (10). (11). (12). (13). (14). (15). (16). (17). (18).end for end for if 0 g  else c else if end for for y = 2 to n – 1 1g  for i = x – 1 to x + 1 for j = y – 1 to y + 1 for k = 1 to 3 c if  , , x y k else f = 1 else if g g   end for f end for c  , =0 , x y k then  , =255 , x y k 3.1.2 轮廓强化算法 本研究提出的轮廓强化算法将运用公式(3),判断目标像素(即像素位置(x, y)) 的左上像素、上方像素、右上像素、左方像素、右方像素、左下像素、下方像素、 以及右下像素是否有大于门坎值 d。如果有大于门坎值 d,则代表是轮廓,设定 像素位置(x, y)为黑色;如果没有大于门坎值 d,则代表不是轮廓,设定像素位置 (如图 9 (x, y)为原始影像的颜色。依此建立轮廓影像 C c c , , , ,     , , x y k  ,3 , m n   c 1,1,1  所示),算法如表 3 所示。轮廓强化算法可以侦测出轮廓特征,并且可以保留原 始影像的色彩特征,以提升影像识别正确率。 c , , x y k       0, if c , , x y k 1 x  1 i x      1 y  1 j y   , otherwise 3 k  f c 1  , c , , i j k , d , , x y k   0 - 8 -    x m 1 , 1   y n (3)
分享到:
收藏