基於深度學習的船艦識別系統
一种基于轮廓强化的迁移学习船舰识别方法
陈志华(學號 XXXXXX)
摘要
随着内河运输需求的增加,水路运输的安全性也受到重视。如何在内河水路运输建
立一套船舰识别系统,自动化识别船舰类型和状态是重要的议题之一。有鉴于此,本研
究提出一套船舰识别系统,包含智能桥墎设备和船舰识别服务器。其中,船舰识别服务
器主要包含轮廓强化方法和迁移学习船舰识别方法;可分析智能桥墎设备传送的船舰影
像时,将实时运用轮廓强化方法强化影像中的轮廓特征,再运用迁移学习船舰识别方法
进行影像识别,判断船舰类型。由实验结果显示,运用轮廓强化后影像,搭配残差网络
的迁移学习模型能得到较高的船舰识别识别正确率;正确率可以达到 97.79%。
关键词:船舰识别、轮廓强化、迁移学习、卷积神经网络
1.前言
随着运输需求的增加,内河的运输量也快速增加,并且长江干线的货运量已
经连续多年蝉联世界内河运输量的第一名。根据交通运输部的统计资料指出:
2018 的货运量和货物周转量已经分别达到 702,684 万吨和 990,528,155 万吨公里,
并且每年货运量和货物周转量仍不断在增加,如表 1 所示(交通运输部,2020)。
然而,由于内河的运输需求仍持续增加,而运输业者为提升收益有可能用较少的
船舰来运输较多的旅客或货物,并可能发生超载的情况。由于超载将可能造成船
舰的翻覆,将可能威胁到旅客生命安全和货物损失的风险。因此,如何在内河水
路运输建立一套船舰识别系统,自动化识别船舰类型、船舰号码、以及船舰载重
等信息是目前急需解决的重要议题。
表 1 水路交通运输量统计表(交通运输部,2020)
年份*
货运量(万吨)
2018 年
2017 年
2015 年
2014 年
702,684
665,719
613,567
598,283
货物周转量
(万吨公里)
990,528,155
974,549,696
917,724,507
927,745,556
客运量(万人)
27,981
28,358
27,072
26,293
旅客周转量
(万人公里)
795,742
778,920
730,840
743,413
*备注:交通运输部未统计 2016 年水路交通运输量
- 1 -
基於深度學習的船艦識別系統
近年来在影像识别技术上,卷积神经网络和深度神经网络模型(LeCun,
Bengio, & Hinton, 2015)取得了卓越的表现成果,包含视觉几合组网络(Visual
Geometry Group Network, VGGNet)(Simonyan & Zisserman, 2015) 、 残 差 网 络
(Residual Network, ResNet)(He, Zhang, Ren, & Sun, 2016)、密集卷积网络(Densely
Connected Convolutional Networks, DenseNet)(Huang, Liu, Weinberger, & van der
Maaten, 2017)等神经网络模型的提出和提升影像识别正确率。其中,VGG 网络
经由深度模型来提取影像特征;残差网络为解决梯度消失问题运用跨层的方式来
连结,可有效提升正确度;以及密集卷积网络可建立每一层之间的连结,进一步
来将输入信息传递到每一层隐藏层中进行分析。虽然这些算法可以经由深度神经
网络模型来萃取出影像特征,但如果一开始输入的影像特征不明显时,将可能造
成较大的误判率。
有鉴于此,本研究提出一套船舰识别系统,包含(1) 智能桥墎设备和(2) 船
舰识别服务器,系统架沟图如图 1 所示。其中,智慧桥墎设备主要布置在长江上
的各个桥墎上,运用影像撷取模块,实时拍下经过的船舰,并且经由网络服务(web
services)模块将船舰影像传到船舰识别服务器进行后续分析。船舰识别服务器主
要包含轮廓强化方法和迁移学习船舰识别方法;当收到智能桥墎设备传送的船舰
影像时,将实时运用轮廓强化方法强化影像中的轮廓特征,再运用迁移学习船舰
识别方法进行影像识别,判断船舰类型。本研究的主要贡献包含两点:
(1). 提出一套轮廓强化方法,运用轮廓强化方法强化船舰影像中的轮廓特
征,提升影像识别正确率。
(2). 提出一套迁移学习船舰识别方法,将迁移学习算法应用于船舰识别,分
析轮廓强化后的船舰影像,自动化判断船舰类型。
图 1 系统架构
- 2 -
基於深度學習的船艦識別系統
此论文以下分为五个章节,在第二节将探讨深度学习应用于影像识别相关的
技术背景。第三节说明本研究所提出之基于轮廓强化的迁移学习船舰识别方法。
第四节则针对本研究提出之系统与方法进行实证和分析。最后一节则说明此论文
之结论与未来研究方向。
2.文献探讨
本节将先介绍卷积神经网络相关概念和技术,并且说明和讨论视觉几合组网
络 (Visual Geometry Group Network, VGGNet) 、 残 差 网 络 (Residual Network,
ResNet)、密集卷积网络(Densely Connected Convolutional Networks, DenseNet)等
进阶卷积神经网络方法。
2.1 卷积神经网络
卷积神经网络主要将包含输入层、卷积层、池层、全链接神经网络层、以及
输出层,如图 2 所示。在卷积层中将包含多个过滤器(filter),经由过滤器萃取出
影像中的特征,并且可以经由多层的卷积层来萃取多维度的空间特征。并且经由
池层进行数据降维,减少运算量,再把萃取后的特征输入至全链接神经网络层和
输出层进行分类(Lee, Eum, & Kwon, 2020; Wang, Huang, & Liu, 2020)。
图 2 卷积神经网络
- 3 -
基於深度學習的船艦識別系統
2.2 VGG 网络
VGG 网络是在 2015 年由牛津大学视觉几合组网络所提出的卷积神经网络模
型,主要包含 16 层的卷积层,运用 3x3 大小的卷积核经由多层的卷积运算来萃
取影像特征(Simonyan & Zisserman, 2015; Luo, Zhang, Zhou, Xie, Wu, & Lin, 2019;
Mai, Cao, Yuen, & Jain, 2019),如图 3 所示。VGG 网络虽然可以透过多层的卷积
运算取得特征,但随着神经网络深度的增加,将可能因为接近输入层的卷积层距
离输出层中间间隔太多层,而造成在倒传递修正权重时梯度变得太小,而发生梯
度消失的情况,无法收敛到较好的影像分辨率。
图 3
VGG 网络
2.3 残差网络
有鉴于随着网络深度增加时,导致的梯度消失问题。何博士在 2016 年提出
残差网络,经由跨层连结建立短路连接(shortcut connection)来训练残差,让倒传
递修正权重时梯度不会变小(He, Zhang, Ren, & Sun, 2016),如图 4 所示。由于残
差网络经由学习残差的方式来避免梯度消失问题,所以可以训练更深层的网络结
构,萃取出更高维度更复杂的影像特征,进而提升影像识别的正确率(You, Zhang,
Hsieh, Demmel, & Keutzer, 2019; Verma, Vipparthi, Singh, & Murala, 2020)。
2.4 密集卷积网络
为解决梯度消失问题,黄教授在 2017 年提出密集卷积网络,让每一层和其
- 4 -
基於深度學習的船艦識別系統
他每一层都进行连结。密集卷积网络可以让输入层信息也传递到接近输出层的卷
积层,让输出层可依据输入层信息进行权重修正;此外,倒传递修正权重时梯度
也不会消失(Huang, Liu, Weinberger, & van der Maaten, 2017; Huang, Liu, Pleiss,
van der Maaten, & Weinberger, 2019; Liao, Drummond, Reid, & Carneiro, 2020)。
图 4 残差网络
图 5 密集卷积网络
- 5 -
基於深度學習的船艦識別系統
3.基于轮廓强化的迁移学习船舰识别方法
本研究提出一套基于轮廓强化的迁移学习船舰识别方法,其中主要将先经由
网络服务接收来自智能桥墎设备的船舰影像,运用本研究提出的轮廓强化方法来
强化船舰影像中的轮廓特征,再将轮廓强化后的影像输入至迁移学习船舰识别方
法进行影像识别,取得船型类别。基于轮廓强化的迁移学习船舰识别方法之方法
流程如图 6 所示,将于 3.1 节描述轮廓强化方法,在 3.2 节说明迁移学习船舰识
别方法。
图 6 方法流程
3.1 轮廓强化方法
本研究提出的轮廓强化方法主要将分析相邻像素的色彩值,并且设定一个门
坎值 d,当相邻像素的色彩值差异大于门坎值 d 时,则认定为轮廓,详述如下。
3.1.1 轮廓侦测算法
假设原始影像
C
c
1,1,1
,
,
c
,
,
x y k
,
,
c
,
m n
,3
为一个 m n 大小的彩色影像,具有
,
,
,
i jc 、蓝色色彩值为 ,
,2
,3
红绿蓝(RGB)三个颜色的组合(如图 7 所示);其中,像素位置(i, j)的红色色彩值为
i jc 、绿色色彩值为 ,
d 判
,1
,
i j kc 色彩值的差异是否大于门坎值 d,如公式(1)所示。再运用公
c 色彩值和 ,
断 ,
,
x y k
式(2),判断目标像素(即像素位置(x, y))的左上像素、上方像素、右上像素、左方
像素、右方像素、左下像素、下方像素、以及右下像素是否有大于门坎值 d。如
果有大于门坎值 d,则代表是轮廓,设定像素位置(x, y)为黑色;如果没有大于门
i jc 。可以运用函数
f c
c
,
,
i j k
,
,
x y k
- 6 -
基於深度學習的船艦識別系統
坎值 d,则代表不是轮廓,设定像素位置(x, y)为白色;依此建立轮廓影像
C
(如图 8 所示),算法如表 2 所示。
c
c
,
,
,
,
,
,
x y k
c
1,1,1
,3
,
m n
(1)
(2)
n
f c
,
c
,
,
i j k
,
d
,
,
x y k
c
0, if
1, otherwise
,
,
x y k
c
,
,
i j k
d
x m
1
, 1
y
n
, 1
k
3
, 1
y
c
,
,
x y k
1
y
1
j y
1
x
1
i x
0, if
255, otherwise
x m
1
3
k
1
f c
,
c
,
,
i j k
,
d
,
,
x y k
0
图 7 原图
图 8 轮廓
- 7 -
表 2 轮廓侦测算法
,3
,
c
,3
,
m n
c
,
m n
,
,
,
,
,
x y k
c
,
,
x y k
,
c
c
,
,
i j k
d
then f = 0
基於深度學習的船艦識別系統
Input:
,
C
,
c
1,1,1
C
c
1,1,1
,
Output:
(1). for x = 2 to m – 1
(2).
(3).
(4).
(5).
(6).
(7).
(8).
(9).
(10).
(11).
(12).
(13).
(14).
(15).
(16).
(17).
(18).end for
end for
if
0
g
else
c
else if
end for
for y = 2 to n – 1
1g
for i = x – 1 to x + 1
for j = y – 1 to y + 1
for k = 1 to 3
c
if
,
,
x y k
else f = 1
else if
g
g
end for
f
end for
c
, =0
,
x y k
then
, =255
,
x y k
3.1.2 轮廓强化算法
本研究提出的轮廓强化算法将运用公式(3),判断目标像素(即像素位置(x, y))
的左上像素、上方像素、右上像素、左方像素、右方像素、左下像素、下方像素、
以及右下像素是否有大于门坎值 d。如果有大于门坎值 d,则代表是轮廓,设定
像素位置(x, y)为黑色;如果没有大于门坎值 d,则代表不是轮廓,设定像素位置
(如图 9
(x, y)为原始影像的颜色。依此建立轮廓影像
C
c
c
,
,
,
,
,
,
x y k
,3
,
m n
c
1,1,1
所示),算法如表 3 所示。轮廓强化算法可以侦测出轮廓特征,并且可以保留原
始影像的色彩特征,以提升影像识别正确率。
c
,
,
x y k
0, if
c
,
,
x y k
1
x
1
i x
1
y
1
j y
, otherwise
3
k
f c
1
,
c
,
,
i j k
,
d
,
,
x y k
0
- 8 -
x m
1
, 1
y
n
(3)