(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201911105622.X(22)申请日 2019.11.13(71)申请人 国网福建省电力有限公司漳州供电公司地址 363000 福建省漳州市芗城区胜利东路13号 申请人 国网福建省电力有限公司(72)发明人 游林旭 黄炜宏 杨高光辉 洪景阳 李鸿南 王丽洁 王炳金 林佳炜 林培勇 王瑞贤 (74)专利代理机构 厦门市首创君合专利事务所有限公司 35204代理人 张松亭 吴晓梅(51)Int.Cl.G06K 9/62(2006.01)G06N 3/04(2006.01) (54)发明名称一种电力巡检图像智能识别方法(57)摘要本发明公开了一种电力巡检图像智能识别系统,采用基于深度学习的图像识别算法,融合多种深度卷积神经网络模型,主干网络基于FPN方法,覆盖各种尺寸物体,RPN输出薄征层加速模型推理,头部使用单层的RCNN子网络,减少权重,避免过拟合,采用在线困难样本挖掘技术,强化对于困难样本的检测能力,根据数据集特点,实现数据增强和详细的参数分析与对比试验。它具有如下优点:充分利用巡检大数据,实现图像自动识别分类,减轻运维人员的工作量,提高工作效率。权利要求书1页 说明书4页 附图1页CN 110969192 A2020.04.07CN 110969192 A
1.一种电力巡检图像智能识别系统,其特征在于:采用基于深度学习的图像识别算法,融合多种深度卷积神经网络模型,主干网络基于FPN方法以覆盖各种尺寸物体,RPN输出薄征层加速模型推理,头部使用单层的RCNN子网络,减少权重,避免过拟合,采用在线困难样本挖掘技术,强化对于困难样本的检测能力,根据数据集特点,实现数据增强和详细的参数分析与对比试验。2.根据权利要求1所述的一种电力巡检图像智能识别系统,其特征在于:电力巡检图像智能识别系统架构分为算法层、模型层、学习与训练层、数据层,算法层采用深度学习算法,模型层使用神经网络模型库,学习与训练层包括缺陷识别模型增强学习模块和深度学习训练平台,数据层包括巡检原始数据库、缺陷数据库、智能分析样本库、测试与验证库。3.根据权利要求2所述的一种电力巡检图像智能识别系统,其特征在于:新数据经过标准测试库自动识别标注隐患点后,再由人工对标注结果进行审核,对标注进行规范化处理,形成新增样本进入标准训练样本库,生成的数据集提供给深度学习训练平台形成新模型,标准测试库采用新模型对新数据进行标注来对新模型进行测试,如此完成自主学习流程,持续提高模型准确性。4.根据权利要求3所述的一种电力巡检图像智能识别系统,其特征在于:融合了Mxnet、Caffe、Tensorflow、DarkNet主流深度学习框架,构建了电力巡检图像深度学习训练平台。5.根据权利要求3或4所述的一种电力巡检图像智能识别系统,其特征在于:该深度卷积神经网络模型包括Zfnet、VGG、Alexnet、ResNet。权 利 要 求 书1/1页2CN 110969192 A2
一种电力巡检图像智能识别方法技术领域[0001]本发明涉及电力智能巡检领域,具体涉及一种电力巡检图像智能识别方法。背景技术[0002]电力系统巡检图像智能化处理存在很多因素的影响,存在很多问题需要克服,如绝缘子自爆伞裙特征不显著、复合绝缘子脏污色彩差异较大、导线和断股区域与背景相似、杆塔锈蚀不显著且区域较小、防震锤区域像素数及占比过小、枯草与鸟巢特征相似等,导致这一领域没有取得太多技术突破,也没有成熟的工具出现。目前的电力巡检图像处理技术很难满足检测准确度的需求,因此必须结合巡检图像的特性,引入人工智能等先进技术进行深入探索和攻关,实现对巡检图像进行状态检测,高度准确定位安全隐患点和故障点,进而引导检修队伍快速开展线路维护,能够降低检修工作人员劳动强度,缩短巡检周期,提高输电线路和变电站运维检修能力,保障电网稳定运行提供有力的信息技术支撑,全面提升电网业务智能化和管理精益化。[0003]综上所述,如何提供一种电力巡检图像智能识别方法,能够满足巡检图像检测准确度的要求,实现智能状态监测,是目前本领域技术人员亟待解决的问题之一。发明内容[0004]本发明提供了一种电力巡检图像智能识别方法,其克服了背景技术中目前的电力巡检图像处理技术很难满足检测准确度的需求的缺点。[0005]本发明解决其技术问题所采用的技术方案是:[0006]一种电力巡检图像智能识别系统,采用基于深度学习的图像识别算法,融合多种深度卷积神经网络模型,主干网络基于FPN方法,覆盖各种尺寸物体,RPN输出薄征层加速模型推理,头部使用单层的RCNN子网络,减少权重,避免过拟合,采用在线困难样本挖掘技术,强化对于困难样本的检测能力,根据数据集特点,实现数据增强和详细的参数分析与对比试验。[0007]一实施例之中:电力巡检图像智能识别系统架构分为算法层、模型层、学习与训练层、数据层,算法层采用深度学习算法,模型层使用神经网络模型库,学习与训练层包括缺陷识别模型增强学习模块和深度学习训练平台,数据层包括巡检原始数据库、缺陷数据库、智能分析样本库、测试与验证库。[0008]一实施例之中:新数据经过标准测试库自动识别标注隐患点后,再由人工对标注结果进行审核,对标注进行规范化处理,形成新增样本进入标准训练样本库,生成的数据集提供给深度学习训练平台形成新模型,标准测试库采用新模型对新数据进行标注来对新模型进行测试,如此完成自主学习流程,持续提高模型准确性。[0009]一实施例之中:融合了Mxnet、Caffe、Tensorflow、DarkNet主流深度学习框架,构建了电力巡检图像深度学习训练平台。[0010]一实施例之中:该深度卷积神经网络模型包括Zfnet、VGG、Alexnet、ResNet。说 明 书1/4页3CN 110969192 A3
[0011]本技术方案与背景技术相比,它具有如下优点:[0012]该系统具备巡检图像缺陷智能分析能力、图像自动分类能力、训练样本筛选及样本标注能力、缺陷特征学习与训练能力等。建立基于数据驱动的深度网络特征学习训练系统,完成数据更新和模型更新的闭环,可以随着时间的积累充分利用历史数据和将数据充分挖掘,形成从缺陷发现到缺陷图像入库,再到模型自学习训练更新的闭环系统,可以充分利用巡检大数据,实现图像自动识别分类,减轻运维人员的工作量,提高工作效率。附图说明[0013]图1为基于深度学习的图像识别自主学习流程。具体实施方式[0014]一种电力巡检图像智能识别系统,采用基于深度学习的图像识别算法,融合多种深度卷积神经网络模型,电力巡检图像智能识别系统架构分为算法层、模型层、学习与训练层、数据层,算法层采用深度学习算法,模型层使用神经网络模型库,学习与训练层包括缺陷识别模型增强学习模块和深度学习训练平台,数据层包括巡检原始数据库、缺陷数据库、智能分析样本库、测试与验证库。[0015]请查阅图1,新数据经过标准测试库自动识别标注隐患点后,再由人工对标注结果进行审核,对标注进行规范化处理,形成新增样本进入标准训练样本库,生成的数据集提供给深度学习训练平台形成新模型,标准测试库采用新模型对新数据进行标注来对新模型进行测试,如此完成自主学习流程,持续提高模型准确性。[0016]该系统融合了Mxnet、Caffe、Tensorflow、DarkNet主流深度学习框架,构建了电力巡检图像深度学习训练平台。[0017]该系统融合了多种,深度卷积神经网络模型,包括Zfnet、VGG、Alexnet、ResNet。[0018]本案所述的基于深度学习的图像识别算法相比常用的Faster R-CNN等检测算法具有如下不同:主干网络基于FPN方法,覆盖各种尺寸物体,RPN输出薄征层加速模型推理,头部使用单层的RCNN子网络,减少权重,避免过拟合,采用在线困难样本挖掘技术,强化对于困难样本的检测能力,根据数据集特点,实现数据增强和详细的参数分析与对比试验。[0019]具体实现过程为:(1)引入全局上下文信息模块,全局上下文信息被广泛的应用到了分类任务中,分类网络的最后都会使用一个全连接层,因此能将全局的特征同时用于推理。使用可分离的大卷积来高效的为检测网络带来更大的感受野,同时设计了轻量级的全局上下文信息模块,通过引入较小的中间通道数,可分离的大卷积复杂度能够得到更加灵活的控制。(2)将用于RoI池化的特征层变薄,即先把RoI Pooling使用的特征图通道压缩到很小,一方面压小了特征图的通道数可以提升RoI池化的效率,另一方面也能减小R-CNN部分输入特征图的通道数大小,从而达到加速R-CNN的目的。(3)使用轻量级R-CNN的设计,不同于Faster R-CNN使用两个强力的全连接层对每个候选框进行回归和分类,在该算法中,R-CNN只使用了一个全连接层。通过结合“RoI池化的薄特征层”,两阶段的物体检测器的第二个阶段真正达到了低耗时,从而达到整个网络加速的目的。(4)针对隐患存在遮挡的情况,使用随机cutout技术进行数据增强,使模型能够学习到遮挡情况下的隐患特征;针对每张图片中隐患较少的问题,调低RPN网络中的前景背景的分解阈值保证类别均衡。说 明 书2/4页4CN 110969192 A4
[0020]该方法结合强大的巡检图像训练平台和电力巡检图像深度特征资源库,可提供全面、高效的巡检图像缺陷自动分析和判别功能,可以对大量的巡检原始图像按照巡检大目标进行分类;且增强了对于数据集和训练模型的存档管理,方便用户进行类别增加以及数据增加。具体识别类型包括如下:[0021][0022]该系统输入为无人机或人工巡检照片,输出为待测目标的分类结果,处理速度平均2张/秒,且识别准确率可达到90%以上。具体已识别目标种类结果如下:[0023]说 明 书3/4页5CN 110969192 A5
[0024][0025]以上所述,仅为本发明较佳实施例而已,故不能依此限定本发明实施的范围,即依本发明专利范围及说明书内容所作的等效变化与修饰,皆应仍属本发明涵盖的范围内。说 明 书4/4页6CN 110969192 A6
图1说 明 书 附 图1/1页7CN 110969192 A7