删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

面向电力系统的多粒度隐患检测方法*

本站小编 Free考研考试/2021-12-25

电力资源是国民经济的基础和命脉,与国计民生密切相关。然而,由于受自然环境或人为因素等影响,输电线路往往存在诸多隐患,如输电杆塔中的销钉缺损和输电线路通道中的机械(如挖掘机)施工等,这些隐患往往会造成巨大的经济损失和人身伤害。据国家能源局的相关数据统计,2020年第一季度全国发生多起电力事故,其中电力设备事故直接经济损失高达100万元。因此,隐患检测已成为电力系统亟待解决的重要问题。
传统的电力系统隐患检测主要采用人工检测的方式,即通过检测人员肉眼观察电力场景的图片数据来检测电力系统的隐患问题。很明显,这种人工检测的方式不仅需要耗费大量的人力和物力,而且检测效率也十分低下;同时,检测的准确率严重依赖于检测人员的业务水平。因而,存在由于检测人员的视觉疲劳所导致的准确率降低问题。近年来,随着计算机科学和人工智能领域的快速发展,智能化电力系统隐患检测逐渐吸引了许多研究人员的注意[1-4]。现有工作大多基于人为手工设计的特征和机器学习技术来进行隐患检测。由于人为手工设计的特征很大程度上依赖于人的先验知识,使得这些方法难以准确捕捉图像丰富的语义信息[5-6]。最近,伴随神经网络技术的蓬勃兴起,基于深度学习技术的计算机视觉算法在众多任务中展示了其强大的表示学习能力[7-8]。因此,本文旨在利用深度学习技术,实现对电力系统隐患的精确检测。
然而,基于深度学习技术的电力系统隐患检测任务是十分严峻的,面临多项挑战。①电力系统的隐患检测通常涉及多个方面,从输电杆塔到输电线路通道,所涉及的隐患物体大小不一,形态各异。例如,输电线路通道可能存在体型较大的机械隐患,而输电杆塔中往往涉及体积较小的销钉破损隐患。因此,如何在复杂的电力场景下捕捉到隐患物体,并且实现对多种隐患物体的精准定位检测是一个重大挑战。②受拍摄距离和角度等因素的影响,同一隐患物体可能以不同大小和形态出现在电力图像的不同区域,因此,如何提出一种自适应隐患检测网络以捕捉不同形态的隐患物体也是一个艰巨的挑战。
为了解决上述挑战,本文提出了一种面向电力系统的多粒度隐患检测方法MGNet。该模型将图像的多粒度信息引入到隐患检测过程中,通过对不同粒度检测结果的协作式融合,综合捕捉隐患目标,进而增强检测的全面性和准确性。本文提出的MGNet分为多粒度分割、粒度级检测和多粒度协作式融合3部分。对于多粒度分割,不仅构建粗粒度的全局网络以提取图像的全局表示,还引入了切块尺度因子,构建细粒度的局部网络来学习图像的局部表示。对于粒度级检测,采用Faster R-CNN[4]技术,基于不同粒度的图像表示,分别进行隐患物体检测。最终将不同粒度级的隐患物体检测结果进行协作式融合,从而得到图像的最终隐患检测结果。
本文的主要贡献可以总结为以下3方面:
1) 提出了一种面向电力系统的多粒度隐患检测网络MGNet,该模型基于图像多粒度信息,采用深度学习技术,可实现对复杂场景下多种隐患物体的精确检测。
2) 提出的MGNet通过同时构建隐患检测的全局网络和局部网络,全面学习电力图像的多粒度表示,增强对各隐患的检测效果。
3) 基于2个不同电力场景的真实数据集开展了大量实验,相关结果证实了本文模型相对于已有基准方法的优越性。
1 相关工作 近年来,电力系统的隐患检测吸引了很多研究者的关注[1-4]。例如,Zhai等[1]使用颜色和梯度特征定位绝缘子,并通过形态学分析检测绝缘子帽的脱落。Prasad和Rao[2]采用傅里叶直方图特征及支持向量机来检测绝缘子是否存在损坏缺陷。虽然这些工作取得了显著成功,但是它们主要基于人工设计的特征,依赖于人的先验知识,难以准确捕捉图像丰富的语义信息。针对此问题,一些研究者转而选择深度学习技术来学习隐患物体的表示。例如,Nordeng等[3]使用VGG16[9]网络来学习图像的表示,基于Fast R-CNN[10]技术实现对耐张线夹的隐患检测。王万国等[4]基于ZFnet网络提取图像表示,并使用Faster R-CNN实现对小部件(如间隔棒、防震锤和均压环)的隐患检测。尽管这些方法取得了突破性进展,但大多只考虑了图像的全局特征或局部特征,而忽略了图像的多粒度表示,使得其在复杂电力系统的隐患检测方面难以取得理想效果。因此,本文提出了电力系统多粒度隐患检测网络,旨在结合图像多粒度信息解决电力系统检测中隐患物体尺度多样性问题。
2 多粒度隐患检测网络 2.1 问题定义 本文中的相关符号及含义如表 1所示。
表 1 符号表示 Table 1 Summary of main notations' representation
符号 含义
C 隐患标签数目
oj j个隐患物体
cj oj的隐患类别标签标识
tj oj的位置表示
图像全局特征图
图像在第r个网格中局部特征图表示
隐患物体的预测类别
隐患物体的预测位置


表选项






假设有C个隐患类别标签,以及M张标注好的训练图像{I1, I2, …, IM}。为了使文章简洁,忽略训练图像的下标索引。假设训练图像I包含N个隐患物体{o1, o2, …, oN}。每个隐患物体oj对应的类别标签表示为cj=(yj1, yj2, …, yjC)T∈{0, 1}Cyjc=1表示物体oj属于第c个隐患类别,yjc=0表示物体oj不属于第c个隐患类别。另外,使用tj=(xj, zj, wj, ej)表示该物体在图像I中的位置,(xj, zj)代表隐患物体在图像中所在区域的中心点坐标,wjej分别为隐患物体在图像中所在区域的宽度和高度。
针对图像数据中所含隐患物体存在多样性问题,本文将图像的多粒度信息引入到隐患检测过程中,通过对不同粒度检测结果的协作式融合,增强隐患检测的全面性。模型可形式化定义为,其具体网络结构如图 1所示。其中,为多粒度隐患检测网络对于给定图像I的隐患检测结果集合,包含图像I中各隐患物体的类别信息和位置信息,θF代表网络待学习的相关参数。值得一提的是,本文提出的多粒度隐患检测网络具有普适性,可迁移到多种不同的检测任务中。
图 1 多粒度隐患检测网络结构 Fig. 1 Structure of multi-granularity hazard detection network
图选项




2.2 多粒度分割 为了全面表征图像,本文对图像进行多粒度分割,分别构建全局网络和局部网络,进而学习图像的全局表示与局部表示。为使文章简洁,暂时忽略隐患物体的下标索引。

2.2.1 全局网络 本文先从全局出发,基于完整图像,构建全局网络,获得图像的全局表示。通过添加跳跃连接,深度残差网络[11](ResNet)可以捕捉到浅层网络的信息,解决网络退化问题,缓解梯度消失现象,在计算机视觉领域多项任务中取得出色的效果[12-13]。因此,本文使用ResNet网络来学习图像的全局表示。得到的图像全局特征图如下:
(1)

式中:为ResNet网络的参数;为图像I的全局特征图表示,HgWg分别为图像全局特征图的长和宽尺寸,Cg为特征图的通道个数。

2.2.2 局部网络 全局网络侧重图像的全局显著性特征,而易忽略图像的局部细节特征,不利于模型对于小型或远距离隐患的准确检测。因此,本文在传统全局网络的基础上引入局部网络,以提取更加具体的局部图像特征,进而增强图像整体的隐患检测性能。
图像切块是一种不依赖辅助模型、简单且高效的方法[14]。本文引入切块尺度因子m,对输入图像I采用m×m的网格划分,得到图像网格划分集合。将中各网格图像Ir, r∈{1, 2, …, m×m}依次送入ResNet网络,学习其特征图。具体公式如下:
(2)

式中:为ResNet网络的参数;为图像I在第r个网格中局部特征图表示,HlrWlr分别为图像第r个局部特征图的长和宽尺寸,Clr为相应的通道个数。
2.3 粒度级检测 传统的基于区域推荐的目标检测方法,如R-CNN、Fast R-CNN等框架,大都采用选择性搜索算法[15]产生候选区域,时间复杂度较高。针对此现象,Faster R-CNN提出区域建议网络和区域池化网络,实现了端到端的目标检测,有效地平衡了目标检测任务的速度和精度[16],在众多检测任务中取得了杰出的表现[17-18]。因此,本文基于不同粒度的图像特征图,即,采用Faster R-CNN方法实现对图像中包含隐患物体的准确检测识别。具体公式如下:
(3)

式中:为全局粒度级检测网络;为网络的相关待学习参数;为图像I的全局隐患物体检测集合,包含Ng个全局隐患物体,每个隐患物体包含2部分信息,即为隐患物体的类别向量,为隐患物体的位置向量;为局部粒度级检测网络;网络的相关参数;为图像I的局部隐患物体检测集合,包含Nl个局部隐患物体,每个局部隐患物体表示为为隐患物体的预测类别向量,为隐患物体的预测位置向量。
在本文工作中,不论是全局目标检测网络还是局部目标检测网络,均由区域建议网络和区域池化网络2部分构成。

2.3.1 区域建议网络 区域建议网络本质上是卷积神经网络,可以对输入图像对应生成高质量的区域建议框。通过与多粒度分割中的全局网络和局部网络共享全局和局部特征图,缓解了区域选择产生的高时耗问题[4]。基于式(1)和式(2)生成的全局和局部特征图,即,区域建议网络使用n×n滑动窗口对特征图以固定步长进行滑动卷积,同时引入锚框机制,预先定义a个不同尺度和比例的锚框,以滑动窗口中心点为基准,匹配预先定义锚框作为初始候选框。对于初始候选框所对应的检测区域,构建分类层和回归层。分类层对检测区域进行初步判断,得到其为隐患物体和背景区域的概率。回归层旨在调整边框位置,得到检测区域回归偏移量,进而拟合预测物体的位置坐标。基于a个锚框,分类层可以得到2a个概率评分,对应每个锚框为隐患物体和背景区域的概率。回归层得到4a个锚框坐标编码。图 2为基于全局特征图的区域建议网络结构。为缓解检测区域冗余问题,本文方法进一步采用非极大值抑制方法[6],基于检测区域与实际检测目标的重叠面积及检测区域之间的重叠面积,过滤多余的检测区域。按照分类层概率评分,得到指定数目的候选区域,从而实现对检测区域的初步定位。
图 2 区域建议网络结构 Fig. 2 Structure of region proposal network
图选项





2.3.2 区域池化网络 全局和局部特征经过区域建议网络后,可以得到一系列目标物体的候选区域。由于候选区域的尺寸大小不一,本文采用单尺度池化操作,先将候选区域分割成相同大小尺寸的分块,对每个分块进行最大池化操作,从而将大小不一的候选区域转换为固定尺寸特征图,再使用卷积神经网络,对固定尺寸特征图进行编码,得到隐患物体的具体分类及精确位置。
2.4 模型优化 多粒度隐患检测网络的代价函数分为全局代价函数和局部代价函数。以全局代价函数为例,具体过程如下:
(4)

式中:Ncls为参与训练锚框的数目;Nloc为参与训练锚框中正确类别锚框的数目;ρ为分类代价和位置回归代价的调节平衡参数。
代价函数中的2项分别对应隐患物体的分类代价和位置回归代价,其中分类代价函数为
(5)

位置回归代价函数为
(6)

式中:R为鲁棒性代价函数。
具体方法如下:
(7)

回归代价函数通过与yjc相乘,只对正确类别的隐患物体进行位置回归。值得一提的是,针对局部目标检测网络的优化,需要根据每个网格区域的图像信息,重新定义相应的隐患类别真实值向量和隐患区域位置信息。
2.5 多粒度协作式融合 为增强对于图像I的隐患检测效果,本文设计多粒度协作式融合图像全局网络检测结果和局部网络检测结果
以全局隐患物体和局部隐患物体为例(这里需要先将局部隐患物体映射回全局图像),具体融合操作如下:
(8)

式中:Sjk面积的交并比,即面积的交集和并集的比例;λ为预设的阈值。
据式(8)可知,若图像全局隐患物体与局部隐患物体集合交集为空集,则保留。相似地,若图像局部隐患物体与全局隐患物体集合交集为空集,则保留。若与全局隐患物体有重叠,且交并比为Sjk,则根据预设阈值λ,进行保留或合并。具体地,若λ > Sjk,则将2个检测结果均保留;若λSjk,则两者视为同一物体。
通过对图像全局检测和局部检测结果进行多粒度协作式融合,多粒度隐患检测网络可以得到图像I的最终隐患物体检测集合。多粒度隐患检测网络具体过程如算法1所示。
算法1??多粒度隐患检测网络。
输入:图像I
输出:图像I的最终隐患物体检测集合
1.初始化网络参数
2.REPEAT:
3.根据式(1)学习图像全局表示。
4.根据式(3)对图像进行全局粒度级隐患检测,得到全局网络检测结果集合
5.根据全局代价函数优化全局网络参数。
6.UNTIL: 全局代价函数收敛
7.对图像I进行多粒度分割,得到图像网格划分集合
8.REPEAT:
9.FOR r=1, 2, …, m×m
10.根据式(2)学习图像每个网格Ir的表示。
11.根据式(3)对图像进行局部粒度级隐患检测,得到局部网络检测结果
12.根据局部代价函数优化局部网络参数。
13.??END FOR
14.UNTIL: 局部代价函数收敛
15.对隐患物体集合进行多粒度协作式融合,得到图像I的最终隐患物体检测集合
3 实验结果与分析 3.1 数据集 为全面验证模型效果及鲁棒性,本文引入2个真实世界数据集:①杆塔连接金具隐患数据集;②线路通道机械隐患数据集,分别侧重于小尺寸和大尺寸隐患检测。其中,杆塔连接金具隐患数据集主要包含2种隐患类别:销钉缺损和销钉安装位置错误;线路通道机械隐患数据集主要包含7种隐患类别:卡车、推土机、起重机、挖掘机、泵车、水泥混合器、打桩机。本文雇佣10名专业技术人员,使用智能化标注工具LabelImg对数据集中的隐患物体进行标注。2个数据集最终规模分别如表 2表 3所示。
表 2 杆塔连接金具隐患数据集规模 Table 2 Statistics of tower connection fitting hazard datasets
隐患类别 隐患物体数目
销钉缺损 6 232
销钉安装位置错误 3 272


表选项






表 3 线路通道机械隐患数据集规模 Table 3 Statistics of transmission line channel mechanical hazard datasets
隐患类别 隐患物体数目
卡车 7 073
推土机 7 579
起重机 15 796
挖掘机 18 568
泵车 4 808
水泥混合器 2 449
打桩机 1 336


表选项






3.2 实验设置 本文实验环境搭建在含有4块TITAN Xp GPU的服务器中。本文提出的多粒度隐患检测网络基于Tensorflow和PaddlePaddle框架实现,使用Momentum优化器优化网络参数,并采用目标检测任务中常用的评价指标——平均精度均值mAP来评价模型。其中,学习速率被设置为0.001,动量参数被设置为0.9。此外,本文采用网格搜索策略来决定网络中超参数的最优值。具体地,式(4)中分类代价和位置回归代价的调节平衡参数ρ取值为10,式(8)中阈值λ在杆塔连接金具隐患数据集和线路通道机械隐患数据集取值分别为0.6和0.5。输入图像的尺寸预先经过缩放处理和均值中值化处理后为1 400×1 800。对数据集数据进行分割,其中80%作为训练集,10%作为验证集,10%作为测试集。通过多次迭代训练调优,得到最佳网络模型,代价函数收敛如图 3所示。可知,代价函数开始时下降迅速,后期逐渐趋于稳定。这一现象验证了本文模型良好的收敛性。此外,给定一张图片,MGNet网络对其进行隐患检测所花费的时间为0.998 8 s。因此,本文模型检测效率较高,具有可行性。
图 3 代价函数收敛图 Fig. 3 Cost function convergence graph
图选项




3.3 结果分析 选择以下基准方法作为比较,来评估本文模型,方法描述如下:
1) SSD[19]: 不同于构建的多粒度隐患检测网络,该方法通过学习图像的特征金字塔,基于图像多个大小不同的特征图进行检测,解决图像数据中所含物体尺度多样性问题。
2) Faster R-CNN[20]: 该方法可以通过去掉本文模型的局部网络而得到。和本文模型相比,该方法只使用图像的全局特征表示。
3) YOLOv3[21]: 该方法将图像全局表示特征图划分为多个网格单元,基于待检测物体的中心坐标位置,只选择特定网格单元进行目标检测。
4) Cascade R-CNN[22]: 该方法针对区域建议网络中的回归层,提出级联多个具有不同阈值的回归层,并通过多次调整边框位置,以提高检测边框准确度。
5) YOLOv4[23]: 该方法基于YOLOv3进行改进,通过引入数据增广策略,为数据集扩增不同尺寸的目标物体。
表 4展示了本文模型MGNet和不同方法对于mAP的对比结果。通过观察表 4对比结果,可以得到以下结论:①在杆塔连接金具隐患数据集和线路通道机械隐患数据集中,SSD方法均取得了最差的效果,这一现象可能是因为:SSD方法直接基于特征图进行隐患类别检测,舍弃了初步区分隐患物体和背景区域的步骤,致使检测过程噪声较大,无法准确捕捉隐患物体。②相比于其他基准方法,Faster R-CNN在2个数据集中的性能表现相对变化最为明显。这一现象说明,仅基于图像全局特征进行检测会使模型对于隐患物体尺寸较为敏感,从而具有不稳定性。③所有的基准方法在线路通道机械隐患数据集中的表现都要优于其在杆塔连接金具隐患数据集中的表现。这一现象可能是因为:线路通道机械隐患数据集中的隐患物体大多为卡车等大尺寸物体,相对于杆塔连接金具隐患数据集中的小尺寸销钉隐患易于区分。④本文提出的MGNet模型在2个领域数据集上都取得了比其他先进方法更好的检测效果,验证了模型MGNet的有效性及将图像的多粒度信息引入到隐患检测过程的必要性。
表 4 不同隐患检测方法在2个数据集上的平均精度均值 Table 4 Mean average precision of different hazard detection methods on two datasets
模型 mAP/%
杆塔连接金具隐患数据集 线路通道机械隐患数据集
SSD 19.99 60.93
Faster R-CNN 38.96 71.65
YOLOv3 40.59 61.32
Cascade R-CNN 41.21 68.50
YOLOv4 44.99 72.34
MGNet 47.73 75.11


表选项






为了更深入地理解MGNet,进一步研究了MGNet在不同隐患类别上的表现。根据表 4中展示的结果,选择在杆塔连接金具隐患数据集和线路通道机械隐患数据集上最好的基准方法YOLOv4作为该实验的对比方法。在图 4中,YOLOv4对于销钉缺损类别的表现略高于本文模型。在图 5中,MGNet和YOLOv4在杆塔连接金具隐患数据集中的2个隐患类别检测效果差别较大,即对于销钉缺损的检测效果远远高于对销钉安装位置错误的检测。一个可能的解释是隐患物体形态缺损的特征比位置变动的特征更加明显,因而易于捕捉。
图 4 MGNet和YOLOv4在杆塔连接金具隐患数据集中各隐患类别表现 Fig. 4 Performance of MGNet and YOLOv4 on different categories of tower connection fitting hazard datasets
图选项




图 5 MGNet和YOLOv4在线路通道机械隐患数据集中各隐患类别表现 Fig. 5 Performance of MGNet and YOLOv4 on different categories of transmission line channel mechanical hazard datasets
图选项




3.4 消融实验 为了验证多粒度隐患检测网络中多粒度协作式融合的有效性,引入2个衍生模型:MGNet_NoGlobal和MGNet_NoLocal。在这2个衍生模型中均去掉了多粒度的协作式融合操作,而分别只考虑了局部网络和全局网络。
表 5给出了本文模型和这2个衍生模型基于2个数据集的实验结果对比。可以看出,本文模型MGNet在2个数据集中的表现均高于这2个衍生模型。这一实验结果说明,通过全局网络和局部网络的协作式融合,可增强图像中所含物体检测效果,有利于更加精确的隐患检测。从某种意义上说,这是因为:全局网络可以捕获图像的整体特征,而局部网络则侧重于图像局部区域细节特征。两者互相促进,均不可或缺。除此之外还观察到,在杆塔连接金具隐患数据集中,MGNet_NoGlobal比MGNet_NoLocal的效果要好。这说明在面向杆塔连接金具的隐患检测中,局部网络比全局网络的贡献大。这可能是因为:相对于全局网络侧重于全局特征的提取,局部网络更加注重图像中的局部区域,从而使小尺寸隐患物体的检测结果更加精准。相反地,在线路通道机械隐患数据集中,MGNet_NoLocal比MGNet_NoGlobal的效果要好。这说明在线路通道机械隐患数据集中,全局网络对于隐患检测的贡献大于局部网络。背后的原因可能是:对于大尺寸隐患物体,只引入局部网络,可能会破坏隐患物体的完整性,从而影响局部网络的检测结果。
表 5 多粒度隐患检测网络消融实验 Table 5 Ablation experiments of multi-granularity hazard detection network
模型 mAP/%
杆塔连接金具隐患数据集 线路通道机械隐患数据集
MGNet 47.73 75.11
MGNet_NoGlobal 46.87 41.24
MGNet_NoLocal 38.96 71.65


表选项






为了更深入地理解全局网络和局部网络的性能表现,进一步研究了MGNet及2个消融衍生模型(MGNet_NoGlobal和MGNet_NoLocal)在不同隐患类别上的表现。如图 6所示,本文模型MGNet对于线路通道机械隐患数据集所有类别检测的精度均高于2个消融衍生模型,验证了本文模型MGNet的有效性。在图 7中,MGNet_NoGlobal模型对于销钉安装位置错误类别的检测表现略高于模型MGNet,这可能是因为:局部网络注重图像中的局部区域,对位置变换更加敏感。同时发现,对于线路通道机械隐患数据集中的各隐患类别(见图 6),MGNet_NoLocal的表现均优于MGNet_NoGlobal,这一现象进一步验证了只引入局部网络会损坏大尺寸隐患物体完整性,从而造成隐患检测准确性下降的结论。
图 6 MGNet及其消融衍生模型在线路通道机械隐患数据集中各隐患类别表现 Fig. 6 Performance of MGNet and its ablation derived models on different categories of transmission line channel mechanical hazard datasets
图选项




图 7 MGNet及其消融衍生模型在杆塔连接金具隐患数据集中各隐患类别表现 Fig. 7 Performance of MGNet and its ablation derived models on different categories of tower connection fitting hazard datasets
图选项




为了更加直观地理解本文所提的多粒度协作式融合,给出了MGNet及其2个消融衍生网络(MGNet_NoGlobal和MGNet_NoLocal)在线路通道机械隐患检测方面的测试结果,如图 8图 9所示(图 9图 8中检测结果的局部放大图)。其中,局部网络的切块尺度因子m=3。基于图 8图 9可以看出,全局网络检测可以捕捉到图片中较为显著的起重机、卡车和推土机隐患,局部网络可以检测到水泥混合器和推土机隐患。而多粒度隐患检测网络通过协作式融合,可以全面检测到这4种不同的隐患。由此可见,全局网络侧重于检测图像中比较显著的特征,可以捕捉到起重机等大型隐患物体,但是忽略了水泥混合器这类不显著隐患物体。局部网络可以充分捕捉图像中水泥混合器等不显著隐患物体,但是与此同时分割损害了起重机这类大型隐患物体的特征,致使无法充分捕捉这类大型隐患物体。多粒度隐患检测网络检测比较全面,可以综合考虑图像整体与局部特征,全面对图像中的物体进行检测。从图 8图 9所示的不同网络检测结果可以直观看出,相对于消融衍生网络MGNet_NoGlobal和MGNet_NoLocal,MGNet在隐患检测方面具有一定的优势。
图 8 消融实验检测结果对照图(m=3) Fig. 8 Comparison of detection results from ablation experiment (m=3)
图选项




图 9 图 8检测结果放大图 Fig. 9 Magnification of detection results in Fig. 8
图选项




3.5 参数实验 本节对本文模型MGNet进行了敏感度分析。特别地,研究了切块尺度因子m和融合阈值λ对于模型隐患检测效果的影响。

3.5.1 切块尺度因子 图 10为本文模型MGNet在2个数据集中取不同切块尺度因子时对应的平均精度均值。本文将切块尺度因子m设置在[1, 5]范围内,并以1为步长进行调节。从图 10可以看出,整体而言,当模型MGNet对于切块尺度因子的敏感性较低,表现比较稳定。同时,当m=2时,模型MGNet在2个数据集中取得最优的效果。值得注意的是,当m=1时,即不对图像进行细粒度切割时,模型MGNet在2个数据集中均取得最差的效果。这一现象再次验证了多粒度切割电力图像的必要性。特别地,当切块尺度因子逐渐增大接近5时,模型在2个数据集中的效果表示均有所下降,这一现象表明盲目追求细粒度切割会损害隐患物体的特征,从而无法准确表示隐患物体,造成检测效果的下降。
图 10 切块尺度因子在两个数据集中对模型MGNet平均精度均值的影响 Fig. 10 Effect of block scale factor on mean average precision of MGNet model in two datasets
图选项





3.5.2 融合阈值 为了探索多粒度协作式融合对于模型隐患检测效果的影响,对于融合阈值λ进行了敏感度分析。本文将融合阈值λ设置在[0.1, 0.7]范围内,并以0.1为步长进行调节。如图 11所示,当λ=0.6时,模型在杆塔连接金具隐患数据集中取得最优的效果,然而,当λ从0.6增长到0.7时,效果急剧下降。同时,如图 12所示,当λ=0.5时,模型在线路通道机械隐患数据集中具有最好的性能,当λ从0.5增长到0.7时,模型性能也出现下降趋势。根据式(8),当λ趋近于0时,模型对于全局网络和局部网络具有重合面积的检测结果,会忽略全局网络检测结果,只考虑局部网络检测结果。当λ趋近于1时,模型会保留2个网络的全部检测结果。对应地,基于实验现象可以得出以下结论,忽略具有重合面积时的全局网络检测结果,会导致隐患检测不完全,但盲目融合2个网络的检测结果,会造成检测噪声过大,从而引起模型性能的下降。因此,协作式融合图像全局网络和局部网络的检测结果是至关重要的。
图 11 融合阈值在杆塔连接金具隐患数据集中对模型MGNet平均精度均值的影响 Fig. 11 Effect of fusion threshold on mean average precision of MGNet model in tower connection fitting hazard datasets
图选项




图 12 融合阈值在线路通道机械隐患数据集中对模型MGNet平均精度均值的影响 Fig. 12 Effect of fusion threshold on mean average precision of MGNet model in transmission line channel mechanical hazard datasets
图选项




4 结论 1) MGNet可实现较为优异的电力系统潜在隐患检测性能,在2个不同电力场景(杆塔连接金具隐患和线路通道机械隐患)的真实数据集,平均精度均值分别达到47.73%和75.11%,优于其他最优隐患检测基准方法。
2) MGNet通过引入局部网络学习图像的局部细节表示,有利于提高模型效果,尤其是针对小尺寸隐患物体(如销钉)的检测。
3) MGNet对于局部网络中切块尺度因子的参数敏感性较低,具有良好的稳定性。
MGNet目前着眼于图像的多粒度信息融合。在未来的工作中,将尝试对比多种基本目标检测方法,引入时间、声音、红外等信息,以更全面立体的方式实现对电力系统的隐患检测。

参考文献
[1] ZHAI Y J, WANG D, ZHANG M L, et al. Fault detection of insulator based on saliency and adaptive morphology[J]. Multimedia Tools and Applications, 2017, 76(9): 12051-12064. DOI:10.1007/s11042-016-3981-2
[2] PRASAD P S, RAO B P. LBP-HF features and machine learning applied for automated monitoring of insulators for overhead power distribution lines[C]//Proceedings of the International Conference on Wireless Communications, 2016: 808-812.
[3] NORDENG I E, HASAN A, OLSEN D, et al. DEBC detection with deep learning[C]//Proceedings of the Scandinavian Conference. Berlin: Springer, 2017: 248-259.
[4] 王万国, 田兵, 刘越, 等. 基于RCNN的无人机巡检图像电力小部件识别研究[J]. 地球信息科学, 2017, 19(2): 256-263.
WANG W G, TIAN B, LIU Y, et al. Study on the electrical devices detection in UAV images based on region based convolutional neural networks[J]. Journal of Geo-information Science, 2017, 19(2): 256-263. (in Chinese)
[5] 柴玉梅, 员武莲, 王黎明, 等. 基于双注意力机制和迁移学习的跨领域推荐模型[J]. 计算机学报, 2020, 43(9): 1-20.
CHAI Y M, YUAN W L, WANG L M, et al. A cross-domain recommendation model based on dual attention mechanism and transfer learning[J]. Chinese Journal of Computers, 2020, 43(9): 1-20. (in Chinese)
[6] 严星, 尤洪峰. Faster-RCNN电力输送塔检测算法[J]. 计算机仿真, 2020, 37(2): 135-139.
YAN X, YOU H F. Target detection algorithm for Faster-RCNN power transmission tower[J]. Computer Integrated Manufacturing Systems, 2020, 37(2): 135-139. DOI:10.3969/j.issn.1006-9348.2020.02.028 (in Chinese)
[7] 陈耀东, 李仁发, 李实英, 等. 面向目标检测与姿态估计的联合文法模型[J]. 计算机学报, 2014, 37(10): 2206-2217.
CHEN Y D, LI R F, LI S Y, et al. A combined grammar for object detection and pose estimation[J]. Chinese Journal of Computers, 2014, 37(10): 2206-2217. (in Chinese)
[8] 张冬明, 靳国庆, 代锋, 等. 基于深度融合的显著性目标检测算法[J]. 计算机学报, 2019, 42(9): 2076-2086.
ZHANG D M, JIN G Q, DAI F, et al. Salient object detection based on deep fusion of hand-crafted features[J]. Chinese Journal of Computers, 2019, 42(9): 2076-2086. (in Chinese)
[9] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//Proceedings of the International Conference on Learning Representation, 2015.
[10] GIRSHICK R B. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. Piscataway: IEEE Press, 2015: 1440-1448.
[11] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2017: 770-778.
[12] 陆永帅, 李元祥, 刘波, 等. 基于深度残差网络的高光谱遥感数据霾监测[J]. 光学学报, 2017, 37(11): 314-324.
LU Y S, LI Y X, LIU B, et al. Hyperspectral data haze monitoring based on deep residual network[J]. Acta Optica Sinica, 2017, 37(11): 314-324. (in Chinese)
[13] 朱超平, 杨艺. 基于YOLO2和ResNet算法的监控视频中的人脸检测与识别[J]. 重庆理工大学学报(自然科学), 2018, 32(8): 170-175.
ZHU C P, YANG Y. Face detection and recognition in monitoring video based on YOLO2 and ResNet algorithm[J]. Journal of Chongqing University of Technology (Natural Science), 2018, 32(8): 170-175. (in Chinese)
[14] 徐龙壮, 彭力, 朱凤增. 多任务金字塔重叠匹配的行人重识别方法[J/OL]. 计算机工程, 2020(2020-02-11)[2020-08-01]. https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20200209002&v=fpDLQvPDFGfsJ7%25mmd2BlY85YejXOe%25mmd2B%25mmd2FpNa24x8p%25mmd2FiBh3e5i3ALZRcuH3l1F0Q0lM4Rgp.
XU L Z, PENG L, ZHU F Z. Person re-identification method based on multi-task pyramid overlapping matching[J/OL]. Computer Engineering, 2020(2020-02-11)[2020-08-01]. https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJLAST&filename=JSJC20200209002&v=fpDLQvPDFGfsJ7%25mmd2BlY85YejXOe%25mmd2B%25mmd2FpNa24x8p%25mmd2FiBh3e5i3ALZRcuH3l1F0Q0lM4Rgp (in Chinese).
[15] UIJLINGS J R R, VAN DE SANDE K E A, GEVERS T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154-171. DOI:10.1007/s11263-013-0620-5
[16] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84.
LI W P, XIE K, LIAO X, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved Faster RCNN[J]. China Southern Power Grid, 2019, 13(12): 79-84. (in Chinese)
[17] 徐向前, 孙涛. Faster RCNN的交通场景下行人检测方法[J]. 软件导刊, 2020, 19(4): 67-70.
XU X Q, SUN T. Pedestrian detection method in traffic scene based on Faster RCNN[J]. Software Guide, 2020, 19(4): 67-70. (in Chinese)
[18] 李林升, 曾平平. 改进深度学习框架Faster-RCNN的苹果目标检测[J]. 机械设计与研究, 2019, 35(5): 24-27.
LI L S, ZENG P P. Apple target detection based on improved Faster-RCNN framework of deep learning[J]. Machine Design and Research, 2019, 35(5): 24-27. (in Chinese)
[19] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot MultiBox detector[C]//European Conference on Computer Vision. Berlin: Springer, 2016: 21-37.
[20] REN S Q, HE K M, GIRSHICK R B, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 91-99.
[21] REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. (2018-04-08)[2020-08-01]. https://arxiv.org/abs/1804.02767.
[22] CAI Z W, VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2018: 6154-6162.
[23] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. (2020-04-23)[2020-08-01]. https://arxiv.org/abs/2004.10934.


相关话题/网络 图像 数据 机械 信息

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 基于记忆关联学习的小样本高光谱图像分类方法*
    高光谱图像(HyperspectralImage,HSI)是一种通过高光谱传感器探测地物反射的电磁波而获得的数字图像。在常规的彩色或者灰度图像中,每一个像素仅包含一个或者三个离散的能量值,而高光谱图像中的每一个像素包含几十甚至数百个光谱波段,每一个像素记录了对应地物的光谱曲线[1]。由于不同地物通常 ...
    本站小编 Free考研考试 2021-12-25
  • 结合颅骨形态特征与神经网络的民族判别*
    中国是一个多民族国家,不同的民族具有独特民族文化和风俗,由于生存环境、遗传等因素使得各民族相貌特征也存在一定的差异。颅骨是法医人类学、考古学、面貌复原等领域的重要研究对象,由于颅骨本身骨质坚硬、不易受损的特性,可以更好地保存特征,从而通过颅骨识别性别、种族或者民族逐渐成为当前研究热点。在法医人类学领 ...
    本站小编 Free考研考试 2021-12-25
  • 基于噪声柯西分布的社交图像标签优化与标注*
    近年来随着社交网络的蓬勃发展,海量的社交网络图像在被网络用户共享和浏览。海量的图像数据使得精确检索变得困难,故现在迫切需要有效的图像检索技术。基于标签的图像检索是通过建立图像和标签之间的语义关系来进行的。图像标注对图像检索十分重要。目前,用户提供的标签虽然可以在一定程度上描述视觉内容信息,但是这些标 ...
    本站小编 Free考研考试 2021-12-25
  • 融合语义信息的视频摘要生成*
    随着视频拍摄、存储技术和网络传输的飞速发展,互联网上的视频数据呈爆炸性增长[1]。但由于生活节奏越来越快,观众在没有确定视频是否符合他们的期望前,不会轻易花太多时间观看完整视频,观众更期望可以通过视频预告等形式对视频内容产生大致的了解。视频摘要任务从原始视频中提取具有代表性和多样性的简短摘要,使观看 ...
    本站小编 Free考研考试 2021-12-25
  • 基于信息素启发狼群算法的UAV集群火力分配*
    随着无人机(UnmannedAerialVehicle,UAV)技术和人工智能的快速发展,利用大量具有自主作战能力且成本低廉的UAV组成UAV集群突破对手防御体系,对目标实施饱和打击以及对入侵机群进行空中拦截是UAV集群作战的重要手段[1-2]。美军已经开展了多项关于UAV集群研究及试验验证,并将U ...
    本站小编 Free考研考试 2021-12-25
  • 基于趋势符号聚合近似的卫星时序数据分类方法*
    时间序列是按照时间排序的一组随机变量,其通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果[1]。在卫星的测控管理过程中,会产生大量的遥测数据,它们以时间序列的形式存储在数据库中。而运行状态监测系统传感器产生的监测数据通过遥测系统传输至地面控制中心,此类数据是地面判断在轨卫星运行 ...
    本站小编 Free考研考试 2021-12-25
  • 带空间结构的人工神经网络建模方法*
    空间自回归模型自20世纪70年代由Anselin和Cliff等提出并推广以来[1-2],日益受到重视。通过引入空间权重矩阵将空间效应引入传统回归模型,空间自回归模型能够更加全面地分析各种变量之间的变化规律,增强模型的解释能力[3]。目前,空间自回归模型已广泛应用于环境问题[4]、区域经济增长[5]等 ...
    本站小编 Free考研考试 2021-12-25
  • 基于改进Faster R-CNN的SAR图像飞机检测算法*
    合成孔径雷达(SyntheticApertureRadar,SAR)与光学和红外等被动式传感器相比,具有全天时、全天候、高分辨率的独特优势,在战场态势感知、典型目标识别和精确制导等军事领域具有突出的战略意义。飞机作为一种典型的人造目标,军事价值极其重要,高效、准确获取机场、空域等位置的飞机目标信息, ...
    本站小编 Free考研考试 2021-12-25
  • 多表冗余惯导数据融合算法及在自对准中的应用*
    激光陀螺捷联惯导系统(LaserStrapdownInertialNavigationSystem,LSINS)具有动态范围广、耐冲击振动、可靠性高等优点,远征一号、嫦娥探测器等空间飞行器及多数现役火箭均采用LSINS提供姿态、位置等导航信息。多表冗余惯导系统通过仪表冗余设计,显著提高系统的可靠性, ...
    本站小编 Free考研考试 2021-12-25
  • 基于级联注意力机制的孪生网络视觉跟踪算法*
    视觉跟踪是计算机视觉领域的难点问题之一,是实现更高级视觉理解与场景分析的基础[1]。视觉跟踪技术广泛应用在视频监控、人机交互、机器人、视频编辑和无人驾驶等领域。在仅给定初始帧目标位置和大小信息的条件下,视觉跟踪任务需要实现对后续帧中运动目标持续且稳定的跟踪。由于目标在运动过程中存在着尺度变化、旋转、 ...
    本站小编 Free考研考试 2021-12-25