[go: up one dir, main page]

CN109800697B - 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法 - Google Patents

基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法 Download PDF

Info

Publication number
CN109800697B
CN109800697B CN201910020552.1A CN201910020552A CN109800697B CN 109800697 B CN109800697 B CN 109800697B CN 201910020552 A CN201910020552 A CN 201910020552A CN 109800697 B CN109800697 B CN 109800697B
Authority
CN
China
Prior art keywords
image
appearance
layer
net
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910020552.1A
Other languages
English (en)
Other versions
CN109800697A (zh
Inventor
位一鸣
罗麟
童力
张非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, State Grid Corp of China SGCC filed Critical Zhoushan Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN201910020552.1A priority Critical patent/CN109800697B/zh
Publication of CN109800697A publication Critical patent/CN109800697A/zh
Application granted granted Critical
Publication of CN109800697B publication Critical patent/CN109800697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于VGG‑net风格迁移的变压器目标检测与外观缺陷识别方法，涉及图像识别领域。目前变电站内设备外观状态巡视主要依靠机器人采集图像分析完成，由于图像采集误差，外观检测可能出现偏移，导致外观检测失准；另外，采集的设备图像多为正样本，包含锈蚀、漏油等外观缺陷的负样本较少，会导致模型训练过拟合，泛化能力差，容易造成误检。本方法首先采集样本，构建样本集；然后利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷；而后针对负样本不足的问题，利用基于VGG‑net的风格迁移算法，生成缺陷样本用于扩充样本集，提升判别模型的泛化能力；最后根据Le‑net的判别网络对外观进行检测。精确地实现了变压器目标检测与外观缺陷识别。

Description

基于VGG-net风格迁移的变压器目标检测与外观缺陷识别 方法
技术领域
本发明涉及图像识别领域，尤其涉及基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法。
背景技术
目前，变电设备状态检修技术，主要是根据电压、电流等电气量，油温、油压等物理量的数值、变化来判断设备的运行状况；或是利用检修文本日志，使用自然语言处理与知识图谱技术，对设备的健康状况进行判断。对于高度智能化的变电站，已逐步部署了智能巡检机器人，可以实现自动巡检，采集缺陷图像。对于大多数变电站，工程师通常采用照相机、手持终端、摄像头等工具对变压器的缺陷情况进行图像采集。工程师对图像进行标记，并对缺陷事件进行描述记录在日志中，通常包括漏油、锈蚀、开关开合和零部件损坏等事件。这些图像反映了设备的可靠性缺陷情况，有经验的工程师可以准确地判断图像中的缺陷。然而，各大供电公司中变电设备数量众多，需要花费大量的、有经验丰富的工程师反复巡逻巡检，难以做到实时地或预防性地获取变压器的缺陷状况。目前，巡检机器人、分布式摄像头已经大量的布置于变电站，负责图像的采集、现场的监控。若能使用计算机学习工程师巡检经验，实现对变压器缺陷图像的自动识别，将大大减轻巡检工作量，对变压器的外观缺陷进行全方位地、实时地监测。因此，开发基于图像识别与深度学习技术的变压器缺陷图像识别系统，具有十分重要的意义。对于变电设备，目前主要的分析方式还是以红外图像的分析为主，对可见光图像下设备外观缺陷的分析还存在如下问题：
1、定位不精准。目前变电站内设备外观状态巡视主要依靠机器人采集图像分析完成。设备的定位，一般依靠预先设置的固定区域进行提取，再根据提取目标进行外观检测。然而由于图像采集设备的行进误差，目标设备并不一定出现在采集图像的固定位置，外观检测可能出现偏移，导致外观检测失准。
2、负样本数量不足。监控摄像头、巡视机器人拍摄了大量的设备图像。然而采集的设备图像多为正样本，包含锈蚀、漏油等外观缺陷的负样本较少。负样本数量少会导致模型训练过拟合，泛化能力差，在应用中容易造成误检。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，以精确地实现变压器目标检测与外观缺陷识别为目的。为此，本发明采取以下技术方案。
基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，包括以下步骤：
1)采集样本阶段：利用巡视机器人采集主变样本图像，构成样本集；
2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分较细致，深层图网格划分较粗略，适应的目标尺度更大，对大尺寸目标和小尺寸目标都有良好的识别能力；
3)外观检测阶段：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移，图像由纹理与内容两部分构成，通过浅层的卷积层，可以提取到局部表征纹理的特征；
通过深层的卷积层，可以提取到图像的内容特征；
采用一种随机缺陷区域融合方法，以获得较为真实的缺陷图像；采用基于Le-net的判别网络，对图像进行判别。
本方法首先采集样本，构建样本集；其次，利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷；而后针对负样本不足的问题，利用基于VGG-net的风格迁移算法，生成缺陷样本用于扩充样本集，提升判别模型的泛化能力；最后根据Le-net的判别网络对外观进行检测，有效地解决了因图像采集定位不精准和负样本数量不足而存在的图像识别问题，精确地实现了变压器目标检测与外观缺陷识别。
作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。
作为优选技术手段：
步骤3)中，利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移过程包括：假设某一层得到的响应是
Figure BDA0001940624400000031
其中Nl为l层filter的个数，Ml为filter的大小，Fl ij表示的是第l层第i个filter在位置j的输出，
Figure BDA0001940624400000041
代表提供内容的图像，
Figure BDA0001940624400000042
表示生成的图像，Pl和Fl分别代表它们对于l层的响应，需要计算第l层的内容损失(Content Loss)为：
Figure BDA0001940624400000043
某一层的风格可以用
Figure BDA0001940624400000044
来表示，
Figure BDA0001940624400000045
代表提供风格的图像，
Figure BDA0001940624400000046
表示生成的图像，Al和Gl分别代表它们对于l层的风格，计算l层的风格损失(Style Loss)为：
Figure BDA0001940624400000047
计算总的风格损失：
Figure BDA0001940624400000048
最后计算总Loss：
Figure BDA0001940624400000049
其中的α和β为内容损失与风格的比值，可以根据需要调整。
步骤3)中，正常图像与异常图像进行融合，得到较为真实的异常图像过程采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像。
有益效果：有效地解决了因图像采集定位不精准和负样本数量不足而存在的图像识别问题，精确地实现了变压器目标检测与外观缺陷识别。
附图说明
图1是本发明SSD流程图。
图2是本发明风格迁移流程图。
图3是本发明生成图与原始图融合流程图。
图4是本发明Le-net结构图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，包括以下步骤：
1)采集样本阶段：利用多个变电站的巡视机器人采集主变样本图像，构成样本集；
2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分较细致，深层图网格划分较粗略，适应的目标尺度更大，对大尺寸目标和小尺寸目标都有良好的识别能力，SSD工作流程如图1所示。
3)外观检测阶段：变电设备相较于输电设备，存在着负样本数量少，异常区域小的问题。因此本发明利用生成模型，对数据负样本进行扩充，有效地提升模型的泛化能力。本发明采集到许多其他设备的生锈、油污样本，其中包含了纹理特征。
步骤3-1：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移。图像由纹理与内容两部分构成，通过浅层的卷积层，可以提取到局部表征纹理的特征，通过深层的卷积层，可以提取到图像的内容特征；
步骤3-2：由于在真实情况下，锈斑、漏油位置不固定，而生成的异常图像全图都包含了异常纹理，因此需要将正常图像与异常图像进行融合，得到较为真实的异常图像；
步骤3-3：采用基于Le-net的判别网络，对图像进行判别。
在步骤3-1中，假设某一层得到的响应是
Figure BDA0001940624400000061
其中Nl为l层filter的个数，Ml为filter的大小。Fl ij表示的是第l层第i个filter在位置j的输出。
Figure BDA0001940624400000062
代表提供内容的图像，
Figure BDA0001940624400000063
表示生成的图像，Pl和Fl分别代表它们对于l层的响应，因此l层的内容损失(ContentLoss)为：
Figure BDA0001940624400000064
由于图像的内容在深层的网络中提出，因此式(1)中l层即为最深层L。
在步骤3-1中，
Figure BDA0001940624400000065
代表提供风格的图像，
Figure BDA0001940624400000069
表示生成的图像，Al和Gl分别代表它们对于l层的风格，因此l层的风格损失(StyleLoss)为：
Figure BDA0001940624400000066
所以总的风格损失为：
Figure BDA0001940624400000067
总Loss为：
Figure BDA0001940624400000068
其中的α和β为内容损失与风格的比值，可以根据需要调整。总体风格迁移流程如图2所示。
在步骤3-2中，本发明采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像，生成图与原始图融合流程如图3所示。
在步骤3-3中，本发明采用了Le-net的判别网络对外观进行检测，对于局部特征与全局特征，都有良好的拟合能力，其结构如图4所示。
以上图1-4所示的基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法是本发明的具体实施例，已经体现出本发明突出的实质性特点和显著进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (2)

1.基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，其特征在于包括以下步骤：
1)采集样本阶段：利用巡视机器人采集主变压器样本图像，构成样本集；
2)目标检测阶段：利用SSD目标检测算法精准截取目标设备，用于检测外观缺陷，SSD利用不同层次的卷积层，进行多尺度滑窗目标检测，不同卷积深度的划分细度不同，浅层图网格划分细致，深层图网格划分粗略；
3)外观检测阶段：利用VGG-net的算法，在保留图像内容的情况下，实现风格迁移，图像由纹理与内容两部分构成，通过浅层的卷积层，以提取到局部表征纹理的特征；
通过深层的卷积层，提取到图像的内容特征；
采用随机缺陷区域融合方法获得缺陷图像；并采用基于Le-net的判别网络，对图像进行判别，识别外观缺陷；
在步骤3)中，正常图像与异常图像进行融合，得到较为真实的异常图像过程采用了一种随机缺陷区域融合方法，以获得较为真实的缺陷图像。
2.根据权利要求1所述的基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法，其特征在于：步骤3)中，利用VGG-net的算法时，在保留图像内容的情况下，实现风格迁移过程包括：假设某一层得到的响应是
Figure FDA0003825917750000011
其中Nl为l层filter的个数，Ml为filter的大小，Fl ij表示的是第l层第i个filter在位置j的输出，
Figure FDA0003825917750000021
代表提供内容的图像，
Figure FDA0003825917750000022
表示生成的图像，Pl和Fl分别代表它们对于l层的响应，需要计算第l层的内容损失(Content Loss)为：
Figure FDA0003825917750000023
某一层的风格可以用
Figure FDA0003825917750000024
来表示，
Figure FDA0003825917750000025
代表提供风格的图像，
Figure FDA0003825917750000026
表示生成的图像，Al和Gl分别代表它们对于l层的风格；计算l层的风格损失(Style Loss)为：
Figure FDA0003825917750000027
计算总的风格损失：
Figure FDA0003825917750000028
最后计算总Loss：
Figure FDA0003825917750000029
其中的α和β为内容损失与风格的损失比值，可以根据需要调整。
CN201910020552.1A 2019-01-09 2019-01-09 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法 Active CN109800697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910020552.1A CN109800697B (zh) 2019-01-09 2019-01-09 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910020552.1A CN109800697B (zh) 2019-01-09 2019-01-09 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法

Publications (2)

Publication Number Publication Date
CN109800697A CN109800697A (zh) 2019-05-24
CN109800697B true CN109800697B (zh) 2022-10-25

Family

ID=66557061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910020552.1A Active CN109800697B (zh) 2019-01-09 2019-01-09 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法

Country Status (1)

Country Link
CN (1) CN109800697B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348498A (zh) * 2019-06-28 2019-10-18 国网河北省电力有限公司电力科学研究院 一种基于深度学习的配电设备缺陷自动判别方法及系统
CN111044224A (zh) * 2019-12-30 2020-04-21 深圳供电局有限公司 一种巡视小车识别和检测变压器的方法
CN116485638A (zh) * 2019-12-31 2023-07-25 武汉星巡智能科技有限公司 基于深度卷积网络的图像风格迁移方法、装置及设备
CN113269213B (zh) * 2020-02-17 2023-06-30 百度在线网络技术（北京）有限公司 训练集的获取方法、装置及电子设备
WO2021179198A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 图像特征可视化方法、图像特征可视化装置及电子设备
CN111681162B (zh) * 2020-06-09 2023-09-01 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN112396577A (zh) * 2020-10-22 2021-02-23 国网浙江省电力有限公司杭州供电公司 一种基于泊松融合样本扩充的变压器的缺陷检测方法
CN112529859A (zh) * 2020-12-04 2021-03-19 广东电网有限责任公司佛山供电局 一种配电设备缺陷检测方法及系统
CN112749746A (zh) * 2021-01-12 2021-05-04 云南电网有限责任公司电力科学研究院 一种缺陷样本迭代更新方法、系统及装置
CN113034446A (zh) * 2021-03-08 2021-06-25 国网山东省电力公司平邑县供电公司 一种变电站设备缺陷自动识别方法及系统
CN115393258A (zh) * 2022-04-25 2022-11-25 佳源科技股份有限公司 一种基于变电站仪表的视觉缺陷检测方法
CN115761267B (zh) * 2022-12-27 2023-06-16 四川数聚智造科技有限公司 一种解决室外低频图像采集异常检测方法
JP2025025655A (ja) * 2023-08-10 2025-02-21 株式会社日立製作所 画像生成装置および画像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169496A (zh) * 2017-04-19 2017-09-15 北京三快在线科技有限公司 一种文字识别方法和装置
CN108520203A (zh) * 2018-03-15 2018-09-11 上海交通大学 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN108876781A (zh) * 2018-06-26 2018-11-23 广东工业大学 基于ssd算法的表面缺陷识别方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169496A (zh) * 2017-04-19 2017-09-15 北京三快在线科技有限公司 一种文字识别方法和装置
CN108520203A (zh) * 2018-03-15 2018-09-11 上海交通大学 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN108876781A (zh) * 2018-06-26 2018-11-23 广东工业大学 基于ssd算法的表面缺陷识别方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
From Reality to Perception:Genre-Based Neural Image Style Transfer;Zhouqi Ma等;《Proceedings of the Twenty-Seventh International Conference on Artificial Intelligence》;20181231;第3491-3497页 *
卷积神经网络的风格迁移算法在场景处理中的应用;黄建茂;《宜宾学院学报》;20181231;第18卷(第12期);第1-5页 *

Also Published As

Publication number Publication date
CN109800697A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109800697B (zh) 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN111209434B (zh) 一种基于多源异构数据融合的变电站设备巡检系统及方法
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN106919978A (zh) 一种高铁接触网支撑装置零部件识别检测方法
CN109242439A (zh) 基于变电站设备相关联数据的特征提取识别方法
CN110059556A (zh) 一种基于深度学习的变电站开关分合状态检测方法
CN110411580A (zh) 一种电力设备发热缺陷的诊断方法以及诊断系统
CN117647706B (zh) 一种基于大数据的智慧电网运行故障诊断系统及方法
CN101937207A (zh) 机械设备状态的智能可视化监测与诊断方法
CN106779215B (zh) 一种基于机器学习的电网全局延时态势感知方法
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN115841446A (zh) 一种太阳能集热场故障风险快速检测系统及方法
Katrojwar et al. Design of image based analysis and classification using unmanned aerial vehicle
CN113780224B (zh) 一种变电站无人化巡视方法及系统
CN106650746A (zh) 基于角度步长的变电站指针式仪表识别方法
CN118172647B (zh) 基于深度学习的融合模型泥石流次声识别方法
CN109389322A (zh) 基于目标检测和长短时记忆模型的导地线断散股识别方法
CN110503215A (zh) 基于图像识别技术识别设备状态、故障及处理异常的方法
CN120338265B (zh) 一种基于神经网络的供电系统运维监控方法及平台
CN112348207A (zh) 电网防灾预警方法及装置
CN111027565A (zh) 一种光学视觉语义提取的输变电设备报告内容生成方法
CN116147632A (zh) 新增电力设备动态巡检路径规划方法及其系统
CN117710214B (zh) 一种高分辨率遥感监测的输变电线路环水保监测方法
CN119416086A (zh) 基于神经网络的强对流天气识别方法及系统
Yang et al. Abnormal scene image recognition method for intelligent operation and maintenance of electrical equipment in substations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant