[go: up one dir, main page]

CN116188755A - 一种基于深度学习的仪表角度校正与示数识别装置 - Google Patents

一种基于深度学习的仪表角度校正与示数识别装置 Download PDF

Info

Publication number
CN116188755A
CN116188755A CN202211493116.4A CN202211493116A CN116188755A CN 116188755 A CN116188755 A CN 116188755A CN 202211493116 A CN202211493116 A CN 202211493116A CN 116188755 A CN116188755 A CN 116188755A
Authority
CN
China
Prior art keywords
scale
instrument
convolution module
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211493116.4A
Other languages
English (en)
Inventor
陈运蓬
赵锐
赵飞
马飞
白静波
张红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd filed Critical Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority to CN202211493116.4A priority Critical patent/CN116188755A/zh
Publication of CN116188755A publication Critical patent/CN116188755A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于深度学习的仪表角度校正与示数识别装置，通过构建神经网络对仪表盘图像角度检测与校正；采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；对卷积神经网络模型输出的图像经过均值偏移滤波后使用基于非线性双边滤波的Canny边缘检测算法二值化，再应用Hough圆检测定位表盘，获得仪表的圆心位置和半径；使用CTPN+CRNN网络文字检测识别模型处理定位到仪表的图像，获得仪表开始刻度和最大量程的数值与位置；使用基于区域选择的Hough直线检测算法提取仪表盘中的指针，最后根据刻度、量程和指针用角度法计算仪表读数。

Description

一种基于深度学习的仪表角度校正与示数识别装置
技术领域
本发明涉及图像识别技术领域，特别涉及一种基于深度学习的仪表角度校正与示数识别装置。
背景技术
指针式仪表在有强磁干扰的变电站等环境中发挥着重要作用，但由于指针式仪表人工读数复杂，容易出现误差，并且通常工作在强电压，强辐射的危险场景中，所以并不适合人工读取示数。因此，研究指针式仪表的智能检测与识别具有重要意义。
然而在现有技术中，基于深度学习的仪表盘目标检测多是基于传统图像处理技术对仪表指针进行定位，如模板匹配法或减影法，而后再进行角度与示数的换算，这些方法存在识别过程复杂，智能读取普适性低、实时性差等问题。但是对于常规角度的仪表读数具有较好的识别能力，而对于存在不规则角度的仪表则难以准确进行识别。
发明内容
本发明提供一种基于深度学习的仪表角度校正与示数识别装置，所述基于深度学习的仪表角度校正与示数识别装置包括仪表盘图像角度检测与校正模块和仪表盘度数识别模块；
所述仪表盘图像角度检测与校正模块包括数据采集单元、多尺度卷积神经网络单元和角度校正单元；
所述数据采集单元用于采集仪表盘图像信息，对数据进行清洗和标注；
所述多尺度卷积神经网络单元包括特征提取模块和多尺度融合输出模块；
所述特征提取模块包括小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络；
所述多尺度融合输出模块将不同单尺度的位移信息结果进行自动融合；
所述仪表盘度数识别模块包括识别数据集单元、识别卷积神经网络单元、识别预处理单元、边缘检测和分割单元、文字检测识别单元和读数单元；
所述识别数据集单元采集多场景多种类的指针式仪表图像构建训练集；
所述识别卷积神经网络单元采用了轻量级的MobileNetV3网络作为特征提取网络；
所述识别预处理单元根据识别卷积神经网络单元输出的仪表类别、类别置信度以及边界框等信息，对输出图像进行裁切；
所述边缘检测和分割单元用于定位图像中仪表盘的位置与范围；
所述文字检测识别单元包括CTPN网络文本检测模型和CRNN网络文本识别模型用于得到读取指针式仪表的文本信息；
所述读数单元用于生成最终读数。
更近一步地，所述小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络，分别输出小尺度特征向量、中尺度特征向量、大尺度特征向量和全尺度特征向量；
所述多尺度决策融合模块将四个不同尺度的特征向量生成系数矩阵，并通过系数矩阵与小尺度特征向量、中尺度特征向量和大尺度特征向量进行融合生成输出向量。
更近一步地，所述小尺度CNN网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；
所述中尺度CNN网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；
所述大尺度CNN网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；
所述全尺度CNN网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷积模块和第七全尺度卷积模块；
各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和Relu函数单元。
更近一步地，所述多尺度融合输出模块中四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6×1的向量。这个向量被改变形状，然后通过一个SoftMax层，生成一个3×2的系数矩阵
Figure BDA0003964376480000031
在该系数矩阵中，满足以下等式：
Figure BDA0003964376480000032
其中，cj和dj表示各尺度系数矩阵的元素，并且都在[0,1]的范围内；最后，可以得到输入子集图像对应的位移向量为：
Figure BDA0003964376480000033
其中，u1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标，u3为大尺度特征向量的横坐标，v3为大尺度特征向量的纵坐标。
更近一步地，所述多尺度卷积神经网络单元的损失函数包括：
采用Ciou损失函数对任意方向检测框的最小外接矩形进行优化：
Figure BDA0003964376480000041
Figure BDA0003964376480000042
Figure BDA0003964376480000043
其中，IOU表示预测框与标注框的交并比，b表示预测检测框的中心点，bgt表示标注框的中心点，ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和wgt、hgt分别代表预测框的高宽和真实框的高宽；
置信度损失：
Figure BDA0003964376480000044
类别损失：
Figure BDA0003964376480000045
方向向量损失：
Figure BDA0003964376480000046
Figure BDA0003964376480000047
Figure BDA0003964376480000048
Figure BDA0003964376480000051
其中，
Figure BDA0003964376480000052
为正样本系数，特征图中存在正样本处
Figure BDA0003964376480000053
为1，其余为0，
Figure BDA0003964376480000054
和
Figure BDA0003964376480000055
分别表示检测框头部横坐标和其标签值，
Figure BDA0003964376480000056
和
Figure BDA0003964376480000057
分别表示检测框方向向量头部纵坐标和其标签值，
Figure BDA0003964376480000058
和
Figure BDA0003964376480000059
分别表示检测框方向向量尾部横坐标值和其标签值，
Figure BDA00039643764800000510
和
Figure BDA00039643764800000511
分别表示检测框方向向量尾部纵坐标值和其标签值。
更近一步地，所述边缘检测和分割单元同时考虑值域和空间域对图像进行非线性双边滤波，很好的保留边缘信息，滤波后的图像经过Sober算子方向模板在3×3邻域内计算梯度幅值，再对边缘信息进行非极大值抑制达到边缘细化效果；
根据图像的灰度分布分割出前景部分和背景部分，将灰度类间方差最大化，找到使方差最大的的阈值并定义为高阈值，将k倍的高阈值定义为低阈值，根据高低阈值进行边缘连接，其中k∈[0.5,0.8]。
更近一步地，所述识别卷积神经网络单元中MobileNetV3网络包括五个卷积层，输入的图像经过MobileNetV3网络卷积后输出相应的特征图，再经过FPN网络和PAN网络进行学习，最终送入Prediction Head模块预测出预测类别的置信度、预测边界框的坐标，然后通过非极大值抑制算法去除重复检测框，设定好阈值后最终显示出仪表的类别、类别置信度以及边界框。
更近一步地，所述读数单元根据检测到仪表的圆心、起始刻度与最大量程的位置获得提取范围，在提取范围内遍历所有边缘点，不断重复随机提取边缘点映射为极坐标空间直线，当每个边缘点的累加器超过预设值后提取线段，最后计算所有提取线段的长度，将长度最长的提取线段作为仪表的指针。
更近一步地，所述读数单元提取范围中首先去除仪表开始刻度与最大量程刻度夹角区域，其次缩减检测半径避免将刻度线误认为指针。
更近一步地，所述识别预处理单元通过读取Canny边缘检测算法输出的二值化图像，遍历图像所有边缘，沿边缘梯度方向和反方向线段的交点在二维累加器中累加，将二维累加器中的计数从大到小排序，保留计数最多的位置作为仪表的圆心，再计算圆心到图像边缘点的距离得到半径。
本发明达到的有益效果是：
本发明使用了四种不同尺度的CNN，分别是小尺度CNN、中尺度CNN、大尺度CNN和全尺度CNN。小尺度网络、中尺度网络、大尺度网络的输出在各自的范围内都是准确的，而全尺度网络在所有范围内的输出精度都没有那么高，但是足以判断结果隶属的尺度。因此，通过融合这四个网络的结果，可以计算出合适的系数矩阵来确定正确的结果。所以，全尺度网络的结果虽然不参与融合，但起着重要的决策作用。
本发明针对神经网络角度拟合训练过程中，角度预测损失值在0度产生损失突变问题，对物体角度信息进行扩展编码，通过预测角度方向向量来计算物体角度，同时损失函数中增加了物体方向向量坐标的计算，通过解码方向向量得到物体最终角度信息。将角度预测范围扩展到[-180°,180°)并且消除角度损失周期性突变。
本申请中的技术方案中Canny边缘检测算法用非线性双边滤波替换常规高斯滤波，更好保留了图像的边缘细节；在YOLOv5算法中使用MobileNetV3网络替换常规的Darknet网络，减少数据量加快速度；加入CTPN+CRNN网络文字检测识别模型读取不同类型仪表的刻度、量程信息，具有较强的泛化能力和通用性；使用Hough直线检测算法定位指针，降低了计算读数的难度。
附图说明
图1为一种基于深度学习的仪表角度校正与示数识别装置的结构示意图；
图2为一种基于深度学习的仪表角度校正与示数识别装置中位移场识别多尺度卷积神经网络模型框架图；
图3为一种基于深度学习的仪表角度校正与示数识别装置中位移场散斑图像多尺度特征提取模块的示意图；
图4为一种基于深度学习的仪表角度校正与示数识别装置中中位移场信息多尺度决策级融合模块的示意图；
图5为一种基于深度学习的仪表角度校正与示数识别装置中YOLOv5算法流程图；
图6为一种基于深度学习的仪表角度校正与示数识别装置中Canny边缘检测算法流程图；
图7为一种基于深度学习的仪表角度校正与示数识别装置中Sober算子方向模板；
图8为一种基于深度学习的仪表角度校正与示数识别装置中Hough直线检测算法流程图；
图9为一种基于深度学习的仪表角度校正与示数识别装置中角度法仪表示数计算示意图。
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
如附图1所示，本发明提出了一种基于深度学习的仪表角度校正与示数识别装置，该仪表角度校正与示数识别装置包括仪表盘图像角度检测与校正模块和仪表盘度数识别模块。
仪表盘图像角度检测与校正模块包括数据采集单元、多尺度卷积神经网络单元和角度校正单元。
数据采集单元用于采集仪表盘图像信息，对数据进行清洗和标注。
采集仪表盘图像数据，图像数据大小为528×528像素；对采集的数据进行数据清洗，保留图像清晰、曝光正常、特征明显的图像数据；对仪表盘图像中表盘量程部分进行标注，标注形式为任意方向的矩形，其表示方法为[类别(从0开始，依次类推，如0,1,2)，矩形宽度，矩形高度，矩形中心点坐标(x，y)，矩形方向向量与平面直角坐标系中x轴夹角(弧度制范围[-pi，pi)顺时针为负)]，例如[0,50,20,100,200,1.75]。
以仪表盘中心点为中心，裁剪出不同大小的子集图像。根据子集图像大小，生成小尺度数据集、中尺度数据集和大尺度数据集。对于不同尺度子集图像，其中心点是一致的，因而这三个数据集的数据量相同，同时不同数据集对应的图像中心和位移标签相同。
将标注完成的数据集分割为训练集、验证集和测试集。其中训练集、验证集、测试集比例为7:1:2。
多尺度卷积神经网络单元由三部分组成：特征提取模块、单尺度输出模块和多尺度融合输出模块。
特征提取模块区别于传统基于单尺度神经网络的位移场识别方法，本专利将仪表盘图像通过滑动窗口分割成具有不同像素的大尺度、中尺度和小尺度子集图像，每个尺度均通过深度卷积层进行特征提取。
在多尺度神经网络训练时，2×48×48像素子集图像作为小尺度CNN的输入数据，2×68×68像素子集图像作为中尺度CNN的输入数据2×132×132像素子集图像作为大尺度CNN的输入数据，264×264像素子集图像作为全尺度CNN的输入数据。以提高模型在目标值处于跨尺度边界附近的预测精度。
如附图3所示，特征提取模块的网络结构包括小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络。其中，小尺度CNN网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；中尺度CNN网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；大尺度CNN网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；全尺度CNN网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷积模块和第七全尺度卷积模块；各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和Relu函数单元。
小尺度CNN网络输出小尺度特征向量，中尺度CNN网络输出中尺度特征向量，大尺度CNN网络输出大尺度特征向量，全尺度CNN网络输出全尺度特征向量。
多尺度融合输出模块通过设计神经网络，将不同单尺度的位移信息结果进行自动融合，相比传统的经验性融合，其融合方式通过神经网络进行学习，更加准确和智能。在特征提取模块之后，提取的特征进一步通过全连接层，并在每个单独的CNN尺度上生成位移结果。然后，提出了一个多尺度决策融合模块来融合这些在不同尺度上学习到的位移。
如附图4所示，在多尺度融合模块中，四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6×1的向量。这个向量被改变形状，然后通过一个SoftMax层，生成一个3×2的系数矩阵
Figure BDA0003964376480000101
在该系数矩阵中，满足以下等式：
Figure BDA0003964376480000102
其中，cj和dj表示各尺度系数矩阵的元素，并且都在[0,1]的范围内。最后，可以得到输入子集图像对应的位移向量为：
Figure BDA0003964376480000103
其中，u1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标，u3为大尺度特征向量的横坐标，v3为大尺度特征向量的纵坐标。
多尺度卷积神经网络单元的损失函数包括三部分，采用Ciou损失函数对任意方向检测框的最小外接矩形进行优化。
Figure BDA0003964376480000104
Figure BDA0003964376480000105
Figure BDA0003964376480000106
其中，IOU表示预测框与标注框的交并比。b表示预测检测框的中心点，bgt表示标注框的中心点。ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和wgt、hgt分别代表预测框的高宽和真实框的高宽。
置信度损失：
Figure BDA0003964376480000107
类别损失：
Figure BDA0003964376480000108
方向向量损失：
Figure BDA0003964376480000111
Figure BDA0003964376480000112
Figure BDA0003964376480000113
Figure BDA0003964376480000114
其中
Figure BDA0003964376480000115
为正样本系数，特征图中存在正样本处
Figure BDA0003964376480000116
为1，其余为0。
Figure BDA0003964376480000117
和
Figure BDA0003964376480000118
分别表示检测框头部横坐标和其标签值，
Figure BDA0003964376480000119
和
Figure BDA00039643764800001110
分别表示检测框方向向量头部纵坐标和其标签值，
Figure BDA00039643764800001111
和
Figure BDA00039643764800001112
分别表示检测框方向向量尾部横坐标值和其标签值，
Figure BDA00039643764800001113
和
Figure BDA00039643764800001114
分别表示检测框方向向量尾部纵坐标值和其标签值。
多尺度卷积神经网络单元使用Adam方法对神经网络进行模型训练，直到模型在验证集上表现良好，且无过拟合现象停止训练。
角度校正单元用于加载已训练的模型参数，对仪表盘图像进行角度校正，将检测后的图像花纹角度校正到统一朝向。
仪表盘度数识别模块包括识别数据集单元、识别卷积神经网络单元、识别预处理单元、边缘检测和分割单元、文字检测识别单元和读数单元。
识别数据集单元采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；
具体地，识别卷积神经网络单元采用了轻量级的MobileNetV3网络作为特征提取网络。
如附图5所示，MobileNetV3网络包括C1至C5层五个卷积层，输入的图像经过MobileNetV3网络卷积后输出相应的特征图，并定义特征图使其分别对应C1至C5层，再将特征图发送至FPN网络的F3至F5层进行学习，在发送过程中C5层经过一个卷积层得到F5层，然后对F5层进行上采样，将上采样后的值与经过卷积的C4层相加得到F4层，然后对F4层进行一次上采样，将上采样后的值与经过卷积的C3层相加得到F3层。
将上述得到的F3至F5层发送到PAN网络的P3至P5层进行学习，在发送过程中F3层经过一个卷积层得到P3层，然后对P3层进行下采样，将下采样后的值与经过卷积的F4层相加得到P4层，然后对P4层进行一次下采样，将下采样后的值与经过卷积的F5层相加得到P5层，得到的P3至P5层最终送入Prediction Head模块预测出预测类别的置信度、预测边界框的坐标，然后通过非极大值抑制算法去除重复检测框，设定好阈值后最终显示出仪表的类别、类别置信度以及边界框。
在本实施例中，识别数据集单元采集了1500张涵盖了多场景多种类的指针式仪表图像，并在LabelImg中进行目标的初步标注后作为训练集输入上述卷积神经网络模型进行训练。
识别卷积神经网络单元输出的图像经过均值偏移滤波后使用基于非线性双边滤波的Canny边缘检测算法二值化，再应用Hough圆检测定位表盘，获得仪表的圆心位置和半径。
识别预处理单元根据识别卷积神经网络单元输出的仪表类别、类别置信度以及边界框等信息，对输出图像进行裁切，之后进行均值偏移滤波；借助Mean Shift算法的分割特性将色彩分布相近的元素进行聚类，平滑色彩细节，减少了后续的计算量。
如附图6所示，由于后续步骤需要指针式仪表的二值化边缘图像，边缘检测和分割单元对Canny边缘检测算法进行了改进和优化，使用同时考虑值域与空间域的非线性双边滤波代替了常用的高斯滤波，在图像去噪的同时较完整的保留了图像边缘信息。
得到经过双边滤波的图像后，对图像在3×3邻域内计算梯度幅值；如附图7所示，在各方向的梯度计算使用了Sober算子方向模板，图像某一像素的8邻域即x方向，y方向，45°方向和135°方向的一阶偏导数的有限差分来确定像素的梯度幅值及方向。
得到八领域内像素点的梯度幅值及方向后，再对边缘信息进行非极大值抑制，达到边缘细化的效果。
边缘检测和分割单元根据图像自身灰度特征，通过统计图像中像素点的灰度分布，分割出图像的前景部分和背景部分，将区域内灰度的类间方差最大化，找到使方差最大的的阈值，将此阈值定义为高阈值，将低阈值定义为k倍的高阈值k∈[0.5,0.8]。
得到图像的高低阈值后进行边缘连接：
当某一像素点幅值大于高阈值时，则该像素点是边缘点。
当某一像素点幅值低于低阈值时，则该像素点不是边缘点；
当图像某一像素点幅值处于高阈值与低阈值之间时，如果该像素点与大于高阈值的像素点相连，则该像素点为边缘点，否则不是边缘点。
经过边缘检测和分割单元得到输出的指针式仪表二值化图像，接着应用基于Hough梯度法的Hough圆检测定位仪表盘圆心：读取上述二值化图像后遍历图像所有边缘，沿边缘梯度方向和反方向线段的交点在二维累加器中累加，将二维累加器中的计数从大到小排序，保留计数最多的位置作为仪表盘的圆心，再计算圆心到图像边缘点的距离得到半径，从而定位图像中仪表盘的位置与范围。
文字检测识别单元包括CTPN网络文本检测模型和CRNN网络文本识别模型，其中CTPN网络文本检测模型的运行步骤包括：
定位图像中指针式仪表位置与范围后，首先利用VGG16网络对指针式仪表图像进行特征提取，生成特征图，其中由于文字区域相对较小，VGG16使用的是3×3的小卷积核，相较其他使用大卷积核的神经网络提取效果更好。
接着利用RNN网络在特征图上进行文本提取，将特征图上的每一个特征点作为一个锚点，每一个锚点都可以选取产生10个宽度为16，高度不同的文本提议框；RNN网络对生成的文本提议框进行粗略的分类，选出可能包含文本的提议框，输入到全连接层进行精确的分类预测，并对位置坐标进行调整。
CTPN网络文本检测模型的最终输出预测候选区域的起始坐标和高度、前景和背景的分类评分以及文本提议框的水平偏移量，将指针式仪表图像的文字区域进行分割，再将分割的文字区域输入到CRNN网络文本识别模型。
CRNN网络文本识别模型的运行步骤包括：
将CTPN网络文本检测模型分割的各文字区域进行缩放输入至CNN网络得到Feature map，在本实施例中统一缩放为高度height＝32，宽度width＝160的灰度图像，输入至CNN网络后得到height＝l，width＝40，channel＝512的Feature map。
得到的Feature map通过Map-to-Sequence将特征图提取成为RNN网络需要的特征序列，每个特征向量对应于原始图像的感受野，输出Feature Sequence至两层各256单元的双向LSTM网络中，得到每个特征向量对应的字符标签，由LSTM网络输出概率分布向量，并组成概率矩阵W，概率矩阵W中的每个元素代表特征向量可能包含字符w的概率，将概率矩阵W中每一列的最大值对应的字符作为该列的文字标签作为实际字符输出至CTC层进行合并去冗，得到读取指针式仪表的文本信息，设置只保留数字进行排序后，最小值对应开始刻度的数值与位置，最大值对应最大量程的数值与位置。
读数单元得到读取指针式仪表开始刻度和最大量程信息之后，需要对指针式仪表中的指针进行提取。由于仪表盘指针出现的角度范围有限，Hough直线检测算法的提取范围中去除了仪表盘开始刻度与最大量程刻度夹角区域。
提取到指针检测范围后根据所检测到起始刻度和最大量程的位置，缩减提取范围的半径，避免误检长度较长的刻度为指针，并且减少了Hough直线检测的区域面积，将指针检测的目标区域内的像素点代入Hough变换，如附图8所示，根据检测到仪表的圆心、起始刻度与最大量程的位置获得提取范围，在提取范围内遍历所有边缘点，不断重复随机提取边缘点映射为极坐标空间直线，当每个边缘点的累加器超过预设值后提取线段，这样就得到了提取范围内的所有线段，计算所有线段的长度后根据线段长度从小到大排序，将长度最长的线段作为仪表的指针。
如附图9所示，最后使用角度法计算仪表读数，其中开始刻度为点A，坐标(xA,yA)，指针末端端点为点B，坐标(xB,yB)，最大量程刻度为点C，坐标(xC,yC)，仪表盘圆心为点O，坐标(xO,yO)，开始刻度与圆心的连线为向量
Figure BDA0003964376480000151
指针为向量
Figure BDA0003964376480000152
最大量程刻度与圆心的连线为向量
Figure BDA0003964376480000153
指针与开始刻度所成角度
Figure BDA0003964376480000154
开始刻度A与圆心O的连线的斜率
Figure BDA0003964376480000155
开始刻度A与圆心O连线的截距bA＝yo-kA×xo，将点B坐标(xB,yB)代入向量
Figure BDA0003964376480000156
所在直线的直线方程中得到位置信息position＝yb-kA×xb-bA，若position大于等于0，则指针与开始刻度所成角度为θ，否则指针与开始刻度所成角度为2π-θ；同理，也计算出开始刻度和最大量程刻度之间的角度
Figure BDA0003964376480000157
之前CTPN+CRNN网络文字检测识别模型得到了仪表的最大量程MaxRange，求出最终示数
Figure BDA0003964376480000158
输出，完成示数识别。
本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。

Claims (10)

1.一种基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述基于深度学习的仪表角度校正与示数识别装置包括仪表盘图像角度检测与校正模块和仪表盘度数识别模块；
所述仪表盘图像角度检测与校正模块包括数据采集单元、多尺度卷积神经网络单元和角度校正单元；
所述数据采集单元用于采集仪表盘图像信息，对数据进行清洗和标注；
所述多尺度卷积神经网络单元包括特征提取模块和多尺度融合输出模块；
所述特征提取模块包括小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络；
所述多尺度融合输出模块将不同单尺度的位移信息结果进行自动融合；
所述仪表盘度数识别模块包括识别数据集单元、识别卷积神经网络单元、识别预处理单元、边缘检测和分割单元、文字检测识别单元和读数单元；
所述识别数据集单元采集多场景多种类的指针式仪表图像构建训练集；
所述识别卷积神经网络单元采用了轻量级的MobileNetV3网络作为特征提取网络；
所述识别预处理单元根据识别卷积神经网络单元输出的仪表类别、类别置信度以及边界框等信息，对输出图像进行裁切；
所述边缘检测和分割单元用于定位图像中仪表盘的位置与范围；
所述文字检测识别单元包括CTPN网络文本检测模型和CRNN网络文本识别模型用于得到读取指针式仪表的文本信息；
所述读数单元用于生成最终读数。
2.根据权利要求1所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络，分别输出小尺度特征向量、中尺度特征向量、大尺度特征向量和全尺度特征向量；
所述多尺度决策融合模块将四个不同尺度的特征向量生成系数矩阵，并通过系数矩阵与小尺度特征向量、中尺度特征向量和大尺度特征向量进行融合生成输出向量。
3.根据权利要求2所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述小尺度CNN网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；
所述中尺度CNN网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；
所述大尺度CNN网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；
所述全尺度CNN网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷积模块和第七全尺度卷积模块；
各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和Relu函数单元。
4.根据权利要求3所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述多尺度融合输出模块中四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6×1的向量，这个向量被改变形状，然后通过一个SoftMax层，生成一个3×2的系数矩阵
Figure FDA0003964376470000021
在该系数矩阵中，满足以下等式：
Figure FDA0003964376470000031
其中，cj和dj表示各尺度系数矩阵的元素，并且都在[0,1]的范围内；最后，可以得到输入子集图像对应的位移向量为：
Figure FDA0003964376470000032
其中，u1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标，u3为大尺度特征向量的横坐标，v3为大尺度特征向量的纵坐标。
5.根据权利要求3所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述多尺度卷积神经网络单元的损失函数包括：
采用Ciou损失函数对任意方向检测框的最小外接矩形进行优化：
Figure FDA0003964376470000033
Figure FDA0003964376470000034
Figure FDA0003964376470000035
其中，IOU表示预测框与标注框的交并比，b表示预测检测框的中心点，bgt表示标注框的中心点，ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和wgt、hgt分别代表预测框的高宽和真实框的高宽；
置信度损失：
Figure FDA0003964376470000036
类别损失：
Figure FDA0003964376470000041
方向向量损失：
Figure FDA0003964376470000042
Figure FDA0003964376470000043
Figure FDA0003964376470000044
Figure FDA0003964376470000045
其中，
Figure FDA0003964376470000046
为正样本系数，特征图中存在正样本处
Figure FDA0003964376470000047
为1，其余为0，
Figure FDA0003964376470000048
和
Figure FDA0003964376470000049
分别表示检测框头部横坐标和其标签值，
Figure FDA00039643764700000410
和
Figure FDA00039643764700000411
分别表示检测框方向向量头部纵坐标和其标签值，
Figure FDA00039643764700000412
和
Figure FDA00039643764700000413
分别表示检测框方向向量尾部横坐标值和其标签值，
Figure FDA00039643764700000414
和
Figure FDA00039643764700000415
分别表示检测框方向向量尾部纵坐标值和其标签值。
6.根据权利要求1所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述边缘检测和分割单元同时考虑值域和空间域对图像进行非线性双边滤波，很好的保留边缘信息，滤波后的图像经过Sober算子方向模板在3×3邻域内计算梯度幅值，再对边缘信息进行非极大值抑制达到边缘细化效果；
根据图像的灰度分布分割出前景部分和背景部分，将灰度类间方差最大化，找到使方差最大的的阈值并定义为高阈值，将k倍的高阈值定义为低阈值，根据高低阈值进行边缘连接，其中k∈[0.5,0.8]。
7.根据权利要求1所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述识别卷积神经网络单元中MobileNetV3网络包括五个卷积层，输入的图像经过MobileNetV3网络卷积后输出相应的特征图，再经过FPN网络和PAN网络进行学习，最终送入Prediction Head模块预测出预测类别的置信度、预测边界框的坐标，然后通过非极大值抑制算法去除重复检测框，设定好阈值后最终显示出仪表的类别、类别置信度以及边界框。
8.根据权利要求1所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述读数单元根据检测到仪表的圆心、起始刻度与最大量程的位置获得提取范围，在提取范围内遍历所有边缘点，不断重复随机提取边缘点映射为极坐标空间直线，当每个边缘点的累加器超过预设值后提取线段，最后计算所有提取线段的长度，将长度最长的提取线段作为仪表的指针。
9.如权利要求8所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述读数单元提取范围中首先去除仪表开始刻度与最大量程刻度夹角区域，其次缩减检测半径避免将刻度线误认为指针。
10.如权利要求1所述基于深度学习的仪表角度校正与示数识别装置，其特征在于，所述识别预处理单元通过读取Canny边缘检测算法输出的二值化图像，遍历图像所有边缘，沿边缘梯度方向和反方向线段的交点在二维累加器中累加，将二维累加器中的计数从大到小排序，保留计数最多的位置作为仪表的圆心，再计算圆心到图像边缘点的距离得到半径。
CN202211493116.4A 2022-11-25 2022-11-25 一种基于深度学习的仪表角度校正与示数识别装置 Withdrawn CN116188755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211493116.4A CN116188755A (zh) 2022-11-25 2022-11-25 一种基于深度学习的仪表角度校正与示数识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211493116.4A CN116188755A (zh) 2022-11-25 2022-11-25 一种基于深度学习的仪表角度校正与示数识别装置

Publications (1)

Publication Number Publication Date
CN116188755A true CN116188755A (zh) 2023-05-30

Family

ID=86433370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211493116.4A Withdrawn CN116188755A (zh) 2022-11-25 2022-11-25 一种基于深度学习的仪表角度校正与示数识别装置

Country Status (1)

Country Link
CN (1) CN116188755A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095246A (zh) * 2023-10-20 2023-11-21 国网江西省电力有限公司超高压分公司 基于偏振成像的深度学习指针仪表读数识别方法
CN118155196A (zh) * 2024-02-22 2024-06-07 青岛博什兰物联技术有限公司 一种用于仪表盘识别的跨尺度检索算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095246A (zh) * 2023-10-20 2023-11-21 国网江西省电力有限公司超高压分公司 基于偏振成像的深度学习指针仪表读数识别方法
CN118155196A (zh) * 2024-02-22 2024-06-07 青岛博什兰物联技术有限公司 一种用于仪表盘识别的跨尺度检索算法

Similar Documents

Publication Publication Date Title
CN110363182B (zh) 基于深度学习的车道线检测方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN110866430B (zh) 一种车牌识别方法及装置
CN107122737B (zh) 一种道路交通标志自动检测识别方法
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN102509091B (zh) 一种飞机尾号识别方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN100565559C (zh) 基于连通分量和支持向量机的图像文本定位方法和装置
CN106529537A (zh) 一种数字仪表读数图像识别方法
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN101807257A (zh) 图像标签信息识别方法
CN114241469B (zh) 一种面向电表轮换过程的信息识别方法和装置
CN107480585B (zh) 基于dpm算法的目标检测方法
CN112734729B (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN112819753B (zh) 一种建筑物变化检测方法、装置、智能终端及存储介质
CN116188755A (zh) 一种基于深度学习的仪表角度校正与示数识别装置
CN108629286A (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN110223310B (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230530

WW01 Invention patent application withdrawn after publication