[go: up one dir, main page]

CN114581383A - 一种基于双目三维视觉的室外油浸式变压器火灾探测方法 - Google Patents

一种基于双目三维视觉的室外油浸式变压器火灾探测方法 Download PDF

Info

Publication number
CN114581383A
CN114581383A CN202210166184.3A CN202210166184A CN114581383A CN 114581383 A CN114581383 A CN 114581383A CN 202210166184 A CN202210166184 A CN 202210166184A CN 114581383 A CN114581383 A CN 114581383A
Authority
CN
China
Prior art keywords
point
camera
coordinate system
coordinates
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210166184.3A
Other languages
English (en)
Inventor
汤锦慧
姜德亮
伍发元
刘专
代小敏
毛梦婷
刘晓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
Nanchang University
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd, State Grid Corp of China SGCC filed Critical Nanchang University
Priority to CN202210166184.3A priority Critical patent/CN114581383A/zh
Publication of CN114581383A publication Critical patent/CN114581383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于双目三维视觉的室外油浸式变压器火灾探测方法，根据红外热像仪的成像效果，将红外热像仪几何成像模型视为针孔相机模型，建立针孔相机模型；制作棋盘格标定板；采用外加透射式红外辐射的方法，将特制棋盘格标定板附着在热源表面；采集多张不同角度下的标定板的红外图像，然后采用OpenCV提供的相机标定工具进行标定；采用爬梯横杆和竖杆的相交中心作为特征参考点，来进行红外热像仪外参的标定；采用EPnP算法和基于ICP的3D‑3D的位姿估计计算相机的位姿；红外图像和可见光图像的配准后进行异常高温区域及目标点的提取。本发明解决了单波段红外火灾探测方法受户外阳光、湿度、风速干扰存在较大误差的问题，提高了标定的准确性。

Description

一种基于双目三维视觉的室外油浸式变压器火灾探测方法
技术领域
本发明属于变压器技术领域，具体涉及一种基于双目三维视觉的室外油浸式变压器火灾探测方法。
背景技术
运行中的油浸电力变压器发生火灾和爆炸的原因主要为:绝缘损坏、接触不良、雷击过电压、负载短路、变压器过热、变压器外界火源引燃等，而变压器内部电气故障是引起变压器起火的主要原因。在散热系统的作用下，变压器内部在发生电气故障时表现主要特征为变压器外表面温度会快速升高。因此变压器的火灾探测主要以外表面温度为监测对象，火灾探测器以感温型火灾探测器为主，应用较多的油点型感温火灾探测器、火焰探测器、缆式线型感温火灾探测器等，采用接触式安装于变压器表面，存在响应速度慢、响应阈值单一、抗电磁干扰弱、容易受到外界环境干扰、无法准确判断出火源位置、影响变压器运维检修等缺点。
发明内容
本发明用于室外变压器的双目三维视觉融合火灾探测装置，解决了如何运用视觉方法在室外复杂环境下，针对变压器不规则表面，发现温度异常并且定位异常区域的空间位置。本发明在户外通过将变压器的热辐射图像与高灵敏度可见光视频图像融合，并通过三维恢复和重建，在对变压器火源位置进行判断的同时使监控信息更全面、清晰，从而实现对室外变压器火灾隐患的早期识别及预警，及时发现火源以避免事故的发生、扩大。
为实现对室外变压器火灾隐患的早期识别及预警，火灾探测系统的关键是在室外复杂环境下，以油浸式变压器的本体、油枕、套管升高座、散热器为对象，针对变压器不规则表面，发现温度异常并且定位异常区域的空间位置。本发明所采取的技术方案为：一种基于双目三维视觉的室外油浸式变压器火灾探测方法，包括如下步骤：
步骤S1、建立模型：根据红外热像仪的成像效果，将红外热像仪几何成像模型视为针孔相机模型，建立针孔相机模型；
步骤S2、内参标定：在黑白棋盘格标定板的基础上裁剪白色方格的方块，将裁剪的方块通过绝热泡沫胶粘在黑色方格处使其完全盖住黑色方格，得到棋盘格标定板；采用外加透射式红外辐射的方法，将特制棋盘格标定板附着在热源表面，棋盘格标定板中被处理过的格子和未被处理的格子绝热能力不同，导致表面的温度会有所不同，在红外图像中明显地显示出棋盘方格；采集多张不同角度下的标定板的红外图像，然后采用OpenCV提供的相机标定工具进行标定；
步骤S3、特征参考点坐标的采集：采用爬梯横杆和竖杆的相交中心作为特征参考点，来进行红外热像仪外参的标定；
步骤S4、采用EPnP算法和基于ICP的3D-3D的位姿估计计算相机的位姿：先用EPnP算法法估计相机的位姿，然后构建最小化重投影误差问题对估计值进行调整；当得到了特征参考点在相机坐标系下的位姿后，采用线性代数的方式进行ICP求解，
步骤S5、红外图像和可见光图像的配准：采用深度相机获取深度信息，然后利用红外图像和深度相机图像之间的匹配关系间接得到红外图像对应的深度信息；
步骤S6、异常高温区域及目标点的提取：在恢复出红外图像像素点对应的三维空间点之后，若监测到异常高温点，提取出其空间位置。
进一步优选，步骤S2的标定步骤如下：初始化，为角点分配空间坐标和像素坐标的存储空间；读取一幅标定板图像，提取角点；判断角点是否提取成功，如否，则直接进入判断所有标定图像是否都被读取；如是，则计算角点亚像素坐标，绘制角点，然后存储角点坐标，之后判断所有标定图像是否都被读取；如所有标定图像没有都被读取，则返回至“读取一幅标定板图像，提取角点”，如所有标定图像都被读取，则标定红外热象仪，输出结果。
进一步优选，步骤S4中，利用在世界坐标系下坐标已知的特征参考点，通过主成分分析法选择多个控制点，并将特征参考点用多个控制点的加权形式表示出来；在相机坐标系下，也进行同样表示，且特征参考点对应的权重分配与在世界坐标系下的相同；然后根据已得到的权重分配、红外热像仪内参和图像中二维点的坐标，计算各虚拟点在相机坐标系下的位置，进而可得参考点在相机坐标系下的坐标。
进一步优选，步骤S6中，利用一定大小的三维体素对变压器所在空间区域进行分割，行成一个体素阵列，然后统计各个体素中超过阈值的异常高温点，进而判断该区域是否是异常高温区域。
进一步优选，步骤S6中，首先利用一个长方体盒将比变压器包络起来，然后用边长为l的小方格体素对长方体进行分割，得到体素阵列；在得到体素阵列后，异常区域划分及确定目标点的具体步骤如下：
(1)对于任意一点pi，计算该点所在的体素格，记其所在体素格为Sj，该体素格对象的成员有其包含的所有空间点、所有高温异常空间点、最高温度、区域目标点。
(2)对于任意一点pi，若其温度大于设定的阈值Ts，则将其加入其对应体素格的异常空间点成员中。
(3)对于任意一体素格Sj，若其中的异常点数量大于设定的阈值N，则判定该区域为异常区域，该区域目标点为所有异常点的质心，区域最高温度为其中最高温度空间点的温度。
本发明的有益效果：改变了目前变压器传统火灾探测直接接触变压器表面探测方法，克服了传统接触式火宅探测器响应速度慢、响应阈值单一、抗电磁干扰弱、容易受到外界环境干扰、无法准确判断出火源位置、影响变压器运维检修等缺点，解决了单波段红外火灾探测方法受户外阳光、湿度、风速干扰存在较大误差的问题，采用加热、发光装置设计标定红外图像的棋盘标定设备，提高了标定的准确性，能够精确地对火灾火源位置进行判定，对户外环境下变压器火情险兆的探测与预警具有重要意义。
附图说明
图1是本发明的流程图。
图2是坐标投影示意图。
图3是内参标定流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参照图1，一种基于双目三维视觉的室外油浸式变压器火灾探测方法，包括以下步骤，
步骤S1、建立模型；
红外热像仪几何成像模型能够把外部的三维点投影到红外热像仪内部成像平面，构成了红外热像仪的内参数，所以红外热像仪内参的形式取决于红外热像仪几何成像模型的选取。根据红外热像仪的成像效果，将红外热像仪几何成像模型视为针孔相机模型，建立针孔相机模型，然后根据针孔相机模型进行内参的标定。在针孔相机模型中，相机成像被简化为小孔成像，只不过为了方便处理，常在数学处理的时候将成像平面挪到相机的前方。
设点P在世界坐标系下和相机坐标系下的坐标分别为Pw＝[Xw,Yw,Zw]T和Pc＝ [Xc,Yc,Zc]T，则世界坐标系中的坐标Pw到相机坐标系中的坐标Pc的转换公式如下：
Pc＝RPw+t (1)
其中R为三阶正交单位的旋转矩阵，t为平移向量。
考虑点P到一个平面上的中心投影，投影平面处于z＝f(f为焦距，单位为mm)处的位置，如图2所示。p＝[x,y]T是投影平面坐标，Pc＝[Xc,Yc,Zc]T是相机坐标系下的坐标，由相似关系可得：
Figure RE-GDA0003579063440000031
用齐次坐标将上式改写为矩阵的形式：
Figure RE-GDA0003579063440000041
设点P的像素坐标为[μ,ν]T，[μ0,ν0]T为相机中心(光心)的像素坐标，a和b分别为图像平面到像素平面在x轴和y轴方向上的尺度伸缩因子，γ为像素坐标系下μ轴和ν轴的不垂直因子，则像素坐标与图像坐标的关系为：
Figure RE-GDA0003579063440000042
将式(3)和式(4)代入到式(1)中，可得：
Figure RE-GDA0003579063440000043
令α＝af,令β＝bf则上式可简化为：
Figure RE-GDA0003579063440000044
式(6)中：K为相机的内参矩阵；D是相机的外参矩阵。
步骤S2、内参标定；
在黑白棋盘格标定板的基础上裁剪白色方格的28毫米方块，将裁剪的28毫米方块通过绝热泡沫胶粘在黑色方格处使其完全盖住黑色方格，就得到了本实施例的特制棋盘格标定板。采用外加透射式红外辐射的方法，将特制棋盘格标定板附着在热源表面，特制棋盘格标定板中被处理过的格子和未被处理的格子绝热能力不同，导致表面的温度会有所不同，所以就能在红外图像中明显地显示出棋盘方格。采集多张不同角度下的标定板的红外图像，然后采用 OpenCV提供的相机标定工具进行标定。如图3所示，标定步骤如下：初始化，为角点分配空间坐标和像素坐标的存储空间；读取一幅标定板图像，提取角点；判断角点是否提取成功，如否，则直接进入判断所有标定图像是否都被读取；如是，则计算角点亚像素坐标，绘制角点，然后存储角点坐标，之后判断所有标定图像是否都被读取；如所有标定图像没有都被读取，则返回至“读取一幅标定板图像，提取角点”，如所有标定图像都被读取，则标定红外热象仪，输出结果。
记标定板上第m点的世界齐次坐标为Pm＝[X,Y,Z,1]T，与其对应的所在二维相机平面的像素齐次坐标为pm＝[μ,ν,1]T，则依据针孔相机模型有：
spm＝K[R t]Pm (7)
其中，s为非零尺度因子，K为相机的内参矩阵，R为三阶正交单位的旋转矩阵，t为平移向量。
将棋盘格平面视为世界坐标系中z＝0的平面，则可得：
Figure RE-GDA0003579063440000051
[r1 r2 r3 t]是矩阵[R t]的列向量展开形式；
式(8)中：H为单应矩阵，将其按列向量展开有：
H＝[h1 h2 h3]＝λK[r1 r2 t] (9)
[h1 h2 h3]是向量[H]的列向量展开形式；
式(9)中：λ为任意比例系数。由三阶正交单位的旋转矩阵R正交性质可知r1和r2是正交的，则可得到内参的约束方程：
Figure RE-GDA0003579063440000052
为了方便计算，进行如下矩阵定义：
Figure RE-GDA0003579063440000053
其中
Figure RE-GDA0003579063440000054
Figure RE-GDA0003579063440000055
可以看到，B是一个对称矩阵，有效元素有6个，定义有效元素组成的向量bm为：
bm＝[B11 B12 B22 B13 B23 B33]T (12)
可以推导得到：
Figure RE-GDA0003579063440000056
式(13)中：
Figure RE-GDA0003579063440000057
[hi1,hi2,hi3]、[hj1,hj2,hj3]是向量[H]的行向量展开形式，
则约束方程可以重新表示为：
Figure RE-GDA0003579063440000058
假设采集得到的有n幅不同角度的图像，把所有的内参约束方程写成一个大的线性方程组：
Vbm＝0 (16)
式(16)中：V是一个2n×6的矩阵。当n≥3时，可得到bm的唯一解，常用奇异值分解法(Singular Value Decomposition，SVD)进行求解，然后便可求得内参矩阵K。
步骤S3、特征参考点坐标的采集；
红外热像仪的外参标定就是求解红外热像仪在世界坐标系下的位姿，和世界坐标系的选取以及自身的位姿相关。红外热像仪无法得到深度信息，需要求解相机的位姿就需要知道三个以上参考点的3维空间坐标和对应的2维图像坐标，然后构建Perspective-n-Point(PnP) 问题并求解。变压器上的爬梯格子是较为规则的形状，易于测量空间位置，且在红外图像中也较为明显，所以采用爬梯横杆和竖杆的相交中心作为特征参考点，一共10个，来进行红外热像仪外参的标定。
步骤S4、采用EPnP算法和基于ICP的3D-3D的位姿估计计算相机的位姿；
先用Efficient Perspective-n-Point(EPnP)方法估计相机的位姿，然后构建最小化重投影误差问题对估计值进行调整。
EPnP算法的核心思想究是将特征参考点的三维坐标用多个虚拟控制点的线性组合表示。利用在世界坐标系下坐标已知的特征参考点，通过主成分分析法选择4个控制点，并将特征参考点用4个控制点的加权形式表示出来。在相机坐标系下，也进行同样表示，且特征参考点对应的权重分配与在世界坐标系下的相同。然后根据已得到的权重分配、红外热像仪内参和图像中二维点的坐标，计算各虚拟点在相机坐标系下的位置，进而可得参考点在相机坐标系下的坐标。
设特征参考点在世界坐标系和相机坐标系下的坐标分别为
Figure RE-GDA0003579063440000061
和
Figure RE-GDA0003579063440000062
Figure RE-GDA0003579063440000063
4个控制点在世界坐标系和相机坐标系下的坐标分别为
Figure RE-GDA0003579063440000064
Figure RE-GDA0003579063440000065
和
Figure RE-GDA0003579063440000066
则各特征参考点可表示如下：
Figure RE-GDA0003579063440000067
式中，αij为每个标志点对应4个加权系数aij(j＝1，2，3，4)且和为1。
假设红外热像仪的外参为[R t]，则有：
Figure RE-GDA0003579063440000068
由于特征参考点可以表示为控制点的加权和形式，进一步可以得到：
Figure RE-GDA0003579063440000069
将式(18)代入式(19)中，可得：
Figure RE-GDA0003579063440000071
根据上式可以看出，对于某一空间点，各控制点与之对应的权重在两个坐标系下是相同的，求解出控制点在相机坐标系下的坐标后便能进一步求得热像仪的外参。
设ui(i＝1,…,n)＝[μi,νi]T是参考点Pi(i＝1,…,n)在图像平面上(z＝1下的xy平面)的投影点，则由相机的投影模型可得：
Figure RE-GDA0003579063440000072
可得两个约束方程：
Figure RE-GDA0003579063440000073
上式中除了控制点的坐标
Figure RE-GDA0003579063440000074
是未知的，其余都是已知的，把所有点对应的约束方程组合起来，得到线性方程：
Mcx＝0 (23)
式(23)中：M表示2n*12的矩阵，
Figure RE-GDA0003579063440000075
且x在M的右零空间中，于是有：
Figure RE-GDA0003579063440000076
式(24)中：N是MTM核空间的维数，vi是M的右奇异向量，对应的奇异值为0。βi是待定系数，所以对于第i个控制点有：
Figure RE-GDA0003579063440000077
式(25)中：
Figure RE-GDA0003579063440000078
为特征向量vk的第i个3×1的子向量。
得到
Figure RE-GDA0003579063440000079
后便可根据式(20)计算出参考点的坐标
Figure RE-GDA00035790634400000710
然后利用ICP方法求解出相机位姿。
当得到了特征参考点在相机坐标系下的位姿后，位姿求解问题就转变为了根据一组匹配好的3D点进行位姿估计的问题，通常可以利用ICP求解。ICP求解有线性和非线性两种不同方式，在3D点对匹配已知的情况下，非线性求解方式也是能得到解析解的，没有必要再进行迭代优化，所以采用线性代数的方式进行ICP求解，步骤如下：
(1)计算世界坐标系下的参考点质心
Figure RE-GDA00035790634400000711
和去质心坐标矩阵A：
Figure RE-GDA0003579063440000081
(2)计算相机坐标系下的参考点质心
Figure RE-GDA0003579063440000082
和去质心坐标矩阵B：
Figure RE-GDA0003579063440000083
(3)定义矩阵H＝BTA，并计算H的SVD分解：H＝U∑VT。
(4)计算红外热像仪位姿中的旋转矩阵R：R＝UVT；若|R|<0，则R[2,:]＝-R[2,:]。
(5)计算位姿中的平移向量t：
Figure RE-GDA0003579063440000084
步骤S5、红外图像和可见光图像的配准：
在知道了相机的内参和外参后，采用深度相机获取深度信息，然后利用红外图像和深度相机图像之间的匹配关系间接得到红外图像对应的深度信息。
假设在红外相机坐标系中，某一点P的空间坐标为P[X,Y,Z]T，其在红外图像中的像素点为p1，在可见光图像中的像素点为p2，则两个像素点的像素位置为：
Figure RE-GDA0003579063440000085
式(29)中：K1为红外热像仪的内参；K2为可见光相机内参；R,t为热像仪坐标系与可见光坐标系之间的相对位姿关系。采用齐次坐标可将上式改写为：
Figure RE-GDA0003579063440000086
令x1＝K1 -1p1，x2＝K2 -1，代入式(30)中可得：
x2＝Rx1+t (31)
将上式两侧同时与t做外积，然后再左乘
Figure RE-GDA0003579063440000087
可以得到：
Figure RE-GDA0003579063440000088
重新代入p1和p2，有：
Figure RE-GDA0003579063440000089
令E＝t∧R，它被成为本质矩阵，上式(33)则被成为对极约束。可以看到，K1和K2是已知的，若求解出了E，则可根据其中一幅图像中某点的像素坐标求解在另一幅图像中与其对应的点的像素坐标，实现了图像间的配准。
步骤S6、异常高温区域及目标点的提取：在恢复出红外图像像素点对应的三维空间点之后，若监测到异常高温点，便可以提取出其空间位置。
实际上，若变压器有温度异常，从红外图像中提取出来的高温区域大概率是一个不规则形状，所以很难基于图像的方法去进行异常区域三维空间的有效均匀分割。于是，本发明利用一定大小的三维体素对变压器所在空间区域进行分割，行成一个体素阵列，然后统计各个体素中超过阈值的异常高温点，进而判断该区域是否是异常高温区域。实现对室外变压器火灾隐患的早期识别及预警，及时发现火源以避免事故的发生、扩大。
首先利用一个长方体盒将比变压器包络起来，然后用边长为l的小方格体素对长方体进行分割，得到体素阵列。在得到体素阵列后，异常区域划分及确定目标点的具体步骤如下：
(1)对于任意一点pi，计算该点所在的体素格，记其所在体素格为Sj，该体素格对象的成员有其包含的所有空间点、所有高温异常空间点、最高温度、区域目标点。
(2)对于任意一点pi，若其温度大于设定的阈值Ts，则将其加入其对应体素格的异常空间点成员中。
(3)对于任意一体素格Sj，若其中的异常点数量大于设定的阈值N，则判定该区域为异常区域，该区域目标点为所有异常点的质心，区域最高温度为其中最高温度空间点的温度。
实施例1
步骤S1、建立模型：将红外热像仪几何成像模型视为针孔相机模型，建立针孔相机模型，然后根据针孔相机模型进行内参的标定；
步骤S2、内参标定
在对可见光相机进行标定的时候，通常使用打印的黑白棋盘格就能完成标定工作。但对红外热成像相机而言，普通的黑白棋盘格标定板格子之间并没有热辐射差异，所以在红外图像中是没有格子纹理信息的，无法作为红外热像仪的标定板。因此，本实施例改进了张氏标定法，制作了一块在红外图像中也有清晰明显的格子纹理的标定板。
普通的黑白棋盘格标定板，每个棋盘格的长宽都是28毫米；本实施例的特制棋盘格标定板，在黑白棋盘格标定板的基础上裁剪白色方格的28毫米方块，将裁剪的28毫米方块通过绝热泡沫胶粘在黑色方格处使其完全盖住黑色方格，就得到了本实施例的特制棋盘格标定板。采用外加透射式红外辐射的方法，将特制棋盘格标定板附着在热源表面，特制棋盘格标定板中被处理过的格子和未被处理的格子绝热能力不同，导致表面的温度会有所不同，所以就能在红外图像中明显地显示出棋盘方格。
采集多张不同角度下的标定板的红外图像，然后采用OpenCV提供的相机标定工具进行标定，参照图3，标定步骤如下：初始化，为角点分配空间坐标和像素坐标的存储空间；读取一幅标定板图像，提取角点；判断角点是否提取成功，如否，则直接进入判断所有标定图像是否都被读取；如是，则计算角点亚像素坐标，绘制角点，然后存储角点坐标，之后判断所有标定图像是否都被读取；如所有标定图像没有都被读取，则返回至“读取一幅标定板图像，提取角点”，如所有标定图像都被读取，则标定红外热象仪，输出结果。
标定得到的内参矩阵结果如式(34)所示，其对应的反投影误差为0.456。
Figure RE-GDA0003579063440000101
2红热像仪外参的标定
步骤S3、特征参考点坐标的采集：为了进行外参标定就需要提取出爬梯横杆和竖杆的相交中心的在图像中的像素坐标和在空间中的三维坐标。首先，进行像素坐标的提取，使用鼠标选定参考点附近的2D点，然后查找附近的角点并亚像素化，将所有角点的质心坐标作为实际的特征参考点的像素坐标，得到的10个参考点的像素坐标分别为：(705，510)、(706， 573)、(707，632)、(707，695)、(707，757)、(763，511)、(762，570)、(763，631)、(763，693)、(763，755)。
特征参考点空间坐标通过实际测量得到，其坐标分别为(2824，2484，2638)、(2799， 2484，2240)、(2774，2484，1842)、(2749，2484，1444)、(2724，2484，1046)、(2824，2133，2638)、(2799，2133，2240)、(2774，2133，1842)、(2749，2133，1444)、(2724， 2133，1046),单位为毫米(mm)。
步骤S4、采用EPnP算法基于ICP的3D-3D的位姿估计计算相机的位姿；
利用OpenCV中的solvePnP工具，采用EPnP方法进行外参标定，得到相机外参如下：
Figure RE-GDA0003579063440000102
tcw＝[3900.93 3497.12 6020.03]T
则相机原点在世界坐标系下的坐标为：
twc＝-Rcw -1·tcw＝[-5589.39 2853.46 4230.19]T
步骤S5、红外图像和可见光图像的配准
由于红外图像和可见光图像之间的差异性较大，灰度和纹理特征都不一致，自动提取特征参考点并配准的效果很差。所以采用手动的方式进行特征参考点的提取和匹配，分别在红外图像和深度相机获得的可见光图像中提取比较明显的角点作为特征参考点并进行配对。
在式(33)中，令
Figure RE-GDA0003579063440000103
求解出F便能完成图像像素点之间的映射转换。接下来，通过八点法进行F的求解。
考虑一对匹配点，齐次像素坐标分别为p1＝[u1,v1,1]T，p2＝[u2,v2,1]T，根据对极约束有：
Figure RE-GDA0003579063440000104
根据所有匹配点的对极约束，就可以得到如下线性方程组：
Figure RE-GDA0003579063440000111
该线性方程组包含了8对配对的特征点的对极约束关系，方程的解f就在系数矩阵的零空间。代入各特征参考点的像素坐标，可求得F矩阵为：
Figure RE-GDA0003579063440000112
再求得F之后，同样可以根据SVD分解法求得红外热像仪和深度相机之间的相对位姿关系R和t。由于
Figure RE-GDA0003579063440000113
所以，对红外图像中任意点p1，都可求得可见光图像中与之对应的点p2，根据点p2的深度d就可获得其对应的空间点在深度相机下的坐标，进而根据红外热像仪和深度相机之间的相对位姿和红外热像仪的外参恢复该点在世界坐标系下的坐标。
步骤S6、异常高温区域及目标点的提取
首先利用一个长方体盒将比变压器包络起来，然后用边长为l的小方格体素对长方体进行分割，得到体素阵列。在得到体素阵列后，异常区域划分及确定目标点的具体步骤如下：
(1)对于任意一点pi，计算该点所在的体素格，记其所在体素格为Sj，该体素格对象的成员有其包含的所有空间点、所有高温异常空间点、最高温度、区域目标点。
(2)对于任意一点pi，若其温度大于设定的阈值Ts，则将其加入其对应体素格的异常空间点成员中。
(3)对于任意一体素格Sj，若其中的异常点数量大于设定的阈值N，则判定该区域为异常区域，该区域目标点为所有异常点的质心，区域最高温度为其中最高温度空间点的温度。
观察异常区域，实现对室外变压器火灾隐患的早期识别及预警，及时发现火源以避免事故的发生、扩大。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，包括如下步骤：
步骤S1、建立模型：根据红外热像仪的成像效果，将红外热像仪几何成像模型视为针孔相机模型，建立针孔相机模型；
步骤S2、内参标定：在黑白棋盘格标定板的基础上裁剪白色方格的方块，将裁剪的方块通过绝热泡沫胶粘在黑色方格处使其完全盖住黑色方格，得到棋盘格标定板；采用外加透射式红外辐射的方法，将特制棋盘格标定板附着在热源表面，棋盘格标定板中被处理过的格子和未被处理的格子绝热能力不同，导致表面的温度会有所不同，在红外图像中明显地显示出棋盘方格；采集多张不同角度下的标定板的红外图像，然后采用OpenCV提供的相机标定工具进行标定；
步骤S3、特征参考点坐标的采集：采用爬梯横杆和竖杆的相交中心作为特征参考点，来进行红外热像仪外参的标定；
步骤S4、采用EPnP算法和基于ICP的3D-3D的位姿估计计算相机的位姿：先用EPnP算法法估计相机的位姿，然后构建最小化重投影误差问题对估计值进行调整；当得到了特征参考点在相机坐标系下的位姿后，采用线性代数的方式进行ICP求解，
步骤S5、红外图像和可见光图像的配准：采用深度相机获取深度信息，然后利用红外图像和深度相机图像之间的匹配关系间接得到红外图像对应的深度信息；
步骤S6、异常高温区域及目标点的提取：在恢复出红外图像像素点对应的三维空间点之后，若监测到异常高温点，提取出其空间位置。
2.根据权利要求1所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S2的标定步骤如下：初始化，为角点分配空间坐标和像素坐标的存储空间；读取一幅标定板图像，提取角点；判断角点是否提取成功，如否，则直接进入判断所有标定图像是否都被读取；如是，则计算角点亚像素坐标，绘制角点，然后存储角点坐标，之后判断所有标定图像是否都被读取；如所有标定图像没有都被读取，则返回至“读取一幅标定板图像，提取角点”，如所有标定图像都被读取，则标定红外热象仪，输出结果。
3.根据权利要求1所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S4中，利用在世界坐标系下坐标已知的特征参考点，通过主成分分析法选择多个控制点，并将特征参考点用多个控制点的加权形式表示出来；在相机坐标系下，也进行同样表示，且特征参考点对应的权重分配与在世界坐标系下的相同；然后根据已得到的权重分配、红外热像仪内参和图像中二维点的坐标，计算各虚拟点在相机坐标系下的位置，进而可得参考点在相机坐标系下的坐标。
4.根据权利要求1所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S6中，利用一定大小的三维体素对变压器所在空间区域进行分割，行成一个体素阵列，然后统计各个体素中超过阈值的异常高温点，进而判断该区域是否是异常高温区域。
5.根据权利要求1所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S6中，首先利用一个长方体盒将比变压器包络起来，然后用边长为l的小方格体素对长方体进行分割，得到体素阵列；在得到体素阵列后，异常区域划分及确定目标点的具体步骤如下：
(1)对于任意一点pi，计算该点所在的体素格，记其所在体素格为Sj，该体素格对象的成员有其包含的所有空间点、所有高温异常空间点、最高温度、区域目标点；
(2)对于任意一点pi，若其温度大于设定的阈值Ts，则将其加入其对应体素格的异常空间点成员中；
(3)对于任意一体素格Sj，若其中的异常点数量大于设定的阈值N，则判定该区域为异常区域，该区域目标点为所有异常点的质心，区域最高温度为其中最高温度空间点的温度。
6.根据权利要求1所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S1中，设点P在世界坐标系下和相机坐标系下的坐标分别为Pw＝[Xw,Yw,Zw]T和Pc＝[Xc,Yc,Zc]T，则世界坐标系中的坐标Pw到相机坐标系中的坐标Pc的转换公式如下：
Pc＝RPw+t (1)
其中R为三阶正交单位的旋转矩阵，t为平移向量；
考虑点P到一个平面上的中心投影，投影平面处于z＝f处的位置，f为焦距，p＝[x,y]T是投影平面坐标，Pc＝[Xc,Yc,Zc]T是相机坐标系下的坐标，由相似关系可得：
Figure FDA0003516116200000021
用齐次坐标将上式改写为矩阵的形式：
Figure FDA0003516116200000022
设点P的像素坐标为[μ,ν]T，[μ0,ν0]T为相机中心的像素坐标，a和b分别为图像平面到像素平面在x轴和y轴方向上的尺度伸缩因子，γ为像素坐标系下μ轴和ν轴的不垂直因子，则像素坐标与图像坐标的关系为：
Figure FDA0003516116200000031
将式(3)和式(4)代入到式(1)中，可得：
Figure FDA0003516116200000032
令α＝af,令β＝bf则上式可简化为：
Figure FDA0003516116200000033
式(6)中：K为相机的内参矩阵；D是相机的外参矩阵。
7.根据权利要求6所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S2中，记标定板上第m点的世界齐次坐标为Pm＝[X,Y,Z,1]T，与其对应的所在二维相机平面的像素齐次坐标为pm＝[μ,ν,1]T，则依据针孔相机模型有：
spm＝K[R t]Pm (7)
其中，s为非零尺度因子，K为相机的内参矩阵，R为三阶正交单位的旋转矩阵，t为平移向量；
将棋盘格平面视为世界坐标系中z＝0的平面，则可得：
Figure FDA0003516116200000034
[r1 r2 r3 t]是矩阵[R t]的列向量展开形式；
式(8)中：H为单应矩阵，将其按列向量展开有：
H＝[h1 h2 h3]＝λK[r1 r2 t] (9)
[h1 h2 h3]是向量[H]的列向量展开形式；
式(9)中：λ为任意比例系数；由三阶正交单位的旋转矩阵R正交性质可知r1和r2是正交的，则可得到内参的约束方程：
Figure FDA0003516116200000035
为了方便计算，进行如下矩阵定义：
Figure FDA0003516116200000036
其中
Figure FDA0003516116200000037
Figure FDA0003516116200000041
可以看到，B是一个对称矩阵，有效元素有6个，定义有效元素组成的向量bm为：
bm＝[B11 B12 B22 B13 B23 B33]T (12)
可以推导得到：
Figure FDA0003516116200000042
式(13)中：
Figure FDA0003516116200000043
[hi1,hi2,hi3]、[hj1,hj2,hj3]是向量[H]的行向量展开形式，
则约束方程可以重新表示为：
Figure FDA0003516116200000044
假设采集得到的有n幅不同角度的图像，把所有的内参约束方程写成一个大的线性方程组：
Vbm＝0 (16)
式(16)中：V是一个2n×6的矩阵；当n≥3时，可得到bm的唯一解，常用奇异值分解法进行求解，然后便可求得内参矩阵K。
8.根据权利要求7所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S4中，设特征参考点在世界坐标系和相机坐标系下的坐标分别为
Figure FDA0003516116200000045
和
Figure FDA0003516116200000046
4个控制点在世界坐标系和相机坐标系下的坐标分别为
Figure FDA0003516116200000047
(j＝1,2,3,4)和
Figure FDA0003516116200000048
(j＝1,2,3,4)；则各特征参考点可表示如下：
Figure FDA0003516116200000049
式中，αij为每个标志点对应4个加权系数aij(j＝1，2，3，4)且和为1；
假设红外热像仪的外参为[R t]，则有：
Figure FDA00035161162000000410
由于特征参考点可以表示为控制点的加权和形式，进一步可以得到：
Figure FDA00035161162000000411
将式(18)代入式(19)中，可得：
Figure FDA0003516116200000051
根据上式可以看出，对于某一空间点，各控制点与之对应的权重在两个坐标系下是相同的，求解出控制点在相机坐标系下的坐标后便能进一步求得热像仪的外参；
设ui(i＝1,…,n)＝[μi,νi]T是参考点Pi(i＝1,…,n)在图像平面上(z＝1下的xy平面)的投影点，则由相机的投影模型可得：
Figure FDA0003516116200000052
可得两个约束方程：
Figure FDA0003516116200000053
上式中除了控制点的坐标
Figure FDA0003516116200000054
是未知的，其余都是已知的，把所有点对应的约束方程组合起来，得到线性方程：
Mcx＝0 (23)
式(23)中：M表示2n*12的矩阵，
Figure FDA0003516116200000055
且x在M的右零空间中，于是有：
Figure FDA0003516116200000056
式(24)中：N是MTM核空间的维数，vi是M的右奇异向量，对应的奇异值为0；βi是待定系数，所以对于第i个控制点有：
Figure FDA0003516116200000057
式(25)中：
Figure FDA0003516116200000058
为特征向量vk的第i个3×1的子向量；
得到
Figure FDA0003516116200000059
后便可根据式(20)计算出参考点的坐标
Figure FDA00035161162000000510
然后利用ICP方法求解出相机位姿。
9.根据权利要求8所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S4中，采用线性代数的方式进行ICP求解，步骤如下：
(1)计算世界坐标系下的参考点质心
Figure FDA00035161162000000511
和去质心坐标矩阵A：
Figure FDA00035161162000000512
(2)计算相机坐标系下的参考点质心
Figure FDA00035161162000000513
和去质心坐标矩阵B：
Figure FDA0003516116200000061
(3)定义矩阵H＝BTA，并计算H的SVD分解：H＝U∑VT；
(4)计算红外热像仪位姿中的旋转矩阵R：R＝UVT；若|R|<0，则R[2,:]＝-R[2,:]；
(5)计算位姿中的平移向量t：
Figure FDA0003516116200000062
10.根据权利要求9所述的一种基于双目三维视觉的室外油浸式变压器火灾探测方法，其特征在于，步骤S5中，假设在红外相机坐标系中，某一点P的空间坐标为P[X,Y,Z]T，其在红外图像中的像素点为p1，在可见光图像中的像素点为p2，则两个像素点的像素位置为：
Figure FDA0003516116200000063
式(29)中：K1为红外热像仪的内参；K2为可见光相机内参；R,t为热像仪坐标系与可见光坐标系之间的相对位姿关系；采用齐次坐标可将上式改写为：
Figure FDA0003516116200000064
令x1＝K1 -1p1，x2＝K2 -1，代入式(30)中可得：
x2＝Rx1+t (31)
将上式两侧同时与t做外积，然后再左乘
Figure FDA0003516116200000065
可以得到：
Figure FDA0003516116200000066
重新代入p1和p2，有：
Figure FDA0003516116200000067
令E＝t∧R，它被成为本质矩阵，上式(33)则被成为对极约束；可以看到，K1和K2是已知的，若求解出了E，则可根据其中一幅图像中某点的像素坐标求解在另一幅图像中与其对应的点的像素坐标，实现了图像间的配准。
CN202210166184.3A 2022-02-23 2022-02-23 一种基于双目三维视觉的室外油浸式变压器火灾探测方法 Pending CN114581383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210166184.3A CN114581383A (zh) 2022-02-23 2022-02-23 一种基于双目三维视觉的室外油浸式变压器火灾探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210166184.3A CN114581383A (zh) 2022-02-23 2022-02-23 一种基于双目三维视觉的室外油浸式变压器火灾探测方法

Publications (1)

Publication Number Publication Date
CN114581383A true CN114581383A (zh) 2022-06-03

Family

ID=81770561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210166184.3A Pending CN114581383A (zh) 2022-02-23 2022-02-23 一种基于双目三维视觉的室外油浸式变压器火灾探测方法

Country Status (1)

Country Link
CN (1) CN114581383A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758079A (zh) * 2023-08-18 2023-09-15 杭州浩联智能科技有限公司 一种基于火花像素的危害预警方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304710A1 (en) * 2010-07-26 2013-11-14 Ucl Business Plc Method and system for anomaly detection in data sets
CN108388341A (zh) * 2018-02-11 2018-08-10 苏州笛卡测试技术有限公司 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
KR20200059520A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 산불 탐지 파라미터 생성 장치 및 이를 포함한 산불 탐지 장치
CN112115874A (zh) * 2020-09-21 2020-12-22 武汉大学 一种融合云端的视觉slam系统及方法
CN112215905A (zh) * 2020-10-22 2021-01-12 北京易达恩能科技有限公司 移动式红外测温系统的自动标定方法
CN112634374A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112785702A (zh) * 2020-12-31 2021-05-11 华南理工大学 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN113299035A (zh) * 2021-05-21 2021-08-24 上海电机学院 一种基于人工智能和双目视觉的火灾识别方法及系统
US20220044949A1 (en) * 2020-08-06 2022-02-10 Carl Zeiss Smt Gmbh Interactive and iterative training of a classification algorithm for classifying anomalies in imaging datasets

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304710A1 (en) * 2010-07-26 2013-11-14 Ucl Business Plc Method and system for anomaly detection in data sets
CN108388341A (zh) * 2018-02-11 2018-08-10 苏州笛卡测试技术有限公司 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
KR20200059520A (ko) * 2018-11-21 2020-05-29 대한민국(산림청 국립산림과학원장) 산불 탐지 파라미터 생성 장치 및 이를 포함한 산불 탐지 장치
US20220044949A1 (en) * 2020-08-06 2022-02-10 Carl Zeiss Smt Gmbh Interactive and iterative training of a classification algorithm for classifying anomalies in imaging datasets
CN112115874A (zh) * 2020-09-21 2020-12-22 武汉大学 一种融合云端的视觉slam系统及方法
CN112215905A (zh) * 2020-10-22 2021-01-12 北京易达恩能科技有限公司 移动式红外测温系统的自动标定方法
CN112634374A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 双目相机的立体标定方法、装置、系统及双目相机
CN112785702A (zh) * 2020-12-31 2021-05-11 华南理工大学 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN113299035A (zh) * 2021-05-21 2021-08-24 上海电机学院 一种基于人工智能和双目视觉的火灾识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
任贵文;: "基于OpenCV的红外与可见光双摄像机标定方法研究", 科学技术与工程, no. 03, 28 January 2016 (2016-01-28), pages 211 - 214 *
刘今越;唐旭;贾晓辉;杨冬;李铁军: "三维激光雷达-相机间外参的高效标定方法", 仪器仪表学报, no. 11, 15 November 2019 (2019-11-15) *
张志彦;付冬梅: "基于体素分割与识别的红外目标三维建模", 激光与红外, no. 07, 20 July 2007 (2007-07-20) *
李斌;谭光华;高春鸣: "改进基本矩阵计算和优化的多摄像机并行标定算法", 计算机应用, no. 08, 1 August 2013 (2013-08-01) *
焦宏伟;秦石乔;胡春生;王省书: "一种脉冲激光雷达与摄像机标定方法的研究", 中国激光, no. 01, 10 January 2011 (2011-01-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758079A (zh) * 2023-08-18 2023-09-15 杭州浩联智能科技有限公司 一种基于火花像素的危害预警方法
CN116758079B (zh) * 2023-08-18 2023-12-05 杭州浩联智能科技有限公司 一种基于火花像素的危害预警方法

Similar Documents

Publication Publication Date Title
Kukelova et al. Real-time solution to the absolute pose problem with unknown radial distortion and focal length
CN101908231B (zh) 处理含有主平面场景的三维点云重建方法和系统
US8290305B2 (en) Registration of 3D point cloud data to 2D electro-optical image data
CN108805936B (zh) 摄像机外参标定方法、装置和电子设备
CN111385558B (zh) Tof摄像模组精度测量方法及其系统
Wang et al. Single view based pose estimation from circle or parallel lines
CN109443209A (zh) 一种基于单应性矩阵的线结构光系统标定方法
CN113298883B (zh) 用于对多个相机进行标定的方法、电子设备和存储介质
CN101943563A (zh) 基于空间平面约束的线结构光视觉传感器的快速标定方法
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN104729481B (zh) 一种基于pnp透视模型的合作目标位姿精度测量方法
CN115511878A (zh) 一种边坡地表位移监测方法、装置、介质及设备
CN114862973A (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN113129255B (zh) 检测包裹的方法、计算设备、系统及存储介质
CN109506569B (zh) 一种基于双目视觉监测结晶过程方块状和柱状晶体三维尺寸的方法
CN119515938A (zh) 一种基于双光谱成像的多目标、远距离场域测温方法
CN114581383A (zh) 一种基于双目三维视觉的室外油浸式变压器火灾探测方法
Tu et al. Detecting facade damage on moderate damaged type from high-resolution oblique aerial images
CN120125650B (zh) 一种基于异源图像配准及双目定位的位置监测方法及系统
Recker et al. Visualization of scene structure uncertainty in multi-view reconstruction
CN112907650A (zh) 一种基于双目视觉的云高测量方法及设备
Bier et al. Error analysis of stereo calibration and reconstruction
CN114910021B (zh) 一种光栅式双目立体视觉三维测量系统及方法
CN114120372B (zh) 基于人体检测识别的空间客流热力分布方法及系统
CN117726803A (zh) 基于视觉仿真先验信息的目标激光条纹中心线提取方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 330096 No. 88, Minqiang Road, private science and Technology Park, Qingshanhu District, Nanchang City, Jiangxi Province

Applicant after: STATE GRID JIANGXI ELECTRIC POWER COMPANY LIMITED Research Institute

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: Nanchang University

Address before: 330096 No.88 Minqiang Road, private science and Technology Park, high tech Zone, Nanchang City, Jiangxi Province

Applicant before: STATE GRID JIANGXI ELECTRIC POWER COMPANY LIMITED Research Institute

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: Nanchang University

CB02 Change of applicant information