[go: up one dir, main page]

CN112949478B - 基于云台相机的目标检测方法 - Google Patents

基于云台相机的目标检测方法 Download PDF

Info

Publication number
CN112949478B
CN112949478B CN202110225243.5A CN202110225243A CN112949478B CN 112949478 B CN112949478 B CN 112949478B CN 202110225243 A CN202110225243 A CN 202110225243A CN 112949478 B CN112949478 B CN 112949478B
Authority
CN
China
Prior art keywords
cradle head
camera
pan
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110225243.5A
Other languages
English (en)
Other versions
CN112949478A (zh
Inventor
兰骏
贺飏
杨峰
李修亮
林文益
武诗洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guozi Robot Technology Co Ltd
Original Assignee
Zhejiang Guozi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guozi Robot Technology Co Ltd filed Critical Zhejiang Guozi Robot Technology Co Ltd
Priority to CN202110225243.5A priority Critical patent/CN112949478B/zh
Publication of CN112949478A publication Critical patent/CN112949478A/zh
Application granted granted Critical
Publication of CN112949478B publication Critical patent/CN112949478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提出了基于云台相机的目标检测方法，包括进行全景图像拍摄，对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息；控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。通过已知物体相对于云台相机的空间位置，自动解算得到云台转动量，调控云台姿态对准目标物体。能够解决机器人巡检过程中云台变倍相机对准目标，自动选择合适的倍率去放大观察目标的细节，目标始终保持在图像的中心。

Description

基于云台相机的目标检测方法
技术领域
本申请属于视觉拍摄领域，尤其涉及基于云台相机的目标检测方法。
背景技术
当今监控市场通常有着在不同倍率下定位感兴趣目标的需求，从而对目标整体到局部细节的全面观测。现有技术通常聚焦与如何在对准目标的前提下，进行不同倍率的观测，这些方法可以归结为两种，一种是基于模板匹配在不同倍率下定位目标，这个方法需要在不同倍率下采集模板图像，并且要保证目标在不同倍率下都在图像内才能进行定位，这个假设在实际应用时由于变倍过程中相机光心偏移变得不成立，且不同倍率下采集模板图像工作繁琐。另一种方法是先在小倍率下定位感兴趣目标，然后调整相机云台使得图像中心对准目标中心，接着进行变倍。这种方法并没有考虑在变倍过程中光心的偏移，导致从小倍率变到大倍率时，目标很有可能已经逃出图像，这样在大倍率下无法定位目标。
最相似实现方案CN108805940,此方案标定得到不同倍率下的焦距和光心，利用投影原理得到不同倍率下感兴趣目标的定位区域。这种方法需要标定相机在不同倍率下的视野，和不同变率下的光心位置，不同倍率下求得的目标定位区域完全取决于标定的准确性，这对标定提出较高的要求，并且该方法并没有详细阐述如何去对准被检测物体，以及如何去修正云台使得被检测物体中心在相机中心。
发明内容
本申请实施例提出了基于云台相机的目标检测方法，通过已知物体相对于云台相机的空间位置，自动解算得到云台转动量，调控云台姿态，对准目标物体。解决机器人巡检过程中，云台变倍相机自动去对准感兴趣目标，自动选择合适的倍率去放大观察目标的细节，并且目标始终保持在图像的中心。
具体的，本申请实施例提出的基于云台相机的目标检测方法，包括：
控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；
对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；
控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；
根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。
可选的，所述控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，包括：
预先使用激光雷达构建激光点云地图，在得到的激光点云地图中构建机器人巡检路线；
控制机器人沿巡检路线行进，采集变电站的全景图像同时获取拍摄点的定位数据，使用采集的全景图像和SFM技术恢复变电站的三维点云地图，在采集的全景图像中标注代表设备的兴趣目标，得到兴趣目标的模板图像Imodel，感兴趣目标在模板图像中的位置[Plt,Pbr]，目标中心在图像中的点Pmid和目标中心在三维空间中的坐标
获取拍摄点的定位数据对应的机器人三维空间坐标
可选的，所述对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角，包括：
通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置
已知云台相机在世界坐标系下的位置感兴趣目标在世界坐标系下的位置通过标定得到云台与摄像机的位置关系由于云台与摄像机之间刚性连接，利用三维空间刚体变换，得到云台水平θz和竖直θy的转动角度，具体变换公式如公式一至公式四所示：
θz＝atan2(Py,Px) 公式三
θy＝atan2(Pz,Py) 公式四
得到包含水平转角θz和竖直转角θy在内的第一云台转角。
可选的，所述通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置包括：
已知机器人的空间位置，固定AprilTag标定板，云台姿态置于零位，云台相机置于1倍率，遥控机器人面向AprilTag标定板行走；
每隔固定距离或者角度采集包含AprilTag标定板图像和机器人定位数据，按照S型路线重复行走，；
利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数人工测量得到两者的高度关系；
通过标定得到的外参数得到了云台相机在世界坐标系下的位置
可选的，所述控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量，包括：
控制云台相机在1倍率下拍摄图像Itest，对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取；
完成特征提取后，进行快速特征点匹配得到特征点的对应关系，利用GMS算法对得到的特征点关系进行优化，利用RANSAC算法再排除误匹配的特征点，如果保留下的特征点对大于等于第一阈值，基于保留下来的特征点对求取单应性矩阵；
在模板图像Imodel图中，得到目标位置[Plt,Pbr]和中心点Pmid，则根据如下公式五及公式六得到Itest图中目标所在的位置[P'lt,P'br]；
x2′＝x2/z2
y2′＝y2/z2 公式六
得到目标在Itest中的位置后，根据公式七可以得到Itest图中目标的中心点P'mid，已知Itest图的宽度w和高度h，利用公式八得到目标框中心距离图像中心的偏移[tx ty]；
P'mid＝(P'lt+P'br)/2 公式七
…(w:图像的宽度，h:图像的高度) 公式八。
可选的，所述对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取，包括：
对于图像进行网格化分割，每个网格r*r大小，遍历每个网格，假设网格中有N个特征点，选取在网格中响应最高点作为该网格的特征点，其他在网格内的特征点被删除；
假设网格中没有特征点，对网格进行二次特征点提取，重复筛选步骤，确保特征点就均匀分布在图像中。
可选的，所述根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角；
构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。
可选的，所述根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角，包括：
步骤1，固定云台和相机位置，准备ArUco标定板，标定板正对相机放置，保证标定板整体都在图像中，记录当前云台角度Apre；
步骤2，当前位置拍照，利用opencv函数提取ArUco标定板角点；
步骤3，转动云台，记录云台转动的角度Aafter，保持相机倍率不变，执行步骤2，这样就得到了两个位置提取到的ArUco标定板角点A，B；
步骤4，根据A中ArUco码的内容，在B中找到对应的码，得到对应的码后，因为每个码提取角点顺序时固定的，得到A和B中ArUco角点的对应关系；
步骤5，根据对应关系，求出每个对应角点的偏移量Pi，然后对所有偏移量求均值，得到该倍率下云台转动角度与像素偏移的关系，如公式(5.1)，Δt表示云台转动1度对应像素的偏移量，t表示倍率；
步骤6，变换相机倍率，重复执行步骤2-5，得到了不同倍率下云台转动角度与像素偏移的关系Δ，通过上述标定方法，得到了不同倍率下云台转动角度与像素偏移的关系Δ，从步骤4中得到了目标框中心距离图像中心的偏移[tx ty]，记录当前云台的角度Acur，该偏移量是在1倍率下得到的，转换为云台目标角度A1＝[tx ty]*Δ1+Acur，根据A1转动云台。
可选的，所述构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
步骤一，固定云台相机，标定过程中云台相机位置不变。标定板放置在相机正前方；
步骤二，在Z1倍率下，云台相机拍照，得到
步骤三，在Z2倍率下，云台相机拍照，得到
步骤四，根据识别ArUco码中的信息，获得和对应的点对。用SVD方法求得从倍率Z1变换到Z2时的矩阵；
步骤五，重复步骤三至四得到剩下倍率的H矩阵，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像。
可选的，所述利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像，包括：
当根据公式十可以求的关系。当得到
根据公式十一可以求得Zn倍率下目标在图像中的位置[P'lt,P'br]；
然后根据公式十二可以获得Zn倍率下目标与图像的比例
当小于1/4时，继续求Zn+1倍率下的直到不小于1/4，此时的倍率Zn+i就是满足条件的大倍率；
接着根据公式八可以求得Zn+i倍率下目标中心距离图像中心的偏移[tx ty]，最后根据标定得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到最后大倍率图像。
本申请提供的技术方案带来的有益效果是：
通过云台相机与机器人的外参标定，得到云台相机的位置，通过空间解算，得到云台的转动量，然后控制云台对准目标，并且自动计算倍率，保证了云台相机在变倍后，目标仍然位于图像中心。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提出的基于云台相机的目标检测方法的流程示意图。
具体实施方式
为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。
本实施例涉及到的名词解释：
云台：可以水平竖直转动的装置，里面通过电机进行转动控制。
世界坐标系(W)：东-北-天坐标系。
云台坐标系(Y)：以云台转动中心为原点，水平旋转顺时针角度为负，逆时针角度为正，竖直转动往上角度为负，往下角度为正。
变倍摄像机坐标系(C)：相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。
单应性矩阵：它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，约束了同一3D空间点在两个像素平面的2D齐次坐标。
ArUco码：ArUco码外围都有一组黑色边框，同时内部有着确定该标记ID的二维矩阵组合而成，类似二维码，常用来做标识或者物体的位姿检测。
云台相机与机器人定位的外参数：描述了云台相机坐标系与机器人定位坐标系的空间位置变换关系。
AprilTag码：与二维码相似，由特定的标志组成，可以识别标志，常用来计算相对位置。
structure from motion(SFM)：通过相机运动来恢复场景的稀疏几何结构。
Grid-based Motion Statistics(GMS)：基于网格化的运动统计。
Fast Library for Approximate Nearest Neighbors(FLANN)：最近邻快速逼近。
open source computer vision library(OpenCV)：开放源代码计算机视觉类库，跨平台计算机视觉和机器学习软件库。
Singular Value Decompositionm(SVD)：奇异值分解
在变电站机器人巡检时，巡检目标(包括表记，油位等)往往需要人工去对准，并且还需要人工去放大倍率观察目标的细节。本申请可以解决机器人巡检过程中，云台变倍相机自动去对准感兴趣目标，自动选择合适的倍率去放大观察目标的细节，并且目标始终保持在图像的中心。
具体的，本申请实施例提出的基于云台相机的目标检测方法，如图1所示，包括：
11、控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；
12、对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；
13、控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量；
14、根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。
在实施中，本申请流程的实现思想为：基于云台变倍摄像机的物体自动对准的方法，并解决了变倍过程中的偏心以及基于像素变换调整云台问题。已知物体相对于云台相机的空间位置，自动解算得到云台转动量，从而调控云台姿态对准目标物体。利用图像处理技术以及几何约束关系，实现不同相机倍率下云台转动量与图像像素的自动标定。
本申请提出的技术方案在已知机器人和感兴趣目标的位置的前提下，通过云台相机与机器人的外参标定，得到云台相机的位置，通过空间解算，得到云台的转动量，然后控制云台对准目标，并且自动计算倍率，保证了云台相机在变倍后，目标仍然位于图像中心。可以做到均匀化提取特征点，并利用GMS算法提高了特征点匹配的准确性。
步骤11中，所述控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，包括：
111、预先使用激光雷达构建激光点云地图，在得到的激光点云地图中构建机器人巡检路线；
112、控制机器人沿巡检路线行进，采集变电站的全景图像同时获取拍摄点的定位数据，使用采集的全景图像和SFM技术恢复变电站的三维点云地图，在采集的全景图像中标注代表设备的兴趣目标，得到兴趣目标的模板图像Imodel，感兴趣目标在模板图像中的位置[Plt,Pbr]，目标中心在图像中的点Pmid和目标中心在三维空间中的坐标
113、获取拍摄点的定位数据对应的机器人三维空间坐标
在实施中，遥控机器人用激光雷达构建激光点云地图，构图完成后，构建机器人巡检路线。接着再用该机器人自动沿着巡检路线行走，边走边对变电站进行全景图像的采集，获得一系列的全景图像和对应的机器人定位信息，利用采集的全景图像和SFM技术恢复变电站的三维点云地图，接着在全景图像中对感兴趣目标选择合适视角进行标记，得到感兴趣目标中心的三维空间位置，全景图像对应的机器人车体定位位置.以及基于全景图像按照全景-云台相机变换关系生成云台相机1倍率视野的模板图像。
步骤12中，提出的所述对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角，包括：
121、通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置
122、已知云台相机在世界坐标系下的位置感兴趣目标在世界坐标系下的位置通过标定得到云台与摄像机的位置关系由于云台与摄像机之间刚性连接，利用三维空间刚体变换，得到云台水平θz和竖直θy的转动角度，具体变换公式如公式一至公式四所示：
θz＝a tan2(Py,Px) 公式三
θy＝a tan2(Pz,Py) 公式四
得到包含水平转角θz和竖直转角θy在内的第一云台转角。
在实施中，标注目标中心三维空间位置以及对应的机器人三维空间位置通过预先离线标定的机器人车体坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置如公式所示
步骤121中提出的通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置包括：
1211、已知机器人的空间位置，固定AprilTag标定板，云台姿态置于零位，云台相机置于1倍率，遥控机器人面向AprilTag标定板行走；
1212、每隔固定距离或者角度采集包含AprilTag标定板图像和机器人定位数据，按照S型路线重复行走，；
1213、利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数人工测量得到两者的高度关系；
1214、通过标定得到的外参数得到了云台相机在世界坐标系下的位置
在上述过程中利用采集的数据，得到机器人车体坐标系和云台相机坐标系的外参数标定过程中由于两个坐标系的相对高度是不可观的，所以通过人工测量得到两者的高度关系。最终通过标定得到的外参数并得到了云台相机在世界坐标系下的位置
步骤13提出的控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的位移量，包括：
131、控制云台相机在1倍率下拍摄图像Itest，对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取；
132、完成特征提取后，进行快速特征点匹配得到特征点的对应关系，利用GMS算法对得到的特征点关系进行优化，利用RANSAC算法再排除误匹配的特征点，如果保留下的特征点对大于等于第一阈值，基于保留下来的特征点对求取单应性矩阵；
133、在模板图像Imodel图中，得到目标位置[Plt,Pbr]和中心点Pmid，则根据如下公式五及公式六得到Itest图中目标所在的位置[P'lt,P'br]；
x2′＝x2/z2
y2′＝y2/z2 公式六
134、得到目标在Itest中的位置后，根据公式七可以得到Itest图中目标的中心点P'mid，已知Itest图的宽度w和高度h，利用公式八得到目标框中心距离图像中心的偏移[txty]；
P'mid＝(P'lt+P'br)/2 公式七
…(w:图像的宽度，h:图像的高度) 公式八。
在实施中，计算完两幅图像的特征点后，首先里面FLANN算法进行一次快速特征点匹配，会得到特征点的对应关系，这里会存在很多的错误的特征点对应，然后利用GMS算法对前面得到的特征点关系进行优化，保证了保留的特征点对应基本正确。接着利用RANSAC算法再排除一些误匹配的特征点，如果保留下的特征点对大于等于8，则用保留下来的特征点对用来求取单应性矩阵，否则返回失败。
通过上一步得到了单应性矩阵，在Imodel图中，得到目标位置[Plt,Pbr]和中心点Pmid，则根据如下公式五、六可以得到Itest图中目标所在的位置[P'lt,P'br]。这里对投影到Itest图中的结果进行校验，如果结果不符合矩形，则认为检测的目标不对，舍弃。这样就保证了结果的准确性。得到目标在Itest中的位置后，根据公式七可以得到Itest图中目标的中心点P'mid，已知Itest图的宽度w和高度h，利用公式八就得到了目标框中心距离图像中心的偏移[tx ty]。
其中，步骤131提出的对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取，包括：
1311、对于图像进行网格化分割，每个网格r*r大小，遍历每个网格，假设网格中有N个特征点，选取在网格中响应最高点作为该网格的特征点，其他在网格内的特征点被删除；
1311、假设网格中没有特征点，对网格进行二次特征点提取，重复筛选步骤，确保特征点就均匀分布在图像中。
可选的，步骤14提出的根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
141、根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角；
142、构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。
其中，步骤141提出的根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角，包括：
步骤1，固定云台和相机位置，准备ArUco标定板，标定板正对相机放置，保证标定板整体都在图像中，记录当前云台角度Apre；
步骤2，当前位置拍照，利用opencv函数提取ArUco标定板角点；
步骤3，转动云台，记录云台转动的角度Aafter，保持相机倍率不变，执行步骤2，这样就得到了两个位置提取到的ArUco标定板角点A，B；
步骤4，根据A中ArUco码的内容，在B中找到对应的码，得到对应的码后，因为每个码提取角点顺序时固定的，得到A和B中ArUco角点的对应关系；
步骤5，根据对应关系，求出每个对应角点的偏移量Pi，然后对所有偏移量求均值，得到该倍率下云台转动角度与像素偏移的关系，如公式(5.1)，Δt表示云台转动1度对应像素的偏移量，t表示倍率；
步骤6，变换相机倍率，重复执行步骤2-5，得到了不同倍率下云台转动角度与像素偏移的关系Δ，通过上述标定方法，得到了不同倍率下云台转动角度与像素偏移的关系Δ，从步骤4中得到了目标框中心距离图像中心的偏移[tx ty]，记录当前云台的角度Acur，该偏移量是在1倍率下得到的，转换为云台目标角度A1＝[tx ty]*Δ1+Acur，根据A1转动云台。
步骤142提出的构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
步骤一，固定云台相机，标定过程中云台相机位置不变。标定板放置在相机正前方；
步骤二，在Z1倍率下，云台相机拍照，得到
步骤三，在Z2倍率下，云台相机拍照，得到
步骤四，根据识别ArUco码中的信息，获得和对应的点对。用SVD方法求得从倍率Z1变换到Z2时的矩阵；
步骤五，重复步骤三至四得到剩下倍率的H矩阵，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像。
在执行步骤五的过程中，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像，包括：
当根据公式十可以求的关系。当得到
根据公式十一可以求得Zn倍率下目标在图像中的位置[P'lt,P'br]；
然后根据公式十二可以获得Zn倍率下目标与图像的比例
当小于1/4时，继续求Zn+1倍率下的直到不小于1/4，此时的倍率Zn+i就是满足条件的大倍率；
接着根据公式八可以求得Zn+i倍率下目标中心距离图像中心的偏移[tx ty]，最后根据标定得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到最后大倍率图像。
以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.基于云台相机的目标检测方法，其特征在于，所述方法包括：
控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，得到云台相机的模板图像；
对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角；
控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的偏移量；
根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄；
其中，所述对云台相机坐标系与机器人坐标系进行空间结算得到云台相机和设备分别在世界坐标系中的位置信息，通过空间关系解算得到云台相机对准设备的第一云台转角，包括：
通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置
已知云台相机的三维空间位置目标中心在三维空间中的位置通过标定得到云台与相机的位置关系
由于云台与相机之间刚性连接，利用三维空间刚体变换，得到云台水平θz和竖直θy的转动角度，具体变换公式如公式一至公式四所示：
θz＝a tan2(Py,Px) 公式三；
θy＝a tan2(Pz,Py) 公式四；
得到包含水平转角θz和竖直转角θy在内的第一云台转角；
其中，所述根据预设的放大倍率与偏心的对应关系，确定对应大倍率下的第二云台转角，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角；
构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄。
2.根据权利要求1所述的基于云台相机的目标检测方法，其特征在于，所述控制搭载有云台相机的机器人沿巡检路线向变电站进行全景图像拍摄，在得到的全景图像中进行设备定位标记，包括：
预先使用激光雷达构建激光点云地图，在得到的激光点云地图中构建机器人巡检路线；
控制机器人沿巡检路线行进，采集变电站的全景图像同时获取拍摄点的定位数据，使用采集的全景图像和SFM技术恢复变电站的三维点云地图，在采集的全景图像中标注代表设备的感兴趣目标，得到感兴趣目标的模板图像Imodel，感兴趣目标在模板图像中的位置[Plt,Pbr]，目标中心在图像中的点Pmid和目标中心在三维空间中的坐标
获取拍摄点的定位数据对应的机器人三维空间坐标
3.根据权利要求1所述的基于云台相机的目标检测方法，其特征在于，所述通过预先离线标定的机器人坐标系和云台相机坐标系的外参数得到云台相机的三维空间位置包括：
已知机器人的空间位置，固定AprilTag标定板，云台姿态置于零位，云台相机置于1倍率，遥控机器人面向AprilTag标定板行走；
每隔固定距离或者角度采集包含AprilTag标定板图像和机器人定位数据，按照S型路线重复行走；
利用采集的数据，得到机器人坐标系和云台相机坐标系的外参数人工测量得到两者的高度关系；
通过标定得到的外参数得到云台相机的三维空间位置
4.根据权利要求1所述的基于云台相机的目标检测方法，其特征在于，所述控制云台相机按第一云台转角旋转对准设备进行照片拍摄，与已有的模板图像进行比对获取图像中心的偏移量，包括：
控制云台相机在1倍率下拍摄图像Itest，对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取；
完成特征提取后，进行快速特征点匹配得到特征点的对应关系，利用GMS算法对得到的特征点关系进行优化，利用RANSAC算法再排除误匹配的特征点，如果保留下的特征点对大于等于第一阈值，基于保留下来的特征点对求取单应性矩阵；
在模板图像Imodel图中，得到目标位置[Plt,Pbr]和中心点Pmid，则根据如下公式五及公式六得到Itest图中目标所在的位置[P′lt,P′br]；
x2′＝x2/z2
y2′＝y2/z2 公式六；
得到目标在Itest中的位置后，根据公式七得到Itest图中目标的中心点P′mid，已知Itest图的宽度w和高度h，利用公式八得到目标框中心距离图像中心的偏移[tx ty]；
P′mid＝(P′lt+P′br)/2 公式七；
5.根据权利要求4所述的基于云台相机的目标检测方法，其特征在于，所述对拍摄图像Itest和已得到的模板图像Imodel进行sift特征提取，包括：
对于图像进行网格化分割，每个网格r*r大小，遍历每个网格，假设网格中有N个特征点，选取在网格中响应最高点作为该网格的特征点，其他在网格内的特征点被删除；
假设网格中没有特征点，对网格进行二次特征点提取，重复筛选步骤，确保特征点均匀分布在图像中。
6.根据权利要求5所述的基于云台相机的目标检测方法，其特征在于，所述根据预设的放大倍率与偏心的对应关系，对不同倍率下云台转动对应像素偏移量进行离线标定，确定对应大倍率下的第二云台转角，包括：
步骤1，固定云台和相机位置，准备ArUco标定板，标定板正对相机放置，保证标定板整体都在图像中，记录当前云台角度Apre；
步骤2，当前位置拍照，利用opencv函数提取ArUco标定板角点；
步骤3，转动云台，记录云台转动的角度Aafter，保持相机倍率不变，执行步骤2，这样就得到了两个位置提取到的ArUco标定板角点A，B；
步骤4，根据A中ArUco码的内容，在B中找到对应的码，得到对应的码后，因为每个码提取角点顺序时固定的，得到A和B中ArUco角点的对应关系；
步骤5，根据对应关系，求出每个对应角点的偏移量Pi，然后对所有偏移量求均值，得到该倍率下云台转动角度与像素偏移的关系，如公式九，Δt表示云台转动1度对应像素的偏移量，t表示倍率；
其中，n表示对应角点的偏移量的个数；
步骤6，变换相机倍率，重复执行步骤2-5，得到了不同倍率下云台转动角度与像素偏移的关系Δ，通过上述标定方法，得到了不同倍率下云台转动角度与像素偏移的关系Δ，结合目标框中心距离图像中心的偏移[tx ty]，记录当前云台的角度Acur，该偏移量是在1倍率下得到的，转换为云台目标角度A1＝[tx ty]*Δ1+Acur，根据A1转动云台。
7.根据权利要求6所述的基于云台相机的目标检测方法，其特征在于，所述构建基于ArUco标定板的自动标定方法，对云台相机变倍时对焦中心偏移进行预测，根据得到的第二云台转角对云台相机进行控制实现大倍率下对设备进行照片拍摄，包括：
步骤一，固定云台相机，标定过程中云台相机位置不变，标定板放置在相机正前方；
步骤二，在Z1倍率下，云台相机拍照，得到
步骤三，在Z2倍率下，云台相机拍照，得到
步骤四，根据识别ArUco码中的信息，获得和对应的点对，用SVD方法求得从倍率Z1变换到Z2时的矩阵；
步骤五，重复步骤三至四得到剩下倍率的H矩阵，利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像。
8.根据权利要求7所述的基于云台相机的目标检测方法，其特征在于，所述利用已得到的H矩阵算出满足的大倍率以及对应大倍率的对焦中心偏移量，得到的云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到大倍率下的拍摄图像，包括：
根据公式十求
根据公式十一求得Zn倍率下目标在图像中的位置[P′lt,P′br]；
然后根据公式十二获得Zn倍率下目标与图像的比例
当小于1/4时，继续求Zn+1倍率下的直到不小于1/4，此时的倍率Zn+i就是满足条件的大倍率；
接着根据公式八求得Zn+i倍率下目标中心距离图像中心的偏移[tx ty]，最后根据标定得到云台转动角度与像素偏移的关系Δ，以及当前云台的角度Acur，Zn+i倍率下云台的目标角度An+i＝[tx ty]*Δn+i+Acur，根据An+i转动云台，得到最后大倍率图像。
CN202110225243.5A 2021-03-01 2021-03-01 基于云台相机的目标检测方法 Active CN112949478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110225243.5A CN112949478B (zh) 2021-03-01 2021-03-01 基于云台相机的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110225243.5A CN112949478B (zh) 2021-03-01 2021-03-01 基于云台相机的目标检测方法

Publications (2)

Publication Number Publication Date
CN112949478A CN112949478A (zh) 2021-06-11
CN112949478B true CN112949478B (zh) 2024-08-06

Family

ID=76246915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110225243.5A Active CN112949478B (zh) 2021-03-01 2021-03-01 基于云台相机的目标检测方法

Country Status (1)

Country Link
CN (1) CN112949478B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542530A (zh) * 2021-07-15 2021-10-22 南京林业大学 基于无人巡检的电缆线物理破损点视觉识别系统及其方法
CN113643358B (zh) * 2021-08-10 2023-07-07 追觅创新科技(苏州)有限公司 相机的外参标定方法、装置、存储介质及系统
CN113610039B (zh) * 2021-08-17 2024-03-15 北京融合汇控科技有限公司 基于云台相机的风漂异物识别方法
CN113954099B (zh) * 2021-11-30 2023-10-20 广东电网有限责任公司 电力巡检机器人及云台相机的定位装置调整方法
CN114758240B (zh) * 2022-04-25 2025-04-04 深研人工智能技术(深圳)有限公司 一种基于云台相机的路面病害检测方法、装置及相关介质
CN115049854A (zh) * 2022-07-01 2022-09-13 海隆石油集团(上海)信息技术有限公司 云台定位方法
CN115273268B (zh) * 2022-07-27 2023-05-19 中建三局集团有限公司 基于塔机搭载变焦相机的大场景工地巡检方法
CN115578677B (zh) * 2022-10-28 2023-04-18 众芯汉创（北京）科技有限公司 一种基于视频流的隐患抓拍和识别的智能装置
CN115457088B (zh) * 2022-10-31 2023-03-24 成都盛锴科技有限公司 一种列车定轴方法及系统
CN116030099B (zh) * 2023-03-31 2023-08-08 北京尚优力达科技有限公司 一种基于ptz相机的多目标跟踪方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN108805940A (zh) * 2018-06-27 2018-11-13 亿嘉和科技股份有限公司 一种变倍相机在变倍过程中跟踪定位的快速算法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4767052B2 (ja) * 2006-03-22 2011-09-07 ダイハツ工業株式会社 光軸ずれ検出装置
US9626566B2 (en) * 2014-03-19 2017-04-18 Neurala, Inc. Methods and apparatus for autonomous robotic control
EP3534334B1 (en) * 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN110246175A (zh) * 2019-05-24 2019-09-17 国网安徽省电力有限公司检修分公司 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN110728715B (zh) * 2019-09-06 2023-04-25 南京工程学院 一种智能巡检机器人摄像机角度自适应调整方法
CN111273701B (zh) * 2020-02-28 2023-10-31 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN112085799B (zh) * 2020-08-14 2024-03-15 国网智能科技股份有限公司 一种电力设备自主配准方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN108805940A (zh) * 2018-06-27 2018-11-13 亿嘉和科技股份有限公司 一种变倍相机在变倍过程中跟踪定位的快速算法

Also Published As

Publication number Publication date
CN112949478A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949478B (zh) 基于云台相机的目标检测方法
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN110782394A (zh) 全景视频快速拼接方法及系统
CN112714287B (zh) 一种云台目标转换控制方法、装置、设备及存储介质
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN111213159A (zh) 一种图像处理方法、装置及系统
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN115511961A (zh) 三维空间定位方法、系统及存储介质
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN114299153B (zh) 一种超大电力设备的相机阵列同步标定方法及系统
CN114812558A (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN118154418A (zh) 风机叶片图像处理方法及系统
CN115375772B (zh) 相机标定方法、装置、设备及存储介质
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant