[go: up one dir, main page]

CN112288801A - 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 - Google Patents

应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 Download PDF

Info

Publication number
CN112288801A
CN112288801A CN202011188376.1A CN202011188376A CN112288801A CN 112288801 A CN112288801 A CN 112288801A CN 202011188376 A CN202011188376 A CN 202011188376A CN 112288801 A CN112288801 A CN 112288801A
Authority
CN
China
Prior art keywords
coordinate system
tracking
shooting
left camera
inspection robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011188376.1A
Other languages
English (en)
Inventor
周海波
李晨铭
孙国庆
江云
潘华佳
郭杰
齐文钰
殷金铭
徐梦琴
陈翔
邝伟权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUNFU INTERNET OF THINGS RESEARCH INSTITUTE
Tianjin University of Technology
Original Assignee
YUNFU INTERNET OF THINGS RESEARCH INSTITUTE
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YUNFU INTERNET OF THINGS RESEARCH INSTITUTE, Tianjin University of Technology filed Critical YUNFU INTERNET OF THINGS RESEARCH INSTITUTE
Priority to CN202011188376.1A priority Critical patent/CN112288801A/zh
Publication of CN112288801A publication Critical patent/CN112288801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置，进行双目标定，对巡检机器人进行运动学建模，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；求出跟踪拍摄对象在世界坐标系下的位置；根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。本发明基于双目立体定位技术和视觉跟踪技术，按照既定的相机所拍摄目标物体位姿等拍摄要求对机器人底盘、升降架、双目云台进行自适应控制，克服目标经常变换位姿、难以跟拍等问题，从而达到尽可能恒定的理想位姿目标连续跟踪拍摄。

Description

应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
技术领域
本发明属于机器人目标跟踪技术领域，具体涉及一种基于双目视觉的巡检机器人四位一体目标跟踪拍摄方法。
背景技术
机器人的跟踪拍摄技术有着广泛的应用价值，尤其是应用于畜禽养殖行业。畜禽的个体行为以及体表信息可以反映其健康情况，通常需要人为对其进行观察，了解其状况，因此可以结合机器人跟踪拍摄技术跟踪拍摄目标畜禽的行为。
现有的巡检机器人跟踪技术通常在目标跟踪时受到位姿限制不能获得高质量的跟踪效果。例如：在畜禽养殖行业中的牧场中单纯地使用固定位置的摄像头跟踪拍摄目标畜禽并获得其活动轨迹等信息，这种方案如果视场够大，可以全程跟踪拍摄畜禽，但是由于距离远近、畜禽的位姿等问题，会造成拍摄效果不佳；如果视场小，虽然可以一定程度保证拍摄效果，但是当畜禽超出视场之后无法进行一个连续的跟踪拍摄；又例如：在畜禽养殖行业中的小栏区中使用滑轨式摄像头从上方跟踪拍摄目标畜禽的个体行为等信息，虽然可以始终跟拍畜禽但是拍摄角度固定在了目标上方不能获得其他位姿的信息。
这两种方案都存在技术缺陷，难以克服在目标跟踪时受到位姿限制不能进行理想拍摄的问题。
发明内容
针对上述问题，本发明提出了应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置，克服目标经常变换位姿、活动范围大到难以跟拍等问题。
为达到上述目的，本发明的技术方案是这样实现的：
应用于巡检机器人的四位一体自适应跟踪拍摄方法，应用于使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、以及作为双目的左侧热红外相机和右侧高清彩色相机；所述方法包括：
S1、进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；
S2、对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；
S3、实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；
S4、结合S2与S3，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；
S5、根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。
进一步的，步骤S3所述确定跟踪拍摄对象的方法包括：
S101、将两个摄像头实时获取的图像作为输入图像；
S102、使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；
S103、将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；
S104、所有匹配好的目标中确定跟踪对象。
进一步的，步骤S3所述得出跟踪拍摄对象相对于左侧相机坐标系的空间位置的具体步骤包括：
S201、将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点；
S202、对目标特征部分点化处理后，利用已知的相机畸变参数算出其未发生畸变所在位置；
S203、利用立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。
进一步的，步骤S4所述寻找下一个理想跟踪拍摄条件的左侧相机坐标系位姿的具体步骤包括：
S301、围绕跟踪拍摄对象在世界坐标系下的位置以跟拍间距为半径做一个球面；
S302、根据运动学模型正解求出左侧相机坐标系光心所能达到的工作空间；
S303、二者取交集得到限定性球形区域；
S304、根据项目实际需要添加不同的限定性条件，得到下一个理想跟踪拍摄条件时左侧相机坐标系原点在世界坐标系下的位置。
进一步的，步骤S7的具体方法包括：
S401、跟拍时左侧相机坐标系原点到目标点的向量为跟拍时左侧相机坐标系的Z向量；
S402、X向量由Z向量的参数表示，X向量逆时针旋转九十度为Y向量；
S403、根据三个向量相互间点乘得0的特点，得到下一个理想拍摄位姿时左侧相机坐标系的姿态。
本发明另一方面还提出了一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，包括：使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、作为双目的左侧相机和右侧相机；
以及：
标定模块，用于进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；
建模求解模块，用于对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；
图像位置计算模块，用于实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；
下一位姿寻找模块，用于结合建模求解模块与图像位置计算模块的结果，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；
逆解及控制模块，用于根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。
进一步的，图像位置计算模块设有确定跟踪拍摄对象子模块，所述确定跟踪拍摄对象子模块包括：
双目图像获取单元，用于将两个摄像头实时获取的图像作为输入图像；
目标检测单元，用于使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；
特征提取匹配单元，用于将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；
确定单元，用于在所有匹配好的目标中确定跟踪对象。
进一步的，图像位置计算模块设有位置计算子模块，包括：
等化单元，用于将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点；
畸变计算单元，用于对目标特征部分点化处理后，利用已知的相机畸变参数算出其未发生畸变所在位置；
位置计算单元，用于利用立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。
进一步的，所述下一位姿寻找模块包括位姿寻找子模块，所述位姿寻找子模块包括：
球面单元，用于围绕跟踪拍摄对象在世界坐标系下的位置以跟拍间距为半径做一个球面；
工作空间单元，用于根据运动学模型正解求出左侧相机坐标系光心所能达到的工作空间；
交集单元，用于球面单元和工作空间单元的结果交集得到限定性球形区域；
条件限定单元，用于根据项目实际需要添加不同的限定性条件，得到下一个理想跟踪拍摄条件时左侧相机坐标系原点在世界坐标系下的位置。
进一步的，所述逆解及控制模块包括：
Z向量确定单元，将跟拍时左侧相机坐标系原点到目标点的向量为跟拍时左侧相机坐标系的Z向量；
其他向量确定单元，将X向量由Z向量的参数表示，X向量逆时针旋转九十度为Y向量；
姿态单元，用于根据三个向量相互间点乘得0的特点，得到下一个理想拍摄位姿时左侧相机坐标系的姿态。
与现有技术相比，本发明具有如下的有益效果：
本发明提供一种机器人底盘、升降机构、双目云台、目标物体四位一体的自适应跟踪拍摄技术；本发明基于双目立体定位技术和视觉跟踪技术，按照既定的相机所拍摄目标物体位姿等拍摄要求通过工控机对机器人底盘、升降架、双目云台进行自适应控制，以克服目标经常变换位姿、活动范围大到难以跟拍等问题，从而达到尽可能恒定的理想位姿目标连续跟踪拍摄。
附图说明
图1为本发明实施例的原理示意图；
图2为本发明实施例的双目相机立体视觉模型示意图；
图3为本发明实施例的双目相机检测与匹配示意图；
图4为本发明实施例的巡检机器人的四位一体运动学模型的示意图；
图5为本发明实施例的限定性球形区域相机坐标系原点位置求解示意图。
其中：
1、机器人底盘；
2、升降机构；
3、双目云台；
4、跟踪拍摄对象。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
为使本发明专利的目的、特征更明显易懂，下面结合附图对本发明专利的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明专利实施例的目的。
本发明所应用的巡检机器人包含以下几个机构：机器人底盘1；升降机构2(位于机器人底盘1上)；双目云台3(位于升降机构2上)。当跟拍目标移动出理想拍摄区域时，自适应地调整巡检机器人各运动变量，以达到机器人底盘1，升降机构2，双目云台3，跟踪拍摄对象4的四位一体自适应跟踪拍摄。
其中机器人底盘1是由两个驱动轮和两个从动轮构成的可移动机器人底盘1，在底盘上安装有传感器以实现防撞功能。并且配有激光slam模块，从而使机器人得到自身位置。
放置在机器人底盘1上的升降机构2是由一个1.5m的伸缩杆构成，可以实时控制升降机构2的高度。
在放置在升降机构2上的双目云台3有俯仰和偏转两个自由度，双目云台3顶部平行放置双目异构相机，包括一个红外相机和一个RGB相机。
本发明以拍摄牛栏中的牛为实施例，如图1所示，具体包括如下步骤：
步骤S1，对双目异构相机进行标定，建立图像坐标系与双目异构相机坐标系的映射关系，同时得到两个相机的内参矩阵、外参矩阵和畸变参数。
双目异构相机模型如图2所示，将世界坐标系与左侧相机坐标系重合建立。相机成像模型为
Figure BDA0002752077580000061
式中(U，V)代表目标物体在像素坐标系下的位置，Zc为目标点在镜头主光轴上投影点到光心的距离(在本文所搭建的异构相机模型下Zc＝Zw＝Zcl)。
式中相机的内参矩阵
Figure BDA0002752077580000062
(焦距：fX,fY；主点：U0,V0)；
式中相机外参矩阵
Figure BDA0002752077580000063
其中的R和T分别代表相机坐标系与所建立的世界坐标系之间旋转平移关系。(本文所搭建模型中左相机外参矩阵为单位矩阵，右相机外参矩阵通过双目立体标定得出)；为提高定位精度同时求解了畸变参数(径向畸变系数k1,k2,k3和切向畸变系数：p1,p2)；
式中(Xw，Yw，Zw)为目标点在世界坐标系下的坐标，在本文所搭建的异构相机模型下也等同于在图2中左侧相机坐标系下的目标点坐标(Xcl，Ycl，Zcl)。
步骤S2，首先将双目异构相机实时获取的图像作为输入图像；然后使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；最后将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系。在所有匹配好的目标中确定跟踪对象。以牛栏中的牛为例，其过程如图3所示。
步骤S3，首先将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点。由于相机所拍摄的图片存在畸变，而且越靠近边缘畸变越大，为定位精准而且不影响图像检测，所以对目标特征部分点化处理后，利用已知的相机畸变参数求出其未发生畸变所在位置。再利用现有的立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。
步骤S4，为了实现机器人底盘、升降机构、云台、跟拍目标四位一体自适应控制，需要对本发明所应用的巡检机器人进行运动学建模，机器人底盘1、升降机构2、双目云台3、跟综拍摄对象4以及坐标系的变换参见附图4。
由于巡检机器人为轮式机器人，可以在二维平面移动至任意位置，故在附图4中等效为一个水平面上的十字滑块。在机器人云台下有一个升降杆，综上所述由世界坐标系(X0,Y0,Z0)到升降杆顶部坐标系(X1,Y1,Z1)中存在三个不同方向上的移动副。由升降杆顶部坐标系(X1,Y1,Z1)到云台颈部坐标系(X2,Y2,Z2)中存在一个绕Z2旋转的转动副。由云台颈部坐标系(X2,Y2,Z2)到云台顶部坐标系(X3,Y3,Z3)存在一个绕Z3旋转的转动副。云台顶部坐标系(X3,Y3,Z3)和左侧相机坐标系(X4,Y4,Z4)之间为固定连杆连接。
综上所述，由左侧相机坐标系到世界坐标系的位姿运动学模型为
Figure BDA0002752077580000071
Figure BDA0002752077580000072
其中x,y,z分别为O2相对于O0在x,y,z方向上的位移；a23为O3相对于O2在x方向上移动的距离，其中b23为O3相对于O2在y方向上移动的距离,其中c23为O3相对于O2在z方向上移动的距离，以此类推得到a34，b34，c34；θ2和θ3分别为云台上两个转动副的转角；上述式子中s和c分别表示为sin和cos的简写。
步骤S5，已知各关节的旋转角度和位置关系，利用机器人运动学模型求正解得出左侧相机坐标系相对于世界坐标系的位姿关系。结合步骤S3中所得跟拍目标相对于左侧相机坐标系的位置信息可以求出的所跟拍目标在世界坐标系下的位置。
设由步骤S3求得所跟拍目标在左侧相机坐标系下位置为T4，则所跟拍目标在世界坐标系下的位置
Figure BDA0002752077580000073
步骤S6，由步骤S5得出的所跟拍目标在世界坐标系下的位置，根据人为设定的跟踪拍摄间距可以得到一个球形区域。在限定性球形区域上根据需求自动寻找到左侧相机坐标系的位姿。
如图5所示，O4(X0,Y0,Z0)和P(X0,Y0,Z0)分别为步骤S5求得的当前左侧相机坐标系原点和跟拍目标在世界坐标系下的位置，围绕P(X0,Y0,Z0)点以跟拍间距为半径做一个球面。利用运动学正解可以求出左侧相机坐标系光心所能达到的工作空间，二者取交集得到限定性球形区域。
随后根据项目实际需要添加不同的限定性条件，如在栏位牛场下，机器人的工作空间更加受限，那么限定性球形区域面积将减小；若确定只跟拍牛身侧面，则需要在限定性球形区域上推算最佳观测位姿。总之在条件不是极为严苛的条件下，可以得到下一个理想拍摄位姿时左侧相机坐标系原点O4’(X0,Y0,Z0)在世界坐标系下的位置。
步骤S7，为了在跟拍时获得最好的拍摄效果，目标物应该显示在左侧相机的正中间。故跟拍时左侧相机坐标系原点到目标点的向量O4’P为跟拍时左侧相机坐标系的Z向量；由于本发明所应用的巡检机器人的特殊性，跟拍时左侧相机坐标系的X向量一定在水平面上，又因建立坐标系遵循右手定则，从Z向量方向向原点看去，X向量逆时针旋转九十度为Y向量，故X向量可以由Z向量的参数表示。根据三个向量相互间点乘得0的特点，可以求得Z向量。综上所述可以得到下一个理想拍摄位姿时左侧相机坐标系的姿态。
在得到了下一个理想拍摄位姿时左侧相机坐标系的位置及姿态后可以根据运动学逆解得到下一个理想拍摄位姿时机器人每个关节间的变量，由此控制机器人达到相应跟拍位置。
综上所述，本发明克服现有技术的不足，提供一种机器人底盘、升降架、双目云台、目标物体四位一体的自适应跟踪拍摄技术。该技术基于双目立体定位技术和视觉跟踪技术，按照既定的相机所拍摄目标物体位姿的拍摄要求通过工控机对机器人底盘、升降架、双目云台进行自适应控制，克服了目标经常变换位姿、活动范围大到难以跟拍等问题，从而达到尽可能恒定的理想位姿目标连续跟踪拍摄。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，应用于使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、以及作为双目的左侧热红外相机和右侧高清彩色相机；所述方法包括：
S1、进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；
S2、对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；
S3、实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；
S4、结合S2与S3，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；
S5、根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。
2.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S3所述确定跟踪拍摄对象的方法包括：
S101、将两个摄像头实时获取的图像作为输入图像；
S102、使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；
S103、将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；
S104、所有匹配好的目标中确定跟踪对象。
3.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S3所述得出跟踪拍摄对象相对于左侧相机坐标系的空间位置的具体步骤包括：
S201、将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点；
S202、对目标特征部分点化处理后，利用已知的相机畸变参数算出其未发生畸变所在位置；
S203、利用立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。
4.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S4所述寻找下一个理想跟踪拍摄条件的左侧相机坐标系位姿的具体步骤包括：
S301、围绕跟踪拍摄对象在世界坐标系下的位置以跟拍间距为半径做一个球面；
S302、根据运动学模型正解求出左侧相机坐标系光心所能达到的工作空间；
S303、二者取交集得到限定性球形区域；
S304、根据项目实际需要添加不同的限定性条件，得到下一个理想跟踪拍摄条件时左侧相机坐标系原点在世界坐标系下的位置。
5.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S7的具体方法包括：
S401、跟拍时左侧相机坐标系原点到目标点的向量为跟拍时左侧相机坐标系的Z向量；
S402、X向量由Z向量的参数表示，X向量逆时针旋转九十度为Y向量；
S403、根据三个向量相互间点乘得0的特点，得到下一个理想拍摄位姿时左侧相机坐标系的姿态。
6.一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，其特征在于，包括：使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、作为双目的左侧相机和右侧相机；
以及：
标定模块，用于进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；
建模求解模块，用于对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；
图像位置计算模块，用于实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；
下一位姿寻找模块，用于结合建模求解模块与图像位置计算模块的结果，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；
逆解及控制模块，用于根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。
7.根据权利要求6所述的一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，其特征在于，图像位置计算模块设有确定跟踪拍摄对象子模块，所述确定跟踪拍摄对象子模块包括：
双目图像获取单元，用于将两个摄像头实时获取的图像作为输入图像；
目标检测单元，用于使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；
特征提取匹配单元，用于将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；
确定单元，用于在所有匹配好的目标中确定跟踪对象。
8.根据权利要求6所述的一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，其特征在于，图像位置计算模块设有位置计算子模块，包括：
等化单元，用于将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点；
畸变计算单元，用于对目标特征部分点化处理后，利用已知的相机畸变参数算出其未发生畸变所在位置；
位置计算单元，用于利用立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。
9.根据权利要求6所述的一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，其特征在于，所述下一位姿寻找模块包括位姿寻找子模块，所述位姿寻找子模块包括：
球面单元，用于围绕跟踪拍摄对象在世界坐标系下的位置以跟拍间距为半径做一个球面；
工作空间单元，用于根据运动学模型正解求出左侧相机坐标系光心所能达到的工作空间；
交集单元，用于球面单元和工作空间单元的结果交集得到限定性球形区域；
条件限定单元，用于根据项目实际需要添加不同的限定性条件，得到下一个理想跟踪拍摄条件时左侧相机坐标系原点在世界坐标系下的位置。
10.根据权利要求6所述的一种应用于巡检机器人的四位一体自适应跟踪拍摄装置，其特征在于，所述逆解及控制模块包括：
Z向量确定单元，将跟拍时左侧相机坐标系原点到目标点的向量为跟拍时左侧相机坐标系的Z向量；
其他向量确定单元，将X向量由Z向量的参数表示，X向量逆时针旋转九十度为Y向量；
姿态单元，用于根据三个向量相互间点乘得0的特点，得到下一个理想拍摄位姿时左侧相机坐标系的姿态。
CN202011188376.1A 2020-10-30 2020-10-30 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 Pending CN112288801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188376.1A CN112288801A (zh) 2020-10-30 2020-10-30 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188376.1A CN112288801A (zh) 2020-10-30 2020-10-30 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

Publications (1)

Publication Number Publication Date
CN112288801A true CN112288801A (zh) 2021-01-29

Family

ID=74353710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188376.1A Pending CN112288801A (zh) 2020-10-30 2020-10-30 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

Country Status (1)

Country Link
CN (1) CN112288801A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311873A (zh) * 2021-05-07 2021-08-27 中国科学院沈阳自动化研究所 一种基于视觉的无人机伺服跟踪方法
CN114486939A (zh) * 2022-04-08 2022-05-13 欧普康视科技股份有限公司 一种镜片划痕检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570764A (zh) * 2014-12-05 2015-04-29 中国运载火箭技术研究院 一种机载目标指示系统验证平台
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN110445982A (zh) * 2019-08-16 2019-11-12 深圳特蓝图科技有限公司 一种基于六自由度设备的追踪拍摄方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN111340884A (zh) * 2020-02-24 2020-06-26 天津理工大学 一种双目异构相机与rfid的双重目标定位与身份辨识方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104570764A (zh) * 2014-12-05 2015-04-29 中国运载火箭技术研究院 一种机载目标指示系统验证平台
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN110445982A (zh) * 2019-08-16 2019-11-12 深圳特蓝图科技有限公司 一种基于六自由度设备的追踪拍摄方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN111340884A (zh) * 2020-02-24 2020-06-26 天津理工大学 一种双目异构相机与rfid的双重目标定位与身份辨识方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311873A (zh) * 2021-05-07 2021-08-27 中国科学院沈阳自动化研究所 一种基于视觉的无人机伺服跟踪方法
CN114486939A (zh) * 2022-04-08 2022-05-13 欧普康视科技股份有限公司 一种镜片划痕检测系统及方法

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN110136208B (zh) 一种机器人视觉伺服系统的联合自动标定方法及装置
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP4825980B2 (ja) 魚眼カメラの校正方法。
US8824775B2 (en) Robot and control method thereof
CN109940626B (zh) 一种基于机器人视觉的画眉机器人系统的控制方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN104484648A (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
US20120147149A1 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3d pose of an object at runtime with the same
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
Alizadeh Object distance measurement using a single camera for robotic applications
US20200294269A1 (en) Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
JP2903964B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN110514114A (zh) 一种基于双目视觉的微小目标空间位置标定方法
CN104739514A (zh) 大视场下手术器械的自动跟踪定位方法
CN115588053A (zh) 基于点云信息手眼标定的复杂外形大工件彩色三维重建方法
JP4044454B2 (ja) ズームによる位置計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129