CN112907727B - 相对变换矩阵的标定方法、装置及系统 - Google Patents
相对变换矩阵的标定方法、装置及系统 Download PDFInfo
- Publication number
- CN112907727B CN112907727B CN202110099130.5A CN202110099130A CN112907727B CN 112907727 B CN112907727 B CN 112907727B CN 202110099130 A CN202110099130 A CN 202110099130A CN 112907727 B CN112907727 B CN 112907727B
- Authority
- CN
- China
- Prior art keywords
- point
- dimensional
- laser
- coordinates
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 135
- 239000011159 matrix material Substances 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000005259 measurement Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及视觉融合技术领域，具体涉及相对变换矩阵的标定方法、装置及系统，所述方法包括获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；利用三维控制点坐标与对应的三维模型坐标，确定模型坐标系到激光三维坐标系下的坐标转换；获取目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；基于目标物体在初始影像上的二维坐标点，确定与二维坐标点对应的激光三维坐标系下的三维坐标点；根据二维坐标点以及三维坐标点，确定相机相对于单点激光测距仪的相对变换矩阵。利用三维重建结果进行相对变换矩阵的标定，避免了棋盘格板的使用。
Description
技术领域
本发明涉及视觉融合技术领域，具体涉及相对变换矩阵的标定方法、装置及系统。
背景技术
单点激光测距仪和相机的视觉融合系统已经广泛应用于现代生活中的诸多领域，例如城市模型构建、增强现实、目标跟踪以及自动驾驶等。在视觉融合系统中，单点激光测距仪和相机是两套独立的数据获取设备，要将二者获取的信息结合起来，则需要精确地计算出单点激光测距仪与相机之间的相对位置关系，也就是需要标定出单点激光测距仪与相机之间的相对变换矩阵。
针对这一需求，现有技术中提出的关于单点激光测距仪和相机之间的相对变换矩阵标定方法是通过多次移动棋盘格子标定板，得到多个位置下激光点的坐标，由于单点激光测距仪位置是固定的，所以这些激光三维点应在一条直线上。因此通过这些激光三维点的坐标可以构建一个空间中激光束的直线方程，再通过公式解算得到激光点在相机三维坐标系下的方向和坐标，从而完成相机与单点激光测距仪之间的相对变换矩阵标定。
然而，该类方法有两个约束条件，首先是多次移动棋盘格子标定板得到的多个激光点要在同一条直线上才能构建方程，因此随着标定板和激光测距仪之间距离的增加，误差也随之增大，其次是激光点必须打在棋盘格子标定板所在的平面上。当实际操作过程中不满足上述两个条件，则这类单点激光测距仪和相机之间的相对变换矩阵标定方法将失效。
发明内容
有鉴于此，本发明实施例提供了一种相对变换矩阵的标定方法、装置及系统，以解决单点激光测距仪和相机之间的相对变换矩阵的标定问题。
根据第一方面，本发明实施例提供了一种相对变换矩阵的标定方法，所述标定方法包括：
获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
利用所述三维控制点坐标与对应的所述三维模型坐标，确定所述模型坐标系到所述激光三维坐标系下的坐标转换；
获取所述目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；
基于所述目标物体在所述初始影像上的二维坐标点，确定与所述二维坐标点对应的所述激光三维坐标系下的三维坐标点；
根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵。
本发明实施例提供的相对变换矩阵的标定方法，利用多个三维控制点坐标以及各个三维控制点在模型坐标系下的三维模型坐标对相对变换矩阵进行标定，即利用三维重建结果进行相对变换矩阵的标定，避免了棋盘格板的使用，且高精度的三维重建可以提升相对变换矩阵标定的精度；进一步地，由于初始影像是在单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的，因此初始影像在激光三维坐标系的位置和姿态，可以看作是视觉融合系统中相机相对于激光测距仪的相对变换矩阵。
结合第一方面，在第一方面第一实施方式中，所述获取多个激光三维坐标系下的三维控制点坐标，包括：
获取所述激光三维坐标系；
控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标。
本发明实施例提供的相对变换矩阵的标定方法，在激光三维坐标系下控制单点激光测距仪的移动，得到三维控制点坐标，该三维控制点坐标用于后续模型坐标系到激光三维坐标系下的坐标转换，将三维控制点坐标与三维重建结合，实现了相对变换矩阵的标定。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标，包括：
控制所述单点激光测距仪在运动轨道上移动，并记录所述单点激光测距仪的二维移动信息，得到第一方向坐标与第二方向坐标，所述运动轨道与所述激光三维坐标系的所述第一方向以及所述第二方向对应，所述第一方向与所述第二方向垂直；
控制所述单点激光测距仪进行测距并记录测量结果，得到第三方向坐标，所述第三方向与所述第一方向以及所述第二方向均垂直；
利用所述第一方向坐标、所述第二方向坐标以及所述第三方向坐标，得到所述三维控制点坐标。
本发明实施例提供的相对变换矩阵的标定方法，在激光三维坐标系下控制单点激光测距仪的移动，以标定三维控制点坐标，简化了三维控制点坐标的确定过程，提高了标定效率。
结合第一方面第一实施方式，在第一方面第三实施方式中，所述获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标，包括：
控制所述目标物体转动，并在各次测距时采集所述目标物体的控制点影像，所述控制点影像中具有激光斑点；
基于采集到的控制点影像，对所述目标物体进行三维建模，得到所述目标物体在所述模型坐标系下的三维模型；
基于所述三维模型，确定所述各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
本发明实施例提供的相对变换矩阵的标定方法，在测距时采集控制点影像，利用控制点影像以及三维模型就可以在三维模型中标定出各个控制点坐标，从而可以确定各个三维控制点在模型坐标系下的三维模型坐标，保证了三维模型坐标确定的可靠性。
结合第一方面，或第一方面第一实施方式至第三实施方式中任一项，在第一方面第四实施方式中，所述根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵，包括：
获取所述相机的内参数；
基于所述相机的内参数、所述二维坐标点以及所述三维坐标点，计算所述相对变换矩阵。
本发明实施例提供的相对变换矩阵的标定方法，结合相机的内参数进行相对变换矩阵的计算，简化了计算过程，提高了标定效率。
结合第一方面，在第一方面第五实施方式中，所述方法还包括：
获取所述单点激光测距仪到激光测距点的第一距离；
基于所述测量结果以及所述相对变换矩阵，确定所述相机到所述激光测距点的第二距离以及所述激光测距点在所述相机所采集到的影像上的坐标。
根据第二方面，本发明实施例还提供了一种相对变换矩阵的标定装置，所述标定装置包括：
第一获取模块，用于获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
第一确定模块，用于利用所述三维控制点坐标与对应的所述三维模型坐标，确定所述模型坐标系到所述激光三维坐标系下的坐标转换；
第二获取模块，用于获取所述目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；
第二确定模块，用于基于所述目标物体在所述初始影像上的二维坐标点，确定与所述二维坐标点对应的所述激光三维坐标系下的三维坐标点；
第三确定模块，用于根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵。
本发明实施例提供的相对变换矩阵的标定装置，利用多个三维控制点坐标以及各个三维控制点在模型坐标系下的三维模型坐标对相对变换矩阵进行标定，即利用三维重建结果进行相对变换矩阵的标定，避免了棋盘格板的使用，且高精度的三维重建可以提升相对变换矩阵标定的精度；进一步地，由于初始影像是在单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的，因此初始影像在激光三维坐标系的位置和姿态，可以看作是视觉融合系统中相机相对于激光测距仪的相对变换矩阵。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的相对变换矩阵的标定方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的相对变换矩阵的标定方法。
根据第五方面，本发明实施例还提供了一种相对变换矩阵的标定系统，所述标定系统包括：
视觉融合系统，包括单点激光测距仪以及相机；
运动轨道，所述运动轨道与激光三维坐标系的第一方向以及第二方向对应，所述第一方向与所述第二方向垂直；
本发明第三方面所述的电子设备，所述电子设备与所述视觉融合系统连接，所述电子设备用于控制所述视觉融合系统的动作，以确定所述相机相对于所述单点激光测距仪的相对变换矩阵。
本发明实施例提供的相对变换矩阵的标定系统，无需利用棋盘格板，而是利用高精度的三维重建结果来进行相对变换矩阵的标定，得到的标定结果精度更高、可靠性更好。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中相对变换矩阵的标定系统示意图；
图2是根据本发明实施例的相对变换矩阵的标定方法的流程图；
图3是根据本发明实施例的相对变换矩阵的标定方法的流程图；
图4是根据本发明实施例的影像特征点对应关系的计算方法的流程图；
图5是根据本发明实施例的三维建模的流程图；
图6是根据本发明实施例的相对变换矩阵的标定方法的流程图；
图7是根据本发明实施例的相对变换矩阵的标定装置的结构框图；
图8是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的相对变换矩阵的标定方法应用于相机与单点激光测距仪形成的视觉融合系统中，在视觉融合系统中相机与单点激光测距仪之间的相对位置关系是固定的，单点激光测距仪获取的距离值是激光测距目标点到单点激光测距仪发射原点的距离D1，而在实际应用过程中我们往往需要的是该激光测距目标点到相机的距离D2，以及距离D2在相机影像上对应的像素点坐标p(u,v)。而要得到该距离D2和像素点坐标p(u,v)，就需要求出视觉融合系统中单点激光测距仪与相机之间的相对位姿关系，也就是单点激光三维坐标系和相机三维坐标系之间的相对变换矩阵。
针对上述问题和需求，本发明实施例提出了一种能够有效地标定单点激光测距仪与相机之间相对变换矩阵的方法，该方法首先利用视觉融合系统中的运动轨道构建激光三维坐标系下的多个控制点，然后再利用激光三维坐标系下的多个控制点，将视觉融合系统得到的高精度三维点云从模型坐标系转换至激光三维坐标系，最后结合坐标转换后的高精度三维点云，完成单点激光测距仪与相机之间的相对变换矩阵标定。
本发明实施例提出的标定方法能够计算激光三维坐标系与相机三维坐标系之间的相对变换矩阵，从而根据相对变换矩阵得到激光测距目标点到相机的距离D2，再结合相机的内参数矩阵，最终得到D2在相机像素坐标系上对应的像素点坐标p(u,v)。因此，本发明实施例提供的相对变换矩阵的标定方法能够广泛应用于单目视觉量测量、小行星地形三维测绘等多种应用场景，在本发明实施例中对该标定方法的具体应用场景并不做任何限定。
本发明实施例提供了一种相对变换矩阵的标定系统，该标定系统包括视觉融合系统、运动轨道以及电子设备。如上文所述，所述的视觉融合系统包括单点激光测距仪以及相机。其中，单点激光测距仪与相机之间的相对位置关系是固定的。
所述的运动轨道与激光三维坐标系的第一方向以及第二方向对应，所述第一方向与所述第二方向垂直。具体地，运动轨道为二维坐标系下的轨道，且二维坐标系可以是激光三维坐标系在某一平面上的投影坐标系。例如，如图1所示，将第一个初始激光测距仪发射点为原点的激光三维坐标系，该激光三维坐标系统的X轴向右，Y轴向下，Z轴指向激光发射前方，运动轨道的两个轨道方向和激光三维坐标系的X轴和Y轴平行。其中，运动轨道为两轴轨道且轨道的两个方向相互垂直。具体地，单点激光测距仪10与相机20形成所述的视觉融合系统，该视觉融合系统在电子设备(图1中未示出)的控制下，在运动轨道30上运动，以得到三维控制点坐标，用于后续的相对变换矩阵的标定。如图1所示，将视觉融合系统置于两轴运动轨道上，两轴运动轨道的正前方是进行三维重建的球形目标物体，直径约为1米。控制点构建过程中需要保证视觉融合系统中激光测距仪的激光点打在球形目标物体上。
进一步地，在目标物体的三维重建中，如图1所示，可以将目标物体40固定在底座50上，控制目标物体40的旋转采集多张影像，以用于三维建模。
需要说明的是，本发明实施例中所述的运动轨道并不限于图1所示，也可以为其他形式，在此对其并不做任何限制，具体可以根据实际情况进行相应的设置，只需保证运动轨道与激光三维坐标系在某一平面上的投影坐标系对应，所述的某一平面为与激光发射方向垂直的平面。
所述的电子设备与所述视觉融合系统连接，所述电子设备用于控制所述视觉融合系统的动作，以确定所述相机相对于所述单点激光测距仪的相对变换矩阵。其中，电子设备可以是电脑、平板或其他具有数据处理能力的终端，在此对其并不做任何限制。
电子设备用于执行本发明实施例中所述的相对变换矩阵的标定方法，以确定相机相对于单点激光测距仪的相对变换矩阵。关于具体的标定方法具体将在下文中进行详细描述。
根据本发明实施例，提供了一种相对变换矩阵的标定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种相对变换矩阵的标定方法，可用于上述的电子设备，如手机、平板电脑等。图1是根据本发明实施例的相对变换矩阵的标定方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
三维控制点坐标为视觉融合系统中单点激光测距仪在移动过程中，单点激光测距仪所发射的激光在目标物体所形成的激光斑点的三维坐标。其中，所述的激光三维坐标系可以是先确定坐标原点，再将相互垂直的三个方向为激光三维坐标系的X轴、Y轴以及Z轴方向。单点激光测距仪在该三维坐标系移动，从而得到三维控制点坐标。
例如，将单点激光测距仪的初始位置作为激光三维坐标系下的坐标原点，将激光照射方向定义为Z轴方向，那么所形成的激光斑点，即三维控制点的Z坐标即为单点激光测距仪的测量结果。进一步地，通过记录单点激光测距仪在X方向以及Y方向的位置，就可以确定出三维控制点的X坐标以及Y坐标。
至此，电子设备就可以获取到多个三维控制点坐标，该三维控制点坐标是在激光三维坐标系下得到的。
进一步地，对于目标物体而言，可以通过对目标物体进行三维建模，得到目标物体的三维模型。单点激光测距仪在向目标物体发射激光得到三维控制点坐标的同时，在目标物体上形成有激光斑点，可以在目标物体上标注出各个激光斑点的位置，再通过相机采集包含标记信息的影像，以用于后续的三维建模，那么在形成的三维模型中就可以表征出激光斑点的位置，从而就可以得到三维控制点在模型坐标系下的三维模型坐标。
或者，单点激光测距仪在向目标物体发射激光得到三维控制点坐标的同时，可以选择红外激光测距，那么在目标物体上就会形成有红色的激光斑点，此时采集目标物体的当前影像，所得到的当前影像上就会包括有红色的激光斑点，即所述的控制点。在后续所形成的三维模型中，就会包括有各个控制点，相应地，就可以确定出各个三维控制点在模型坐标系下的三维模型坐标。
需要说明的是，三维控制点坐标以及各个三维控制点在目标物体的模型坐标系可以是电子设备实时获取到的，也可以是事先存储在电子设备中的，亦或是电子设备通过其他方式获取到的，在此对具体的获取方式并不做任何限定，具体可以根据实际情况进行相应的设置。
关于该步骤具体将在下文中进行详细描述，在此不再赘述。
S12，利用三维控制点坐标与对应的三维模型坐标，确定模型坐标系到激光三维坐标系下的坐标转换。
所述的三维控制点坐标与对应的三维模型坐标均表示同一个控制点在不同坐标下的三维坐标，那么利用坐标转换就可以确定出模型坐标系与激光三维坐标系的转换。
电子设备在确定出模型坐标系到激光三维坐标系的转换之后，就可以将目标物体在模型坐标系下的坐标转换为激光三维坐标系下的坐标。至此，电子设备就可以得到目标物体的各个像素点在激光三维坐标下的坐标。
S13，获取目标物体的初始影像。
其中，所述初始影像为单点激光测距仪位于激光三维坐标系的原点处时相机采集的。
电子设备在获取第一个初始控制点(激光三维坐标系的原点)坐标时，利用相机获取了一张目标物体影像，即所述的初始影像img_1。在获取影像img_1时，单点激光测距仪还未移动，仍处于激光三维坐标系的原点上，而目标物体也未，相机的相对位置未变，因此初始影像img_1在激光三维坐标系下的位姿，就是相机在激光三维坐标系下的位姿。
S14，基于目标物体在初始影像上的二维坐标点，确定与二维坐标点对应的激光三维坐标系下的三维坐标点。
初始影像为相机所采集到的，那么初始影像上的各个像素点的二维坐标点为处于相机坐标系下的二维坐标点。在上述S12中，电子设备已经得到目标物体在激光三维坐标系的各个像素点的三维坐标。那么，就可以先确定出对应的二维坐标点与三维坐标点，就可以确定出相机相对于单点测距仪的相对变换矩阵。
可选地，电子设备可以先在初始影像上确定出用于匹配的二维坐标点，再在三维模型中确定出二维坐标的位置，从而就可以确定出与二维坐标点对应的三维坐标点。其中，关于在三维模型中确定二维坐标的位置，可以是自动确定的，也可以是人工确定的。
在自动确定的情况下，电子设备在初始影像上选取关键的特征点，再对三维模型进行分析，确定关键特征点的位置，从而就可以确定出与二维坐标点对应的三维坐标点。当然，电子设备也可以采用其他方式确定与二维坐标点对应的三维坐标点。
S15，根据二维坐标点以及三维坐标点，确定相机相对于单点激光测距仪的相对变换矩阵。
如上文所述，二维坐标点为相机坐标系下的坐标点，三维坐标点为激光三维坐标系下的坐标，利用二维坐标点与三维坐标点的对应关系，就可以确定出相机相对于单点激光测距仪的相对变换矩阵。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的相对变换矩阵的标定方法，利用多个三维控制点坐标以及各个三维控制点在模型坐标系下的三维模型坐标对相对变换矩阵进行标定，即利用三维重建结果进行相对变换矩阵的标定，避免了棋盘格板的使用，且高精度的三维重建可以提升相对变换矩阵标定的精度；进一步地，由于初始影像是在单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的，因此初始影像在激光三维坐标系的位置和姿态，可以看作是视觉融合系统中相机相对于激光测距仪的相对变换矩阵。
在本实施例中提供了一种相对变换矩阵的标定方法，可用于上述的电子设备，如手机、平板电脑等，图3是根据本发明实施例的相对变换矩阵的标定方法的流程图，如图3所示，该流程包括如下步骤：
S21，获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
具体地，上述S21包括如下步骤：
S211，获取激光三维坐标系。
如上文所述，激光三维坐标系可以是先确定坐标原点，再将相互垂直的三个方向为激光三维坐标系的X轴、Y轴以及Z轴方向，其中Z轴方向为单点激光测距仪的激光出射方向。
S212，控制单点激光测距仪在激光三维坐标系下移动，并获取单点激光测距仪的测量结果，得到三维控制点坐标。
电子设备控制单点激光测距仪在激光三维坐标系下移动，具体地，控制单点激光测距仪沿激光三维坐标系的X轴或Y轴移动，记录X轴以及Y轴坐标，以及单点激光测距仪的测量结果，得到Z轴坐标，从而就可以得到三维控制点坐标。
作为本实施例的一种可选实施方式，上述S212可以包括如下步骤：
(1)控制单点激光测距仪在运动轨道上移动，并记录单点激光测距仪的二维移动信息，得到第一方向坐标与第二方向坐标。
其中，所述运动轨道与激光三维坐标系的所述第一方向以及第二方向对应，所述第一方向与所述第二方向垂直。
如图1所示，运动轨道包括相互垂直两个轨道方向，这两个轨道方向分别为激光三维坐标系的X轴以及Y轴方向。电子设备控制单点激光测距仪在该运动轨道上移动，记录移动信息，所得到的第一方向坐标与第二方向坐标，即为控制点的X坐标以及Y坐标。
(2)控制单点激光测距仪进行测距并记录测量结果，得到第三方向坐标。
其中，所述第三方向与所述第一方向以及所述第二方向均垂直。
电子设备控制单点激光测距仪移动一次，就控制单点激光测距仪进行测距，得到测量结果。此时，得到的测量结果为控制点的Z坐标。
(3)利用第一方向坐标、第二方向坐标以及第三方向坐标，得到三维控制点坐标。
电子设备利用所得到的第一方向坐标、第二方向坐标以及第三方向坐标，就可以得到控制点的三维控制点坐标。
在激光三维坐标系下控制单点激光测距仪的移动，以标定三维控制点坐标，简化了三维控制点坐标的确定过程，提高了标定效率。
S213，控制目标物体转动，并在各次测距时采集目标物体的控制点影像。
其中，所述控制点影像中具有激光斑点。
在上述S212的步骤(2)中，电子设备在控制单点激光测距仪进行测距时，控制相机采集目标物体的控制点影像，在该控制点影像中包括有激光斑点。
电子设备在控制单点激光测距仪进行测距时，每次测距完成之后，可以控制目标物体转动，采集目标物体的影像以用于后续的三维建模。
具体地，电子设备多次移动视觉融合系统进行激光测距，从而得到多个在激光三维坐标系下的控制点坐标，在本实施例中使用12个控制点。每次使用激光测距仪进行距离测量时，使用相机获取一张目标物体影像，该影像上可以看出每次的激光斑点在目标物体上的位置，便于后续在目标物体三维重建部分，可以快速从三维点云上找到三维控制点的位置。
S214，基于采集到的控制点影像，对目标物体进行三维建模，得到目标物体在模型坐标系下的三维模型。
具体地，目标物体的三维重建包括影像特征点对应关系计算、基于运动恢复结构的三维点云生成。
(一)影像特征点对应关系计算
1、如图4所示，结合图1所示的视觉融合系统的示意图，首先使用旋转底座对球形目标物体进行匀速旋转，在旋转的过程中使用相机获取覆盖目标物体表面的多张影像。
2、对获取的影像进行SIFT特征点的提取。
3、对提取的SIFT特征点进行特征匹配，得到初始匹配点对。
4、利用得到的初始匹配点对来估计基础矩阵。
5、利用基础矩阵约束对初始匹配点对进行精化，剔除误匹配点对。
6、输出两两影像之间的特征点对应关系。
(二)基于运动恢复结构的三维点云生成
1、如图5所示，首先输入影像特征点对应关系计算步骤中得到的两两影像之间的特征点对应关系结果。
2、选取有足够匹配点数量的一组影像对来开始三维重建。
3、使用八点法(Eight-point-algorithm)来估计两张影像之间的相对变换矩阵。
4、通过三角测量的方式来计算初始模型的三维点。
5、迭代地添加新的影像，通过步骤3和步骤4来计算该影像得到的三维点，并将新获得的三维点与之前得到的三维点进行融合。
6、输出球形目标物体的三维重建结果，此时得到的三维密集点云还是模型坐标，不具备尺度信息。
S215，基于三维模型，确定各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
其中，用于三维建模的影像中包括有激光斑点，那么电子设备利用建立的三维模型，就可以确定各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
S22，利用三维控制点坐标与对应的三维模型坐标，确定模型坐标系到激光三维坐标系下的坐标转换。
详细请参见图2所示实施例的S12，在此不再赘述。
S23，获取目标物体的初始影像。
其中，所述初始影像为单点激光测距仪位于激光三维坐标系的原点处时相机采集的。
详细请参见图2所示实施例的S13，在此不再赘述。
S24，基于目标物体在初始影像上的二维坐标点，确定与二维坐标点对应的激光三维坐标系下的三维坐标点。
详细请参见图2所示实施例的S14，在此不再赘述。
S25，根据二维坐标点以及三维坐标点，确定相机相对于单点激光测距仪的相对变换矩阵。
详细请参见图2所示实施例的S15，在此不再赘述。
本实施例提供的相对变换矩阵的标定方法，在激光三维坐标系下控制单点激光测距仪的移动，得到三维控制点坐标，该三维控制点坐标用于后续模型坐标系到激光三维坐标系下的坐标转换，将三维控制点坐标与三维重建结合，实现了相对变换矩阵的标定。进一步地，在测距时采集控制点影像，利用控制点影像以及三维模型就可以在三维模型中标定出各个控制点坐标，从而可以确定各个三维控制点在模型坐标系下的三维模型坐标，保证了三维模型坐标确定的可靠性。
在本实施例中提供了一种相对变换矩阵的标定方法，可用于上述的电子设备，如手机、平板电脑等，图6是根据本发明实施例的相对变换矩阵的标定方法的流程图，如图6所示，该流程包括如下步骤：
S31，获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标。
详细请参见图3所示实施例的S21，在此不再赘述。
S32，利用三维控制点坐标与对应的三维模型坐标，确定模型坐标系到激光三维坐标系下的坐标转换。
详细请参见图3所示实施例的S22，在此不再赘述。
S33，获取目标物体的初始影像。
其中，所述初始影像为单点激光测距仪位于激光三维坐标系的原点处时相机采集的。
详细请参见图3所示实施例的S23，在此不再赘述。
S34，基于目标物体在初始影像上的二维坐标点，确定与二维坐标点对应的激光三维坐标系下的三维坐标点。
详细请参见图3所示实施例的S24，在此不再赘述。
S35，根据二维坐标点以及三维坐标点，确定相机相对于单点激光测距仪的相对变换矩阵。
具体地，上述S35包括如下步骤：
S351，获取相机的内参数。
相机的内参数可以通过相机内参标定得到，例如，相机的内参数可以采用内参数矩阵表示。具体地，可以使用视觉融合系统的相机在多个距离和角度拍摄多张影像，再利用相机标定程序处理这些影像，从而获得相机的内参数矩阵K3×3，形式如公式(1)所示：
S352，基于相机的内参数、二维坐标点以及三维坐标点，计算相对变换矩阵。
电子设备在获取到相机的内参数之后，就可以利用二维坐标点和三维坐标点之间的对应关系，求解出初始影像在激光三维坐标系下的位置和姿态，也就是相机相对于激光测距仪的相对变换矩阵。其中，三维特征点和初始影像上二维特征点之间的关系可以采用公式(2)表示：
上述公式中的坐标转换矩阵T4×4即为所求的相机相对于单点激光测距仪的相对变换矩阵，它将激光三维坐标系下三维特征点的齐次坐标PL(X,Y,Z,1)T转换为相机三维坐标系下的坐标PC(X',Y',Z',1)T。K3×3表示相机的内参数，可以通过相机内参标定得到。因此只要通过至少3组的三维特征点和二维特征点，就可以求出相机相对于单点激光测距仪的变换矩阵T4×4，T4×4为4阶矩阵，前3行前3列为初始影像的姿态，第4列的前3行为初始影像的位置。
S36，获取单点激光测距仪到激光测距点的第一距离。
相机与单点激光测距仪组合的视觉融合系统中，相机与单点激光测距仪之间的相对位置关系是固定的，单点激光测距仪获取的距离值是激光测距点到单点激光测距仪发射原点的距离D1，而在实际应用过程中往往需要的是该激光测距点到相机的距离D2，以及距离D2在单目相机影像上对应的像素点坐标p(u,v)。而要得到该距离D2和像素点坐标p(u,v)，需要求出视觉融合系统中单点激光测距仪与相机之间的相对位姿关系，也就是单点激光三维坐标系和相机三维坐标系之间的相对变换矩阵。
进一步地，视觉融合系统中的单点激光测距仪通过发射激光测量单点激光测距仪的原点到激光测距点之间的第一距离D1，并将测得的第一距离D1发送给电子设备。后续电子设备基于获取到的第一距离D1计算第二距离D2。
S37，基于测量结果以及相对变换矩阵，确定相机到激光测距点的第二距离以及激光测距点在相机所采集到的影像上的坐标。
因为视觉融合系统中相机与单点激光测距仪之间的相对位置关系是固定的，所以相机三维坐标系相对于激光三维坐标系的相对变换矩阵T4×4也是不变的。把激光测距仪获取的距离D1看作是在激光三维坐标系下的三维点PL(0,0,D1,1)T，再根据利用公式(3)可以计算三维点PL(0,0,D1,1)T在相机三维坐标系下的坐标PC(XC,YC,ZC,1)T：
进一步地，利用公式(4)可以计算得到激光测距点到相机的第二距离D2：
相应地，单点激光测距仪在进行第一距离的测量时，相机同时采集此时目标体的影像。电子设备在计算得到激光测距点到相机的第二距离D2之后，也可以利用相机内参数，确定激光测距点在所采集到的影像上对应的像素点坐标p(u,v)，具体可以采用公式(5)计算得到：
本实施例提供的相对变换矩阵的标定方法，结合相机的内参数进行相对变换矩阵的计算，简化了计算过程，提高了标定效率。
在本实施例的一个具体应用实例中，本发明所述的相对变换矩阵的标定方法，主要包括三个部分的内容：包括激光三维坐标系控制点构建部分、目标物体三维重建部分和相对变换矩阵计算部分。
1、激光三维坐标系控制点构建部分包括：将视觉融合系统置于两轴运动轨道上，构建以第一个初始单点激光测距仪发射点为原点的三维空间坐标系，该坐标系统的X轴向右，Y轴向下，Z轴指向激光发射前方，两轴运动轨道的两个轨道方向和激光三维坐标系的X轴和Y轴平行。在获取第一个控制点坐标的同时，利用相机获取一张目标物体的初始影像img_1。之后利用运动轨道移动视觉融合系统，并记录运动轨道上视觉融合系统移动的位置作为该三维控制点的X坐标和Y坐标，以及单点激光测距仪的多次距离测量平均值作为该三维控制点的Z坐标。之后多次移动视觉融合系统进行距离测量，从而得到多个在激光三维坐标系下的控制点坐标。每次使用单点激光测距仪进行距离测量时，使用相机获取一张目标物体影像，该影像上可以看出每次的激光斑点在目标物体上的位置，便于后续在目标物体三维重建部分，可以快速从三维点云上找到三维控制点的位置。
2、目标物体三维重建部分包括：将目标物体置于匀速旋转的底座上，使用相机获取覆盖目标物体表面的多张影像，并把获取的影像通过影像特征点对应关系计算以及基于运动恢复结构的三维点云生成步骤完成目标物体模型的三维重建，再利用得到的激光三维坐标系下的控制点完成三维点云从模型坐标系到激光三维坐标系的坐标转换。
3、相对变换矩阵计算部分包括：在激光三维坐标系控制点构建部分中，本发明实施例在获取第一个初始控制点(激光三维坐标系的原点)坐标时，利用相机获取了一张目标物体的初始影像img_1。在初始获取影像img_1时，单点激光测距仪还未移动，仍处于激光三维坐标系的原点上，而目标物体也未开始旋转，相机的相对位置未变，因此初始影像img_1在激光三维坐标系下的位姿，就是相机在激光三维坐标系下的位姿。基于上述原理和分析，本发明实施例在初始影像img_1找到多个二维点及其像素坐标，以及这些二维点在密集点云模型上对应的三维点及其坐标，然后根据这些二维点和三维点之间的对应关系，可以利用高效n点透视方法(Efficient Perspective-n-Point，EPnP)求解出初始影像img_1在激光三维坐标系下的位姿，即本发明实施例视觉融合系统中的相机在激光三维坐标系下的位姿，也就是从单点激光测距仪到相机之间的相对变换矩阵。利用该相对变换矩阵，以及激光测距点到单点激光测距仪发射原点的距离D1，可以得到激光测距点到单目相机的距离D2。再根据相机自身的内参数，可以求得距离D2在单目相机影像上对应的像素点坐标p(u,v)。
本发明实施例中的技术方案，其具有以下优点：
1、该标定方法与传统的基于棋盘格子标定板进行标定的方案相比，无需利用棋盘格板，而是利用高精度的三维重建结果来进行相对变换矩阵的标定，得到的标定结果精度更高、可靠性更好。
2、在传统的单目相机与激光测距仪的相对变换矩阵标定方案中，通常步骤是先进行相对变换矩阵标定，然后再利用标定结果进行三维重建等其它应用，因此相对变换矩阵标定的精度影响了后续三维重建的精度。而本发明实施例中所述的标定方法是在构建高精度三维重建结果的同时，利用该三维重建结果来完成相对变换矩阵的标定，因此标定结果的精度不会影响三维重建的精度，且高精度的三维重建结果可以提升相对变换矩阵标定的精度。
3、在一些基于三维重建的相机自标定方法中，使用的三维点云是稀疏且不具备尺度信息的模型坐标。而本发明实施例在标定过程中使用多个控制点把密集的三维点云从模型坐标转换到了激光三维坐标系下，因此具有真实的尺度信息，可以直接在三维点云上进行距离测量等测绘工作。
在本实施例中还提供了一种相对变换矩阵的标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种相对变换矩阵的标定装置，如图7所示，包括：
第一获取模块41，用于获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
第一确定模块42，用于利用所述三维控制点坐标与对应的所述三维模型坐标，确定所述模型坐标系到所述激光三维坐标系下的坐标转换；
第二获取模块43，用于获取所述目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；
第二确定模块44，用于基于所述目标物体在所述初始影像上的二维坐标点，确定与所述二维坐标点对应的所述激光三维坐标系下的三维坐标点；
第三确定模块45，用于根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵。
本实施例提供的相对变换矩阵的标定装置，利用多个三维控制点坐标以及各个三维控制点在模型坐标系下的三维模型坐标对相对变换矩阵进行标定，即利用三维重建结果进行相对变换矩阵的标定，避免了棋盘格板的使用，且高精度的三维重建可以提升相对变换矩阵标定的精度；进一步地，由于初始影像是在单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的，因此初始影像在激光三维坐标系的位置和姿态，可以看作是视觉融合系统中相机相对于激光测距仪的相对变换矩阵。
本实施例中的相对变换矩阵的标定装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图7所示的相对变换矩阵的标定装置。
请参阅图8，图8是本发明可选实施例提供的一种电子设备的结构示意图，如图8所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图7所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。
其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图2、3和6实施例中所示的相对变换矩阵的标定方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的相对变换矩阵的标定方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (6)
1.一种相对变换矩阵的标定方法，其特征在于，所述标定方法包括：
获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
利用所述三维控制点坐标与对应的所述三维模型坐标，确定所述模型坐标系到所述激光三维坐标系下的坐标转换；
获取所述目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；
基于所述目标物体在所述初始影像上的二维坐标点，确定与所述二维坐标点对应的所述激光三维坐标系下的三维坐标点；
根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵；
其中，所述获取多个激光三维坐标系下的三维控制点坐标，包括：
获取所述激光三维坐标系；
控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标；
所述控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标，包括：
控制所述单点激光测距仪在运动轨道上移动，并记录所述单点激光测距仪的二维移动信息，得到第一方向坐标与第二方向坐标，所述运动轨道与所述激光三维坐标系的所述第一方向以及所述第二方向对应，所述第一方向与所述第二方向垂直；
控制所述单点激光测距仪进行测距并记录测量结果，得到第三方向坐标，所述第三方向与所述第一方向以及所述第二方向均垂直；
利用所述第一方向坐标、所述第二方向坐标以及所述第三方向坐标，得到所述三维控制点坐标；
所述获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标，包括：
控制所述目标物体转动，并在各次测距时采集所述目标物体的控制点影像，所述控制点影像中具有激光斑点；
基于采集到的控制点影像，对所述目标物体进行三维建模，得到所述目标物体在所述模型坐标系下的三维模型；
基于所述三维模型，确定所述各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
所述根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵，包括：
获取所述相机的内参数；
基于所述相机的内参数、所述二维坐标点以及所述三维坐标点，计算所述相对变换矩阵。
2.根据权利要求1所述的标定方法，其特征在于，所述方法还包括：
获取所述单点激光测距仪到激光测距点的第一距离；
基于所述测量结果以及所述相对变换矩阵，确定所述相机到所述激光测距点的第二距离以及所述激光测距点在所述相机所采集到的影像上的坐标。
3.一种相对变换矩阵的标定装置，其特征在于，所述标定装置包括：
第一获取模块，用于获取激光三维坐标系下的多个三维控制点坐标以及获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
第一确定模块，用于利用所述三维控制点坐标与对应的所述三维模型坐标，确定所述模型坐标系到所述激光三维坐标系下的坐标转换；
第二获取模块，用于获取所述目标物体的初始影像，所述初始影像为单点激光测距仪位于所述激光三维坐标系的原点处时相机采集的；
第二确定模块，用于基于所述目标物体在所述初始影像上的二维坐标点，确定与所述二维坐标点对应的所述激光三维坐标系下的三维坐标点；
第三确定模块，用于根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵；
其中，所述获取多个激光三维坐标系下的三维控制点坐标，包括：
获取所述激光三维坐标系；
控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标；
所述控制所述单点激光测距仪在所述激光三维坐标系下移动，并获取所述单点激光测距仪的测量结果，得到所述三维控制点坐标，包括：
控制所述单点激光测距仪在运动轨道上移动，并记录所述单点激光测距仪的二维移动信息，得到第一方向坐标与第二方向坐标，所述运动轨道与所述激光三维坐标系的所述第一方向以及所述第二方向对应，所述第一方向与所述第二方向垂直；
控制所述单点激光测距仪进行测距并记录测量结果，得到第三方向坐标，所述第三方向与所述第一方向以及所述第二方向均垂直；
利用所述第一方向坐标、所述第二方向坐标以及所述第三方向坐标，得到所述三维控制点坐标；
所述获取各个三维控制点在目标物体的模型坐标系下的三维模型坐标，包括：
控制所述目标物体转动，并在各次测距时采集所述目标物体的控制点影像，所述控制点影像中具有激光斑点；
基于采集到的控制点影像，对所述目标物体进行三维建模，得到所述目标物体在所述模型坐标系下的三维模型；
基于所述三维模型，确定所述各个三维控制点在目标物体的模型坐标系下的三维模型坐标；
所述根据所述二维坐标点以及所述三维坐标点，确定所述相机相对于所述单点激光测距仪的相对变换矩阵，包括：
获取所述相机的内参数；
基于所述相机的内参数、所述二维坐标点以及所述三维坐标点，计算所述相对变换矩阵。
4.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-2中任一项所述的相对变换矩阵的标定方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-2中任一项所述的相对变换矩阵的标定方法。
6.一种相对变换矩阵的标定系统，其特征在于，所述标定系统包括：
视觉融合系统，包括单点激光测距仪以及相机；
运动轨道，所述运动轨道与激光三维坐标系的第一方向以及第二方向对应，所述第一方向与所述第二方向垂直；
权利要求4所述的电子设备，所述电子设备与所述视觉融合系统连接，所述电子设备用于控制所述视觉融合系统的动作，以确定所述相机相对于所述单点激光测距仪的相对变换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099130.5A CN112907727B (zh) | 2021-01-25 | 2021-01-25 | 相对变换矩阵的标定方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099130.5A CN112907727B (zh) | 2021-01-25 | 2021-01-25 | 相对变换矩阵的标定方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907727A CN112907727A (zh) | 2021-06-04 |
| CN112907727B true CN112907727B (zh) | 2023-09-01 |
Family
ID=76120187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110099130.5A Active CN112907727B (zh) | 2021-01-25 | 2021-01-25 | 相对变换矩阵的标定方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907727B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538591B (zh) * | 2021-06-18 | 2024-03-12 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| CN113538592B (zh) * | 2021-06-18 | 2023-10-27 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| CN113720259A (zh) * | 2021-08-23 | 2021-11-30 | 河北鹰眼智能科技有限公司 | 一种立体视觉定位方法 |
| CN113945204B (zh) * | 2021-10-26 | 2022-11-29 | 西北工业大学 | 空间点云测量系统及标定、重建方法 |
| CN114152201B (zh) * | 2021-11-04 | 2023-10-17 | 深圳橙子自动化有限公司 | 激光测高仪标定方法和装置、电子设备及存储介质 |
| CN114758016B (zh) * | 2022-06-15 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | 摄像设备标定方法、电子设备和存储介质 |
| CN115049864B (zh) * | 2022-06-27 | 2025-04-25 | 中国电子科技集团公司第十四研究所 | 一种基于阴影图像处理的目标三维重建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107726975A (zh) * | 2017-09-20 | 2018-02-23 | 大连理工大学 | 一种基于视觉拼接测量的误差分析方法 |
| CN110245599A (zh) * | 2019-06-10 | 2019-09-17 | 深圳市超准视觉科技有限公司 | 一种智能三维焊缝自主寻迹方法 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| WO2020173052A1 (zh) * | 2019-02-28 | 2020-09-03 | 未艾医疗技术(深圳)有限公司 | 图像三维测量方法、电子设备、存储介质及程序产品 |
| CN111862238A (zh) * | 2020-07-23 | 2020-10-30 | 中国民航大学 | 一种全空间单目光笔式视觉测量方法 |
| CN111998772A (zh) * | 2020-08-05 | 2020-11-27 | 浙江大学 | 一种基于激光与单目视觉融合的像素级目标定位方法 |
-
2021
- 2021-01-25 CN CN202110099130.5A patent/CN112907727B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107726975A (zh) * | 2017-09-20 | 2018-02-23 | 大连理工大学 | 一种基于视觉拼接测量的误差分析方法 |
| WO2020173052A1 (zh) * | 2019-02-28 | 2020-09-03 | 未艾医疗技术(深圳)有限公司 | 图像三维测量方法、电子设备、存储介质及程序产品 |
| CN110245599A (zh) * | 2019-06-10 | 2019-09-17 | 深圳市超准视觉科技有限公司 | 一种智能三维焊缝自主寻迹方法 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| CN111862238A (zh) * | 2020-07-23 | 2020-10-30 | 中国民航大学 | 一种全空间单目光笔式视觉测量方法 |
| CN111998772A (zh) * | 2020-08-05 | 2020-11-27 | 浙江大学 | 一种基于激光与单目视觉融合的像素级目标定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 相机与激光跟踪仪相对位姿标定方法的研究;范百兴;杨聚庆;周维虎;李祥云;;测绘工程(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907727A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907727B (zh) | 相对变换矩阵的标定方法、装置及系统 | |
| CN110689585B (zh) | 多相机外参的联合标定方法、装置、设备和介质 | |
| Vasconcelos et al. | A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder | |
| WO2022179094A1 (zh) | 车载激光雷达外参数联合标定方法、系统、介质及设备 | |
| CN108665536A (zh) | 三维与实景数据可视化方法、装置与计算机可读存储介质 | |
| CN110163903A (zh) | 三维图像的获取及图像定位方法、装置、设备和存储介质 | |
| CN110232707A (zh) | 一种测距方法及装置 | |
| WO2023010565A1 (zh) | 单目散斑结构光系统的标定方法、装置及终端 | |
| WO2022062355A1 (zh) | 一种融合定位方法及装置 | |
| CN114820769B (zh) | 车辆定位方法、装置、计算机设备、存储介质及车辆 | |
| CN108038871A (zh) | 旋转平台的旋转中心确定方法、装置、服务器和存储介质 | |
| CN118671742A (zh) | 激光雷达与组合惯导的标定方法、设备及计算机存储介质 | |
| JP2003006618A (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム | |
| CN112556596B (zh) | 三维变形测量系统、方法、装置和存储介质 | |
| CN114910021A (zh) | 一种光栅式双目立体视觉三维测量系统及方法 | |
| CN114719746A (zh) | 一种激光三角测量系统的测量方法、装置及介质 | |
| CN116897300A (zh) | 一种标定方法及装置 | |
| CN114429515A (zh) | 一种点云地图构建方法、装置和设备 | |
| JP7594897B2 (ja) | 情報処理装置 | |
| CN111415295A (zh) | 一种倾斜摄影三维模型的拍摄分辨率正射图生成方法 | |
| JP7113997B1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| CN111862203B (zh) | 基于3d地图的球机位置与姿态参数校准方法、存储介质 | |
| CN118097039B (zh) | 基于离散化投影光线的面结构光三维点云重建方法及系统 | |
| CN109410283B (zh) | 室内全景相机的空间标定装置和具有其的定位装置 | |
| CN113643358B (zh) | 相机的外参标定方法、装置、存储介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |