[go: up one dir, main page]

CN110296691B - 融合imu标定的双目立体视觉测量方法与系统 - Google Patents

融合imu标定的双目立体视觉测量方法与系统 Download PDF

Info

Publication number
CN110296691B
CN110296691B CN201910575918.1A CN201910575918A CN110296691B CN 110296691 B CN110296691 B CN 110296691B CN 201910575918 A CN201910575918 A CN 201910575918A CN 110296691 B CN110296691 B CN 110296691B
Authority
CN
China
Prior art keywords
camera
point
matrix
imu
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910575918.1A
Other languages
English (en)
Other versions
CN110296691A (zh
Inventor
张东升
冯威武
张国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN SINOROCK TECHNOLOGY CO LTD
University of Shanghai for Science and Technology
Original Assignee
WUHAN SINOROCK TECHNOLOGY CO LTD
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN SINOROCK TECHNOLOGY CO LTD, University of Shanghai for Science and Technology filed Critical WUHAN SINOROCK TECHNOLOGY CO LTD
Priority to CN201910575918.1A priority Critical patent/CN110296691B/zh
Publication of CN110296691A publication Critical patent/CN110296691A/zh
Application granted granted Critical
Publication of CN110296691B publication Critical patent/CN110296691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明属于光电检测领域，特别是涉及一种融合了IMU以进行标定的双目立体视觉测量方法及系统。该方法通过将两IMU分别与相机固联，先计算相机与IMU的空间转换关系，再利用IMU的z‑y‑x序列的欧拉角以及本发明提出的偏航角角度差分的方法确定两个相机之间的旋转矩阵；利用对极几何原理和旋转矩阵确定平移向量，并根据稀疏的光束平差法对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化的相机参数。该方法无需借助大型的制作精密的的标定板，只需要测量两个相机基线的长度即可完成双目立体视觉的标定，解决了传统标定方法仅适用于室内小视场和自标定方法精度低的缺陷，本发明可应用在户外、大视场等复杂环境下，并具有较高的精度、鲁棒性以及灵活性。

Description

融合IMU标定的双目立体视觉测量方法与系统
技术领域
本发明属于光电检测领域，特别是涉及一种适用于户外复杂环境下的融合IMU标定的双目立体视觉测量方法及系统。
背景技术
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。其具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制；此外，对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。自上世纪的60年代中期开创以来，经过几十年来的发展，其在机器人视觉、航空测绘、逆向工程、军事运用、医学成像和工业检测等领域中的运用越来越广泛。
使用双目立体视觉对被测物体进行三维形貌、变形测量之前需要对其标定，所以相机的标定在三维测量中扮演着重要的角色。相机标定本质是确定其内部参数和外部参数的过程，其中内部参数是相机组件的几何和光学特性，是相机本身固有的、与位置无关的内部几何与光学参数，包括主点坐标、等效焦距、比例因子以及镜头畸变等；而外部参数是指立体视觉系统中各相机之间的空间姿态关系，包括旋转矩阵和平移向量等。
目前，双目相机的标定方法主要包括传统标定方法和自标定方法。传统标定方法需要借助制作精密的二维或三维标定物，该方法精度较高，但是由于其制作成本、操作灵活性、便携性等方面的限制，其通常仅限于在实验室内且视场较小的情况下被使用；自标定方法不需要借助标定靶，它通常是利用场景中特征点、相机参数的约束以及主动视觉等技术进行标定，但是该方法的精度较低，仅适用于对精度要求不高的领域。
发明内容
本发明针对现存的双目立体视觉标定方法在大视场、复杂环境下步骤繁琐、精度较低等技术缺陷，提出了一种融合了双目相机与IMU以进行标定的双目立体视觉测量方法与双目立体视觉系统。
作为本发明的第一方面，提供了一种融合IMU标定的双目立体视觉测量方法，其是通过融合双目相机与IMU(惯性测量单元)从而可以对立体视觉测量方法进行标定的测量方法，特别适用于大视场、复杂环境等户外场所的视觉测量方法标定；该方法包括以下步骤：
步骤1：确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数。使用Kalibr工具箱、imu_tk工具或是现有技术中其他类似可以实现对IMU内参进行标定的工具对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型。
步骤2：将两个相机分别固定在两个三脚架的云台上，再将两IMU分别与两相机固连，相机与IMU的坐标轴平行或尽可能地平行地设置；并将相机和IMU均连接至电脑，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息。
步骤3：将作为优选的April类型标定板或棋盘格标定板等其他类型标定板固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU中的加速度计、陀螺仪等传感器的数据；对另一个相机和IMU做同样的操作并记录数据。
步骤4：利用步骤3中采集的图片和记录的数据使用Kalibr工具箱或类似的现有其他工具标定IMU 1与相机1之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU 2与相机2之间的空间变换矩阵Rc2-i2。
步骤5：使用偏航角角度差分的方法以确定两个IMU偏航角的相对值。
步骤6：通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角
Figure GDA0002586865900000021
和
Figure GDA0002586865900000022
来计算两个IMU之间的空间转换矩阵Ri2-i1。
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵
Figure GDA0002586865900000023
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场。
步骤9：使用Shi-Tomasi角点检测算法或其他现有技术中的类似算法(用于计算图像中特定点像素坐标的相关算法)以计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n。
步骤10：利用对极几何原理确定双目立体视觉的基本矩阵F，其具体步骤包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：
Figure GDA0002586865900000031
在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂。本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
Figure GDA0002586865900000032
根据
Figure GDA0002586865900000033
和
Figure GDA0002586865900000034
变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；步骤10.2：求对应于归一化的匹配
Figure GDA0002586865900000035
的基本矩阵
Figure GDA0002586865900000036
根据对极几何原理基本矩阵
Figure GDA0002586865900000037
满足如下关系：
Figure GDA0002586865900000038
假设
Figure GDA0002586865900000039
和
Figure GDA00025868659000000310
对应于归一化的匹配
Figure GDA00025868659000000311
的基本矩阵为：
Figure GDA00025868659000000312
对n个匹配点，等式(2)展开得式3：
Figure GDA00025868659000000313
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T。
显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解。
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束。假设8点算法通过
Figure GDA00025868659000000314
的最小奇异值的奇异矢量确定最小二乘解为
Figure GDA00025868659000000315
则
Figure GDA00025868659000000316
奇异值分解(SVD)为
Figure GDA00025868659000000317
对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设
Figure GDA00025868659000000318
即可得到秩为2并使
Figure GDA00025868659000000319
的Frobenius范数最小的
Figure GDA00025868659000000320
步骤10.3：解除归一化。
归一化的8点算法求解双目立体视觉的基本矩阵
Figure GDA00025868659000000321
矩阵F是对应于原始数据
Figure GDA0002586865900000041
的基本矩阵。
步骤10.4：随机抽样一致性算法优化基本矩阵。
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化。为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵。
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point。既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，本质矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵。
步骤12：计算双目立体视觉的平移向量t；具体的步骤包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
Figure GDA0002586865900000051
因此，平移向量t为：
t＝sT。
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数。
根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标。由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，重投影误差经常被作为一个约束去优化相机的参数。
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化。多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和。
假设n个三维点在视图中可见，令
Figure GDA0002586865900000052
为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，
Figure GDA0002586865900000053
是与三维点pj的真实图像点
Figure GDA0002586865900000054
对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
Figure GDA0002586865900000055
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量。本发明通过计算所有参考点的重投影误差之和的最小值，从而可以得到最优的摄像机内外参数。
作为优选，由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样。但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值。
具体的步骤包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视；更佳地，可以通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000061
和
Figure GDA0002586865900000062
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000063
和
Figure GDA0002586865900000064
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
Figure GDA0002586865900000065
同时，步骤6中的两个IMU之间的空间转换矩阵Ri2-i1是按式1计算；
Figure GDA0002586865900000066
其中，RZ(η)、Ry(η)、Rx(η)分别为：
Figure GDA0002586865900000067
Figure GDA0002586865900000068
Figure GDA0002586865900000069
进一步地，步骤12计算平移向量t的步骤具体包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
Figure GDA00025868659000000610
因此，平移向量t为：
t＝sT。
作为本发明的第二方面，提供了一种融合IMU标定的双目立体视觉系统，该系统是将上述方法形成为软件装置部署于主体平台(例如PC)上，并结合必要的软、硬件设备而形成的系统；也可以理解为是为实施上述方法所形成的系统。
该系统包括相机组件、IMU组件以及标定装置，所述相机组件包括相机1和相机2，IMU组件包括IMU1和IMU2，所述IMU1和IMU2被分别固连至相机1和相机2，并确保相机与IMU的坐标轴平行或尽可能地平行。
标定装置为软件装置，其部署于主体平台上，其包括双目立体视觉组件以及标定组件，双目立体视觉组件包括实施一般双目立体视觉(方法)所必须的内容，而标定组件是本发明所独创的内容，其与双目立体视觉组件有机地结合在一起形成了本发明完整的标定装置；相机和IMU均连接至标定装置，以获取相机的画面和IMU传感器的姿态信息，并进一步处理而得到优化相机的参数；
所述标定装置包括：
内部参数获取模块，用于确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等；使用Kalibr工具箱等工具对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型；
图像储存和数据记录模块，用于储存相机变换位置时采集的不同角度标定板图像，同时记录IMU的数据，例如加速度计、陀螺仪等传感器的数据；
IMU-相机空间变换矩阵标定模块，用于通过Kalibr工具箱等工具对采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1和IMU2与相机2之间的空间变换矩阵Rc2-i2；
IMU偏航角相对值计算模块，用于通过偏航角角度差分的方法确定两个IMU偏航角的相对值；
IMU空间转换矩阵计算模块，用于通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角
Figure GDA0002586865900000071
和
Figure GDA0002586865900000072
来计算两个IMU之间的空间转换矩阵Ri2-i1；
相机旋转矩阵计算模块，用于根据IMU-相机空间变换矩阵标定模块和MU空间转换矩阵计算模块得到的数据确定双目立体视觉两相机之间的旋转矩阵
Figure GDA0002586865900000073
标定靶图像采集模块，用于在包含有一个特征点的标定靶在两个相机共同的视场中随机地移动时，采集和保存两个相机同时获得图像，并确保标定靶均匀分布于整个视场中；
特征点像素坐标确定模块，用于通过Shi-Tomasi角点检测算法(或相同功能的其他现有方法)确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
基础矩阵计算模块，用于通过对极几何原理确定双目立体视觉的基本矩阵F；
本质矩阵计算模块，用于根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，本质矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
平移向量计算模块，用于计算双目立体视觉的平移向量t；
相机参数优化模块，用于根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令
Figure GDA0002586865900000081
为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，
Figure GDA0002586865900000082
是与三维点pj的真实图像点
Figure GDA0002586865900000083
对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
Figure GDA0002586865900000084
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；本发明通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
作为优选，由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值；
IMU偏航角相对值计算模块包括：
对视偏航角记录模块，用于在两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视后，分别记录两个IMU的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000091
和
Figure GDA0002586865900000092
测量偏航角记录模块，用于在分别水平旋转两个云台直至两个相机的视场均对准待测量的构件时，分别记录此时两个IMU的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000093
和
Figure GDA0002586865900000094
偏航角相对值确定模块，用于分别计算两个IMU由对视姿态旋转至测量姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
Figure GDA0002586865900000095
同时，IMU空间转换矩阵计算模块的空间转换矩阵Ri2-i1按式1计算；
Figure GDA0002586865900000096
其中，RZ(η)、Ry(η)、Rx(η)分别为：
Figure GDA0002586865900000097
Figure GDA0002586865900000098
Figure GDA0002586865900000099
进一步地，平移向量计算模块包括
初步平移向量计算模块，用于由本质矩阵计算模块获得的本质矩阵E和相机旋转矩阵计算模块获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的初步平移向量T＝[x0,y0,z0]T；
比例因子计算模块，用于根据测量得到的两个相机基线的长度L，按下式计算比例因子
Figure GDA00025868659000000910
平移向量运算模块，用于按下式运算平移向量t为：
t＝sT。
本发明提供了一种融合了双目相机与IMU以对双目立体视觉进行标定的方法与系统，该方法通过将两个IMU分别与两个相机固联，首先计算相机与IMU的空间转换关系，然后利用IMU提供的z-y-x序列的欧拉角和本发明所率先提出的偏航角角度差分的方法确定两个相机之间的旋转矩阵。并通过人工的标定靶在两个相机共同的视场中随机移动，图像采集系统同步采集并保存图像，利用对极几何原理和已知的旋转矩阵确定平移向量。该方法无需借助大型的制作精密的的标定板，只需要测量两个相机基线的长度即可完成双目立体视觉的标定，解决了传统标定方法仅适用于室内小视场和自标定方法精度低的缺陷，本发明方法可被应用在户外、大视场等复杂环境下，并具有较高的精度、鲁棒性以及灵活性。此外，近年来消费级惯性测量元件(IMU)价格的下降，也使得本发明的方法和系统的实用性也大大地提升，未来的应用范围不可限量，对于相关测量成本的降低、精度的提升以及应用场景的拓展具有积极的推动作用。
附图说明
图1为本发明某一实施例方法的主要流程框图；
图2为图1实施例中IMU和相机的安装示意图；
图3为图1实施例中IMU坐标系和相机坐标系空间转换示意图。
图4为本发明某一实施例的实验配置图。
图5a、图5b分别为图4实施例的相机1和相机2采集的标定靶图像；
图6为图1实施例使用的双目立体视觉模型示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，从而对本发明要求保护的范围作出更清楚地限定，下面就本发明的某些具体实施例对本发明进行详细描述。需要说明的是，以下仅是本发明构思的某些具体实施方式仅是本发明的一部分实施例，其中对于相关结构的具体的直接的描述仅是为方便理解本发明，各具体特征并不当然、直接地限定本发明的实施范围。本领域技术人员在本发明构思的指导下所作的常规选择和替换，以及在本发明构思指导下的若干技术特征的合理排列组合，均应视为在本发明要求保护的范围内。
一种双目立体视觉测量方法的标定方法，其是通过融合双目相机与IMU(惯性测量单元)从而可以对立体视觉测量方法进行标定的方法，特别适用于大视场、复杂环境等户外场所的视觉测量方法标定。IMU通常是由加速度计、陀螺仪以及磁力计组成，通过卡尔曼滤波方法把这些传感器融合可以提供稳定的欧拉角，而欧拉角通常被使用表示物体的姿态；因此，本发明通过双目相机与IMU的融合技术以标定双目立体视觉的外部参数。
该方法包括：
步骤1：利用张氏标定方法确定双目立体视觉中的两个相机(相机1和相机2)的内部参数矩阵K和K′，包括主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等内参，使用Kalibr工具箱(或是现有技术中相同功能的其他工具箱)对两个IMU(IMU 1和IMU 2)的内部参数进行标定，目的是分析误差并建立误差补偿模型。
步骤2：将两个相机分别固定在两个三脚架的云台上，然后将两IMU分别与两相机固连，相机与IMU的坐标轴尽可能地平行(见图2)。相机和IMU均与电脑连接，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息。
步骤3：制作April类型的标定板并固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU中的加速度计、陀螺仪等传感器的数据，对另一个相机和IMU做同样的操作并记录数据。
步骤4：利用步骤3中采集的图片和记录的数据使用Kalibr工具箱等工具标定IMU1(即第一IMU或第一惯性测量单元)与相机1(即第一相机)之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU 2(即第二IMU、第二惯性测量单元)与相机2(即第二相机)之间的空间变换矩阵Rc2-i2。
步骤5：使用偏航角角度差分的方法以确定两个IMU偏航角的相对值。
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样。但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值。
具体的步骤包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，然后旋转云台使两个相机对视；更佳地，可以通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000121
和
Figure GDA0002586865900000122
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure GDA0002586865900000123
和
Figure GDA0002586865900000124
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
Figure GDA0002586865900000125
步骤6：使用两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角
Figure GDA0002586865900000126
和
Figure GDA0002586865900000127
来计算两个IMU之间的空间转换矩阵Ri2-i1(见图3)，其按式1计算；
Figure GDA0002586865900000128
其中，RZ(η)、Ry(η)、Rx(η)分别为：
Figure GDA0002586865900000129
Figure GDA00025868659000001210
Figure GDA00025868659000001211
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵
Figure GDA00025868659000001212
例如，在某一实施例中，其实际计算为：
Figure GDA00025868659000001213
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场(见图4)。
步骤9：使用Shi-Tomasi角点检测算法等方法，以确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标(见图5)，分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n。
步骤10：利用对极几何原理(见图6)确定双目立体视觉的基本矩阵F，具体步骤包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：
Figure GDA0002586865900000131
在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂。本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
Figure GDA0002586865900000132
根据
Figure GDA0002586865900000133
和
Figure GDA0002586865900000134
变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；步骤10.2：求对应于归一化的匹配
Figure GDA0002586865900000135
的基本矩阵
Figure GDA0002586865900000136
根据对极几何原理基本矩阵
Figure GDA0002586865900000137
满足如下关系：
Figure GDA0002586865900000138
假设
Figure GDA0002586865900000139
和
Figure GDA00025868659000001310
对应于归一化的匹配
Figure GDA00025868659000001311
的基本矩阵为：
Figure GDA00025868659000001312
对n个匹配点，等式(2)展开得式3：
Figure GDA00025868659000001313
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T。
显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解。
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束。假设8点算法通过
Figure GDA00025868659000001314
的最小奇异值的奇异矢量确定最小二乘解为
Figure GDA00025868659000001315
则
Figure GDA00025868659000001316
奇异值分解(SVD)为
Figure GDA00025868659000001317
对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设
Figure GDA00025868659000001318
即可得到秩为2并使
Figure GDA00025868659000001319
的Frobenius范数最小的
Figure GDA00025868659000001320
步骤10.3：解除归一化。
归一化的8点算法求解双目立体视觉的基本矩阵
Figure GDA0002586865900000141
矩阵F是对应于原始数据
Figure GDA0002586865900000142
的基本矩阵。
步骤10.4:随机抽样一致性算法优化基本矩阵。
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化。为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵。
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point。既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′计算本质矩阵E，它满足如下方程：
E＝K′TFK (5)
其中，本质矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵。
步骤12：计算双目立体视觉的平移向量t；具体的步骤包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
Figure GDA0002586865900000151
因此，平移向量t为：
t＝sT。
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数。
根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标。由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，重投影误差经常被作为一个约束去优化相机的参数。
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化。多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和。假设n个三维点在视图中可见，令
Figure GDA0002586865900000152
为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，
Figure GDA0002586865900000153
是与三维点pj的真实图像点
Figure GDA0002586865900000154
对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
Figure GDA0002586865900000155
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量。本发明通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
实施例
如图5所示，按包含上述步骤1-13的优选方法对双目立体视觉测量方法进行标定和优化后，采集一幅标定靶图片(可以是在采集完标定使用的图片以后另采集一幅标定靶图片，也可以是单独采集的)，在该图像中选择两个标记点，分别表示为标记点a和点b，它们之间的空间距离为149mm。使用本发明优化后的双目立体视觉内外参数重建标记点a和b在世界坐标系下的三维坐标，得到它们之间的空间距离为149.32mm，两者的误差为0.32mm。
可见本发明的标定方法的精度为mm级别，可以满足绝大部分的应用；同时，其实施过程是相对简单和容易的。

Claims (10)

1.一种融合IMU标定的双目立体视觉测量方法，其特征在于，所述方法包括以下步骤：
步骤1：利用张氏标定方法确定双目立体视觉中的两个相机的内部参数矩阵K和K′，内部参数包括：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数；对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型；
步骤2：将两相机分别固定在三脚架的云台上，再将两IMU分别与两相机固连，相机与IMU的坐标轴平行地设置；并将相机和IMU均连接至电脑，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息；
步骤3：将标定板并固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU的数据，包括加速度计、陀螺仪的数据；再对另一个相机和IMU做同样的操作并记录数据；
步骤4：对步骤3中采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU2与相机2之间的空间变换矩阵Rc2-i2；
步骤5：使用偏航角角度差分的方法确定两个IMU偏航角的相对值；
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以使用角度差分的方法确定两个IMU偏航角的相对值；
步骤5具体包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视；
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure FDA0002597871290000011
和
Figure FDA0002597871290000012
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角
Figure FDA0002597871290000013
和
Figure FDA0002597871290000014
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
Figure FDA0002597871290000015
步骤6：通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角
Figure FDA0002597871290000016
和
Figure FDA0002597871290000017
来计算两个IMU之间的空间转换矩阵Ri2-i1；
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵
Figure FDA0002597871290000021
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场；
步骤9：计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
步骤10：利用对极几何原理确定双目立体视觉的基本矩阵F；
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，本质矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
步骤12：计算双目立体视觉的平移向量t；
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令
Figure FDA0002597871290000022
为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，
Figure FDA0002597871290000023
是与三维点pj的真实图像点
Figure FDA0002597871290000024
对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
Figure FDA0002597871290000025
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；通过计算所有参考点的重投影误差之和的最小值，得到最优的摄像机内外参数。
2.根据权利要求1所述的方法，其特征在于，
步骤6的空间转换矩阵Ri2-i1按式1计算；
Figure FDA0002597871290000031
其中，RZ(η)、Ry(η)、Rx(η)分别为：
Figure FDA0002597871290000032
Figure FDA0002597871290000033
Figure FDA0002597871290000034
3.根据权利要求2所述的方法，其特征在于，所述步骤12包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2：测量两个相机基线的长度为L，则比例因子为
Figure FDA0002597871290000035
因此，平移向量t为：
t＝sT。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤10包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：
Figure FDA0002597871290000036
在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂；本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
Figure FDA0002597871290000037
根据
Figure FDA0002597871290000038
和
Figure FDA0002597871290000039
变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；
步骤10.2：求对应于归一化的匹配
Figure FDA0002597871290000041
的基本矩阵
Figure FDA0002597871290000042
根据对极几何原理基本矩阵
Figure FDA0002597871290000043
满足式2的关系：
Figure FDA0002597871290000044
假设
Figure FDA0002597871290000045
和
Figure FDA0002597871290000046
对应于归一化的匹配
Figure FDA0002597871290000047
的基本矩阵为：
Figure FDA0002597871290000048
对n个匹配点，等式(2)展开得式3：
Figure FDA0002597871290000049
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T；
显然这是一个线性方程组，只需要8个以上的对应点，即能够通过最小二乘法求解；
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束；假设8点算法通过
Figure FDA00025978712900000410
的最小奇异值的奇异矢量确定最小二乘解为
Figure FDA00025978712900000411
则
Figure FDA00025978712900000412
奇异值分解(SVD)为
Figure FDA00025978712900000413
对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设
Figure FDA00025978712900000414
即可得到秩为2并使
Figure FDA00025978712900000415
的Frobenius范数最小的
Figure FDA00025978712900000416
步骤10.3：解除归一化
归一化的8点算法求解双目立体视觉的基本矩阵
Figure FDA00025978712900000417
矩阵F是对应于原始数据
Figure FDA00025978712900000418
的基本矩阵；
步骤10.4：随机抽样一致性算法优化基本矩阵
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化；为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
5.根据权利要求4所述的方法，其特征在于，
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵；
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point；既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
6.根据权利要求1所述的方法，其特征在于，所述步骤5.1通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
7.根据权利要求1所述的方法，其特征在于，所述步骤2中的标定板为April类型标定板或棋盘格标定板。
8.一种基于权利要求1所述融合IMU标定的双目立体视觉测量方法的融合IMU标定的双目立体视觉系统，该系统包括相机组件，相机组件包括相机1和相机2，其特征在于，还包括：
IMU组件，其包括IMU1和IMU2，所述IMU1和IMU2被分别固连至相机1和相机2，并确保相机与IMU的坐标轴平行；以及，
标定装置，其包括双目立体视觉组件以及标定组件，并且相机和IMU均连接至标定装置，以获取相机的画面和IMU传感器的姿态信息，并进一步处理而得到优化相机的参数；
所述标定装置包括：
内部参数获取模块，用于利用张氏标定方法确定双目立体视觉中的两个相机的内部参数矩阵K和K′；内部参数包括：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数；标定两个IMU的内部参数以用于后续分析误差并建立误差补偿模型；
图像储存和数据记录模块，用于储存相机变换位置时采集的不同角度标定板图像，同时记录IMU的数据，包括加速度计、陀螺仪的数据；
IMU-相机空间变换矩阵标定模块，用于对采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1和IMU2与相机2之间的空间变换矩阵Rc2-i2；
IMU偏航角相对值计算模块，用于通过偏航角角度差分的方法确定两个IMU偏航角的相对值；
IMU空间转换矩阵计算模块，用于通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角
Figure FDA0002597871290000061
和
Figure FDA0002597871290000062
来计算两个IMU之间的空间转换矩阵Ri2-i1；
相机旋转矩阵计算模块，用于根据IMU-相机空间变换矩阵标定模块和MU空间转换矩阵计算模块得到的数据确定双目立体视觉两相机之间的旋转矩阵
Figure FDA0002597871290000063
标定靶图像采集模块，用于在包含有一个特征点的标定靶在两个相机共同的视场中随机地移动时，采集和保存两个相机同时获得图像，并确保标定靶均匀分布于整个视场中；
特征点像素坐标确定模块，用于计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
基础矩阵计算模块，用于通过对极几何原理确定双目立体视觉的基本矩阵F；
本质矩阵计算模块，用于根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，本质矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
平移向量计算模块，用于计算双目立体视觉的平移向量t；
相机参数优化模块，用于根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令
Figure FDA0002597871290000071
为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，
Figure FDA0002597871290000072
是与三维点pj的真实图像点
Figure FDA0002597871290000073
对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
Figure FDA0002597871290000074
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
9.根据权利要求8所述的系统，其特征在于，
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以使用角度差分的方法确定两个IMU偏航角的相对值；
IMU偏航角相对值计算模块包括：
对视偏航角记录模块，用于在两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视后，分别记录两个IMU的z-y-x序列的欧拉角中的偏航角
Figure FDA0002597871290000075
和
Figure FDA0002597871290000076
测量偏航角记录模块，用于在分别水平旋转两个云台直至两个相机的视场均对准待测量的构件时，分别记录此时两个IMU的z-y-x序列的欧拉角中的偏航角
Figure FDA0002597871290000077
和
Figure FDA0002597871290000078
偏航角相对值确定模块，用于分别计算两个IMU由对视姿态旋转至测量姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
Figure FDA0002597871290000079
同时，IMU空间转换矩阵计算模块的空间转换矩阵Ri2-i1按式1计算；
Figure FDA00025978712900000710
其中，RZ(η)、Ry(η)、Rx(η)分别为：
Figure FDA0002597871290000081
Figure FDA0002597871290000082
Figure FDA0002597871290000083
10.根据权利要求9所述的系统，其特征在于，平移向量计算模块包括
初步平移向量计算模块，用于由本质矩阵计算模块获得的本质矩阵E和相机旋转矩阵计算模块获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的初步平移向量T＝[x0,y0,z0]T；
比例因子计算模块，用于根据测量得到的两个相机基线的长度L，按下式计算比例因子
Figure FDA0002597871290000084
平移向量运算模块，用于按下式运算平移向量t为：
t＝sT。
CN201910575918.1A 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统 Active CN110296691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910575918.1A CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910575918.1A CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Publications (2)

Publication Number Publication Date
CN110296691A CN110296691A (zh) 2019-10-01
CN110296691B true CN110296691B (zh) 2020-09-22

Family

ID=68029495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910575918.1A Active CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Country Status (1)

Country Link
CN (1) CN110296691B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
CN111012506B (zh) * 2019-12-28 2021-07-27 哈尔滨工业大学 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN111260597B (zh) 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN111273701B (zh) * 2020-02-28 2023-10-31 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN111524177A (zh) * 2020-04-16 2020-08-11 华中科技大学 一种机器人微小型高速双目立体视觉系统
CN111491140B (zh) * 2020-05-15 2021-05-11 深圳金三立视频科技股份有限公司 输电线缆视频巡线方法及终端
CN111754584A (zh) * 2020-06-03 2020-10-09 武汉中岩科技股份有限公司 一种远距离大视场相机参数标定系统和方法
CN111986264B (zh) * 2020-07-07 2024-11-22 华南理工大学 一种空间曲面特征的微分几何视觉识别方法及系统
JP7383584B2 (ja) * 2020-07-30 2023-11-20 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
CN112013786A (zh) * 2020-09-01 2020-12-01 三一重工股份有限公司 一种大视场深度相机及三维信息探测方法
CN112129263B (zh) * 2020-09-30 2022-04-12 绍兴晨璞网络科技有限公司 一种分离移动式立体测距相机的测距方法
CN112362034B (zh) * 2020-11-11 2022-07-08 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN112614191B (zh) * 2020-12-16 2024-05-24 江苏智库智能科技有限公司 基于双目深度相机的装卸位置检测方法、装置和系统
CN112712565B (zh) * 2020-12-28 2024-03-01 中国民航大学 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法
CN112991460B (zh) * 2021-03-10 2021-09-28 哈尔滨工业大学 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN113012238B (zh) * 2021-04-09 2024-04-16 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113052918B (zh) * 2021-04-23 2024-06-04 北京机械设备研究所 对极式双目相机标定误差评价方法、装置、介质及设备
CN113208731B (zh) * 2021-04-23 2023-02-10 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113313767A (zh) * 2021-04-25 2021-08-27 普联国际有限公司 一种多麦克风阵列的标定方法、装置、系统及存储介质
CN113298882B (zh) * 2021-06-07 2022-12-20 四川大学 一种用于显微三维形貌测量系统的摄像机标定装置和方法
US12254647B2 (en) * 2021-08-04 2025-03-18 Aptiv Technologies AG Secure camera based inertial measurement unit calibration for stationary systems
CN113781583B (zh) * 2021-09-28 2023-05-09 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN114119766A (zh) * 2021-10-21 2022-03-01 浙江大立科技股份有限公司 一种基于imu的片外tdi低照度时空增强方法与系统
CN114119747B (zh) * 2021-11-23 2023-04-04 四川大学 一种基于pmd波前检测的三维流场流动显示方法
CN114353756B (zh) * 2021-11-30 2023-01-06 中国科学院西安光学精密机械研究所 一种面阵测绘相机pos系统安置角标定方法
CN114092569B (zh) * 2022-01-19 2022-08-05 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114993617B (zh) * 2022-04-25 2025-06-13 合肥的卢深视科技有限公司 校正方法、单目结构光模组、电子设备和存储介质
CN114923083A (zh) * 2022-05-18 2022-08-19 深圳冰河导航科技有限公司 一种基于双目摄像头的墙角坐标测量装置及测量方法
CN115143966B (zh) * 2022-07-06 2025-03-04 北京理工大学 小天体柔性附着节点关联信息提取方法
CN114993608B (zh) * 2022-07-18 2022-09-30 中国航空工业集团公司沈阳空气动力研究所 一种风洞模型三维姿态角测量方法
CN114964316B (zh) * 2022-07-27 2022-11-01 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN116880687B (zh) * 2023-06-07 2024-03-19 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN117523009B (zh) * 2024-01-04 2024-04-16 北京友友天宇系统技术有限公司 一种双目相机标定方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032483A (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统
CN108830811A (zh) * 2018-06-12 2018-11-16 西安微电子技术研究所 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质
CN109272532A (zh) * 2018-08-31 2019-01-25 中国航空工业集团公司沈阳空气动力研究所 基于双目视觉的模型位姿计算方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE924289C (de) * 1944-08-04 1955-02-28 Zeiss Carl Fa Vorrichtung zur Herstellung von Schablonen fuer die Verknuepfung von durch Reihenbildaufnahme gewonnenen Gelaendebildern
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
CN103323461B (zh) * 2013-06-14 2015-05-27 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
WO2016140985A1 (en) * 2015-03-02 2016-09-09 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection
CN105300306A (zh) * 2015-11-12 2016-02-03 西安航空动力股份有限公司 一种用于塑性应变数据采集的照相装置及数据采集方法
CN107016699A (zh) * 2017-03-14 2017-08-04 上海大学 一种自动识别杂色粒子的彩色编码方法
CN107655398B (zh) * 2017-09-13 2020-06-19 中国科学院深圳先进技术研究院 一种高灵敏度可拉伸柔性应变传感器及其制备方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032483A (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统
CN108830811A (zh) * 2018-06-12 2018-11-16 西安微电子技术研究所 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN109272532A (zh) * 2018-08-31 2019-01-25 中国航空工业集团公司沈阳空气动力研究所 基于双目视觉的模型位姿计算方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
模数转换器（ADC）性能对雷达系统的影响性分析∗;任圣君;《舰船电子工程》;20171231;第37卷(第10期);第60-63页 *

Also Published As

Publication number Publication date
CN110296691A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
Pandey et al. Extrinsic calibration of a 3d laser scanner and an omnidirectional camera
CN107767440B (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN108510551A (zh) 一种远距离大视场条件下相机参数的标定方法及系统
Gerke Using horizontal and vertical building structure to constrain indirect sensor orientation
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN111915685B (zh) 一种变焦摄像机标定方法
US20130188018A1 (en) System & method for processing stereoscopic vehicle information
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
Feng et al. Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems
CN106767895B (zh) 利用标志点定向求解相机外方位元素的系统和方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法
Luhmann 3D imaging: how to achieve highest accuracy
CN112857328B (zh) 一种无标定摄影测量方法
CN114663520A (zh) 一种超大范围视觉测量的双相机联合标定方法及系统
El-Ashmawy A comparison study between collinearity condition, coplanarity condition, and direct linear transformation (DLT) method for camera exterior orientation parameters determination
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
CN113920201A (zh) 极线几何约束的鱼眼相机标定方法
Cai et al. Near-infrared camera calibration for optical surgical navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200715

Address after: 200444 Baoshan District Road, Shanghai, No. 99

Applicant after: Shanghai University

Applicant after: WUHAN SINOROCK TECHNOLOGY Co.,Ltd.

Address before: 200444 Baoshan District Road, Shanghai, No. 99

Applicant before: Shanghai University

GR01 Patent grant
GR01 Patent grant