CN104457569A - 一种大型复合板材几何参数视觉测量方法 - Google Patents

Abstract

本发明一种大型复合板材几何参数视觉测量方法属于视觉测量领域，涉及一种大型复合板材几何参数视觉测量方法，该方法可以现对大型复合板材的现场快速三维重建以及几何参数测量。该方法采用双目视觉测量系统、激光跟踪仪系统及室内蓝牙定位系统进行测量，在被测量的复合板材上布置特征点，在这些特征点上粘贴反射标靶；搭建双目视觉测量系统，双目视觉测量系统由左、右两台相机、连续型线激光器及自动位置控制平台构成；布置激光跟踪仪系统，安装室内蓝牙定位系统，完成测量工作。该方法可以快速精确地实现对大型复合板材的视觉标定工作，提高了相邻图像拼接的精度，进而从整体上提高了数据测量精度，改良了传统测量方法低效率、低精度、低稳定性的缺点。

Description

一种大型复合板材几何参数视觉测量方法

技术领域

本发明属于视觉测量领域，涉及一种大型复合板材几何参数视觉测量方法，该方法可以实现对大型复合板材的现场快速三维重建以及几何参数测量。 

背景技术

随着航空运输领域对飞机运输能力的要求的不断提高，大型飞机在航空运输中的应用越来越广泛，飞机制造过程中所使用的大型复合材料对其制造成型以及装配检测提出更高要求。为了保证飞机生产制造中高可靠度低损耗的连接装配，大型复合板材的在线高精度参数测量是确保飞机安全的必要条件，现阶段针对大型复合板材的参数测量国内外主要有以下几种方法：三坐标测量机测量法、激光跟踪仪测量法、室内GPS测量法、激光雷达测量法以及机器视觉法等。三坐标测量法是接触式测量，速度慢、效率低，而且容易划伤工件表面；激光跟踪仪测量法容易受工作环境影响且价格昂贵，单点测量效率低；室内GPS测量法自动化程度低，设备布置复杂，操作较为繁琐；激光雷达测量法是逐点扫描，工作时受环境条件影响大；而传统的机器视觉法需要使用标定板进行标定，标定过程复杂，图像拼接精度不高，针对大型零部件的测量效果难以令人满意。 

发明内容

本发明为了克服现有技术的缺陷，发明了一种大型复合板材几何参数视觉测量方法，其目的是针对航空航天领域生产过程中，大型复合板材成型、装配及检测过程实施现场快速三维重建和参数测量，以达到快速、高精度以及柔性测量。将激光跟踪仪系统引入视觉测量系统，能准确快速得到测量点的空间三 维坐标，摆脱传统标定板的束缚；同时加入蓝牙室内定位系统，可以准确获知相机移动的位置信息，提高图像拼接的精度，进而从整体上提高数据测量精度。 

本发明采用的技术方案是一种大型复合板材几何参数视觉测量的方法，其特征是，该方法采用双目视觉测量系统、激光跟踪仪系统及室内蓝牙定位系统进行测量；方法的具体实现过程如下： 

首先，在被测量的复合板材10上布置特征点，在这些特征点上粘贴反射标靶9； 

然后，搭建双目视觉测量系统，双目视觉测量系统由左、右两台相机8、4、连续型线激光器6及自动位置控制平台7构成；将可旋转的自动控制平台7放置在被测量的复合板材10前面合适位置上；将左、右相机8、4分别安装在自动控制平台7的两侧，将连续型线激光器6安装在自动控制平台7上，在左、右相机8、4中间，连续型线激光器6由激光发射器以及功率控制器构成，通过调节功率的大小发射出亮度可调的激光光束； 

最后，布置激光跟踪仪系统，激光跟踪仪系统由激光跟踪仪2和安装在复合板材10上的反射标靶9及计算机控制器3组成；用于实现距离测量；安装室内蓝牙定位系统，室内蓝牙定位系统是由蓝牙信号发射装置5和三个蓝牙信号接收装置1构成；蓝牙信号发射装置5安装在自动控制平台7上，在连续型线激光器2的后侧，蓝牙信号接收装置1有三个分别安装在室内空间三个不共线的位置点，通过蓝牙信号接收装置1接收蓝牙信号，根据接收蓝牙信号的强弱，将信息反馈至计算机，通过三角定位原理可以将蓝牙信号发射装置5的位置信息显示出来，实现对左、右相机8、4的定位，准确得到相机的位置信息，根据相机位移信息，完成相邻拍摄图像的拼接工作； 

测量方法的具体步骤如下： 

1)利用左、右相机8、4从两个不同视角对在被测量的复合板材10进行拍摄，获取复合板材的图像信息，根据二维图像信息得到特征点的像素坐标[u v]^T；再对大型复合板材10表面进行扫描，得到的每张图像中均有激光光条，采用Hough变换的方法来提取光条的边缘，也就是在像素坐标系下，设光条边缘的参数直线方程为 

ρ＝u_icosθ+v_isinθ     (1) 

其中，ρ为坐标原点与直线的距离，θ为直线与u轴夹角；将图像坐标系中每个像素点[u_i v_i]^T带入公式(1)中分别构成一条曲线，其曲线交点为(ρ,θ)，则可得出空间直线的参数为： 

k＝-cotθ     (2) 

b＝ρ/sinθ     (3) 

进而可得到光条两边缘的直线方程： 

y＝x(-cotθ_l)+ρ_l/sinθ_l     (4) 

y＝x(-cotθ_r)+ρ_r/sinθ_r     (5) 

其中，(ρ_l,θ_l)为左边缘直线方程的对应参数，(ρ_r,θ_r)为右边缘直线方程的对应参数；由于光条边缘直线近似平行，故光条宽度D可采用两平行直线间距离公式进行计算： 

k＝-(cotθ_l+cotθ_r)/2     (6) 

$D=\frac{{|\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l-{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l|}{\sqrt{1+k^2}}---\left(7\right)$

其中，k为平均斜率，用于计算两平行线间距离；采用结构相似度图像质量评价模型： 

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ     (8) 

对左、右图像进行评价，若满足结构光提取阈值，可直接根据边缘直线方程，采用几何中心法确定光条中心；故光条中心直线方程可联立两边缘直线方程求取角平分线来获得；将激光光条信息提取出来； 

2)用激光跟踪仪系统测量复合板材10上特征点的空间三维坐标[X_W Y_W Z_W]^T，再结合二维像素坐标[u v]^T，根据摄像机针孔成像模型，得到下面的等式： 

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(9\right)$

求解出相机内参数矩阵A和外参数矩阵[R t]，从而快速实现相机参数标定； 

3)通过蓝牙信号接收装置1接收蓝牙信号，根据接收蓝牙信号的强弱，将信息反馈至计算机，通过三角定位原理可以将蓝牙信号发射装置5的位置信息显示出来，实现对左、右相机8、4的定位，准确得到相机的位置信息，根据相机位移信息，完成相邻拍摄图像的拼接工作； 

4)在完成视觉标定以及图像拼接和光条提取工作后，根据下述方程(10)、(11)联立求解： 

S₁ ^TM₁x＝0     (10) 

S₂ ^TM₂x＝0     (11) 

其中，S₁ ^T和S₂ ^T代表同一直线在左右相机拍摄图像中的中的直线方程，M₁和M₂代表左右相机的内外参数矩阵相乘得到的投影矩阵； 

得到图像上直线在空间中的对应位置，将大型复合板材10的边缘通过这种 方式重建出来，就得到大型复合板材10的几何尺寸信息，从而完成测量。 

本发明的有益效果是在传统视觉测量的基础上结合激光扫描并加入了激光跟踪仪系统以及室内蓝牙定位系统，通过激光跟踪仪系统可以准确快速测量大型复合板材上的特征点的三维空间坐标，再利用双目视觉测量系统得到测量视场的二维图像，二者结合从而快速精确地实现对大型复合板材的视觉标定工作；利用室内蓝牙定位系统可以准确获知双目相机的位置信息，得到相邻两次拍摄的位移坐标，提高了相邻图像拼接的精度，从而根据标定结果反向求解实现对大型复合板材参数的快速、精确测量，改良了传统测量方法低效率、低精度、低稳定性的缺点。 

附图说明

图1是大型复合板材几何参数视觉测量系统示意图，其中，1-蓝牙信号接收装置，2-激光跟踪仪，3-计算机控制器，4-右相机，5-蓝牙信号发射装置，6-连续型线激光器，7-自动控制平台，8-左相机，9-反射标靶，10-大型复合板材。 

具体实施方式

以下结合附图以及技术方案详细叙述本发明的具体实施方式。 

大型复合板材几何参数视觉测量系统，以双目视觉测量系统为主体，辅以激光跟踪仪系统以及室内蓝牙定位系统。如附图所示，为了方便大型复合板材加工以及装配，需要对图1中的大型复合板材10进行现场参数测量。测量的具体过程如下： 

首先，对于生产过程中的某一大型复合板材10，将其摆放在合适的位置，并在其表面上选定多个特征点分别粘贴上反射标靶9，然后对复合板材进行视觉标定。先利用激光跟踪仪2对板材表面的特征点进行测量，建立空间三维球坐 标系，并准确得到特征点的空间三维坐标[X_W Y_W Z_W]^T，空间三维坐标确定以后，将双目视觉测量系统摆放到合适位置，使最左边的特征点出现在双目相机的视场内，利用左、右相机8、4对零件表面的特征点进行实时拍摄，得到零件表面的二维图像，从而获得视觉标定中的二维图像像素坐标信息[u v]^T，根据摄像机针孔成像模型，利用公式(9)求解出相机内参数矩阵A和外参数矩阵[R t]，从而快速实现相机参数标定。 

相机标定结束后，连续型线激光器6发射激光光条照射复合板材10表面，调节激光发射功率，选取合适的相机拍摄帧频，利用自动控制平台7对激光照射位置进行调节，从左向右，对整个大型复合板材10扫描拍摄，最终使激光光条可以覆盖整个复合板材10表面，左、右相机8、4获取连续的拍摄图像，每张图像中都会有激光光条的图像，通过设置光条边缘直线参数方程(1)，再结合公式(2)、(3)，求解出光条边缘的直线方程(4)、(5)，再利用结构相似度图像质量评价模型公式(8)，提取光条中心，完成整个的光条提取工作。 

在拍摄图像的同时蓝牙信号发射装置5连续发射蓝牙信号，位于大型复合板材10上方的三个蓝牙信号接收装置1收到信号，根据三角定位原理得到左、右相机8、4的准确位置； 

由于是对大型件进行测量，左、右相机8、4的视场有限，就需要从左向右移动双目视觉测量系统以进行下一视场的拍摄，在移动双目相机后，蓝牙信号接收装置1收到位置变动后的蓝牙信号，记录视觉测量系统移动后新的位置坐标，这样就可以得到相邻两次拍摄的相机位移量，根据视觉测量系统准确的位移信息，对相邻两次拍摄的图像信息进行拼接，可以提高图像拼接的精度。 

在完成视觉标定、图像拼接以及光条提取的工作后，选择大型复合板材10 的边缘轮廓光条图片，其在左右相机中的对应图像直线方程分别为S₁ ^T和S₂ ^T，再结合对应的左右相机内参数矩阵A₁和A₂，得到边缘直线对应的投影平面方程S₁ ^TM₁x＝0和S₂ ^TM₂x＝0，联立二者，便可以求解图像中二维直线对应的空间三维直线位置，根据空间直线轮廓，就可以实现对大型复合板材的三维重建，也就得到了对应的几何参数，实现了对大型复合板材几何参数的实时测量。 

本发明在传统视觉测量的基础上加入激光跟踪仪系统以及室内蓝牙定位系统，提高了相机的标定精度和图像拼接的精度，实现了对大型复合板材的现场快速三维重建以及参数测量，为大型复合板材的加工以及准确装配提供了有效的技术支持。 

Claims (1)

1.一种大型复合板材几何参数视觉测量的方法，其特征是，该方法采用双目视觉测量系统、激光跟踪仪系统及室内蓝牙定位系统进行测量；方法的具体实现过程如下：

首先，在被测量的复合板材(10)上布置特征点，在这些特征点上粘贴反射标靶(9)；

然后，搭建双目视觉测量系统，双目视觉测量系统由左、右两台相机(8、4)、连续型线激光器(6)及自动位置控制平台(7)构成；将可旋转的自动控制平台(7)放置在被测量的复合板材(10)前面合适位置上；将左、右相机(8、4)分别安装在自动控制平台(7)的两侧，将连续型线激光器(6)安装在自动控制平台(7)上，在左、右相机(8、4)中间，连续型线激光器(6)由激光发射器以及功率控制器构成，通过调节功率的大小发射出亮度可调的激光光束；

最后，布置激光跟踪仪系统，激光跟踪仪系统由激光跟踪仪(2)和安装在复合板材(10)上的反射标靶(9)及计算机控制器(3)组成，用于实现距离测量；安装室内蓝牙定位系统，室内蓝牙定位系统是由蓝牙信号发射装置(5)和三个蓝牙信号接收装置(1)构成；蓝牙信号发射装置(5)安装在自动控制平台(7)上，在连续型线激光器(2)的后侧，蓝牙信号接收装置(1)有三个分别安装在室内空间三个不共线的位置点，通过蓝牙信号接收装置(1)接收蓝牙信号，根据接收蓝牙信号的强弱，将信息反馈至计算机，通过三角定位原理可以将蓝牙信号发射装置(5)的位置信息显示出来，实现对左相机(8)以及右相机(4)的定位，准确得到相机的位置信息，根据相机位移信息，完成相邻拍摄图像的拼接工作；

测量方法的具体步骤如下：

1)利用左、右相机(8、4)从两个不同视角对在被测量的复合板材(10)进行拍摄，获取复合板材的图像信息，根据二维图像信息得到特征点的像素坐标[u v]^T；再对大型复合板材(10)表面进行扫描，得到的每张图像中均有激光光条，采用Hough变换的方法来提取光条的边缘，也就是在像素坐标系下，设光条边缘的参数直线方程为

ρ＝u_icosθ+v_isinθ            (1)

其中，ρ为坐标原点与直线的距离，θ为直线与u轴夹角；将图像坐标系中每个像素点[u_i v_i]^T带入公式(1)中分别构成一条曲线，其曲线交点为(ρ,θ)，则可得出空间直线的参数为：

k＝-cotθ             (2)

b＝ρ/sinθ           (3)

进而可得到光条两边缘的直线方程：

y＝x(-cotθ_l)+ρ_l/sinθ_l         (4)

y＝x(-cotθ_r)+ρ_r/sinθ_r          (5)

其中，(ρ_l,θ_l)为左边缘直线方程的对应参数，(ρ_r,θ_r)为右边缘直线方程的对应参数；由于光条边缘直线近似平行，故光条宽度D可采用两平行直线间距离公式进行计算：

k＝-(cotθ_l+cotθ_r)/2           (6)

$D=\frac{|{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l-{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l}{\sqrt{1+k^2}}---\left(7\right)$

其中，k为平均斜率，用于计算两平行线间距离；采用结构相似度图像质量评价模型：

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ         (8)

对左、右图像进行评价，若满足结构光提取阈值，可直接根据边缘直线方程，采用几何中心法确定光条中心；故光条中心直线方程可联立两边缘直线方程求取角平分线来获得；将激光光条信息提取出来；

2)用激光跟踪仪系统测量复合板材(10)上特征点的空间三维坐标[X_W Y_W Z_W]^T，再结合二维像素坐标[u v]^T，根据摄像机针孔成像模型，得到下面的等式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(9\right)$

求解出相机内参数矩阵A和外参数矩阵[R t]，从而快速实现相机参数标定；

3)通过蓝牙信号接收装置(1)接收蓝牙信号，根据接收蓝牙信号的强弱，将信息反馈至计算机，通过三角定位原理可以将蓝牙信号发射装置(5)的位置信息显示出来，实现对左相机(8)以及右相机(4)的定位，准确得到相机的位置信息，根据相机位移信息，完成相邻拍摄图像的拼接工作；

4)在完成视觉标定以及图像拼接和光条提取工作后，根据下述方程(10)、(11)联立求解：

S₁ ^TM₁x＝0          (10)

S₂ ^TM₂x＝0          (11)

其中，S₁ ^T和S₂ ^T代表同一直线在左右相机拍摄图像中的中的直线方程，M₁和M₂代表左右相机的内外参数矩阵相乘得到的投影矩阵；

得到图像上直线在空间中的对应位置，将大型复合板材(10)的边缘通过这种方式重建出来，就得到大型复合板材(10)的几何尺寸信息，从而完成测量。