CN107991665A - 一种基于定焦相机的对标靶三维坐标连续测量方法 - Google Patents

Abstract

本发明公开一种基于定焦相机的对标靶三维坐标连续测量方法，属于单目视觉技术领域。它包括：在目标位置预先布置圆点阵列标靶；通过定焦相机读入实时视频流，调节相机，将相机对准圆点标靶，使标靶中的圆点全部进入相机视野；对相机视野中的圆点进行计算，检测标圆点，计算圆心坐标；根据得到的圆心坐标计算相机外参矩阵。根据相机内外参矩阵计算三维坐标。本发明通过对成像原理的应用，在单目视觉中引入标靶作为坐标约束，通过设定便于识别的标识物并利用计算机对标识物图像的精确提取获得准确的所需数据，简单有效地实现了高精度的距离测定。

Description

一种基于定焦相机的对标靶三维坐标连续测量方法

技术领域

本发明属于单目视觉技术领域，尤其是一种基于定焦相机的对标靶三维坐标连续测量方法。

背景技术

单目三维坐标测量的过程中，通常利用图像序列中的某种约束，通过坐标系转换的方式将目标坐标系下的三维坐标转换为已知坐标系下的坐标序列。

在现有的非接触式测距技术方面，应用的最多的理论和方法主要有多目测距和激光测距。多目测距即使用多个结构和性能完全相同的相机设备对同一物体进行拍摄，通过多组图像中对目标的特征提取确定约束关系，再通过几何的方法计算该物体在相机坐标系中的坐标，确定其相对位置。多目测距受限于多个相机的相对位置，在计算中的参数均较小且对于高清图像计算量较大，难以实时运行，且特征提取难度大，误差不易消除，只能用于模糊测量。激光测距主要是采用激光测距仪进行，其在工作时向目标射出一束很细的激光，由光电元件接收目标反射的激光束，计时器测定激光束从发射到接收的时间，计算出从观测者到目标的距离。激光测距虽然精度高，但是它的方向性很强，发散度非常低，且成本相对较高。如何同时解决多目测距中存在的资源消耗大、精度不够高的问题，以及激光测距中目标性太强、发散度太低的问题，一直是本领域技术人员重点研究的问题，但目前也未见有突破性的研究进展公布。

发明内容

为解决多目测距中存在的资源消耗大、精度不够高的问题，以及激光测距中存在的目标性太强、发散度太低的问题，本发明提供一种基于定焦相机的对标靶三维坐标连续测量方法。

为实现上述目的，本发明采用下述技术方案：

一种基于定焦相机的对标靶三维坐标连续测量方法，它包括以下步骤：

步骤一，在目标位置预先布置圆点阵列标靶；

步骤二，通过定焦相机读入实时视频流，该视频流的来源均要求是配备定焦镜头的相机，即相机焦距为一固定值，不随其他参数的调节而变化，相机不特别要求获取图像是单通道图像；

步骤三，将定焦相机对准圆点阵列标靶，适当调节定焦相机，使圆点阵列标靶中的圆点全部进入定焦相机视野；

步骤四，对定焦相机视野中的圆点进行计算，检测标圆点，计算圆心坐标；

步骤五，根据得到的圆心坐标计算定焦相机外参矩阵；

步骤六，根据定焦相机外参矩阵计算三维坐标。

进一步地，步骤一的圆点阵列标靶形状为便于识别的规则形状，如矩形、方形等；

步骤一的圆点阵列标靶，应根据应用场景选择不同尺寸、材质的标靶，其中在尺寸上的要求为标靶中所有圆点均在步骤三对圆点阵列标靶进行图像采集输出的视频视野内，同时在视频视野内占据超过60％的大小；

步骤一的圆点阵列标靶，应根据应用场景选择不同尺寸、材质的标靶，其中在材质上的要求为保证标靶与周围环境产生高对比。

进一步地，步骤一的圆点阵列标靶，在材质上的要求为在光照较弱的应用场景下进行包括打光操作，保证标靶与周围环境产生高对比，或者步骤一的圆点阵列标靶直接使用LED屏投影图像，保证标靶与周围环境产生高对比。

进一步地，步骤一的圆点阵列标靶以其最左上角圆点为原点，以其所在平面为平面建立世界坐标系后，所有圆点的坐标均通过包括测量方式获知，或者步骤一的圆点阵列标靶直接使用规则分布的点阵型圆点排布，简化标靶制作。

进一步地，步骤四对圆点进行检测，是指对含有标靶的图像进行一系列图像处理操作，通过几何知识求出图像在其坐标系下各圆点的坐标，其具体步骤如下：

步骤七，通过定焦相机镜头相关参数计算内参矩阵K；

步骤八，对定焦相机获取的图像进行灰度化处理和二值化处理；

步骤九，对图像进行椭圆检测，检测图像中的圆点；

步骤十，若步骤九中未能检测出所有的圆点，调节定焦相机镜头相关参数包括相机光圈参数重新检测，直到检测出所有的圆点；

步骤十一，根据检测出的圆点集计算每个圆点对应的圆心坐标集。

进一步地，步骤七的内参矩阵K根据定焦相机镜头相关参数包括定焦相机焦距、传感器单位像素的尺寸大小和输出图像的分辨率进行直接计算。对不同的定焦相机及相机镜头，应具有不同的内参矩阵，但对于同一款定焦相机及相机镜头，其内参矩阵不随其他参数变化而变化。

进一步地，步骤八的灰度化处理是由定焦相机采集彩色图像进行灰度化后得到灰度图像或者由定焦相机直接采集灰度图像。

进一步地，步骤九的椭圆检测的具体步骤如下：

步骤十二，首先对图像进行边缘检测，得到二值化的边缘轮廓图，存储边缘图上的点坐标集；

步骤十三，对图像上的每一点，计算与步骤十二所得点坐标集中点的距离，输出其距离的最大值和最小值，即为椭圆中心(p,q),该距离的最大值即为椭圆长轴长度a；

步骤十四，将点坐标集中每一点的数值与步骤十三所得的三个椭圆参数p、q、a代入椭圆方程，其方程为：

步骤十五，在二维参数空间上对参数b、θ进行统计，得到峰值超过一定阈值的一组参数，即为椭圆。

进一步地，步骤五的定焦相机外参矩阵计算方法如下：

步骤十六，根据图像坐标系下的坐标与世界坐标系下的坐标对应关系，通过求解线性方程组得到外参矩阵[R T]的初值；

步骤十七，利用非线性最小二乘法迭代求得最优变换矩阵[R T]。

进一步地，步骤六的三维坐标计算方法如下：

根据在步骤五所得的外参矩阵，通过矩阵变换求解世界坐标系下任意已知点在相机坐标系下的相对坐标，以此求得目标三维坐标点集。

有益效果：

本发明通过对成像原理的应用，在单目视觉中引入标靶作为坐标约束，通过设定便于识别的标识物并利用计算机对标识物图像的精确提取获得准确的所需数据，简单有效地实现了高精度的距离测定。

附图说明

图1为本发明一实施例的流程图；

图2为本发明一实施例的外参矩阵计算模块流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本实施例提出了一种基于定焦相机的对标靶三维坐标连续测量方法，它包括以下步骤：

步骤一，在目标位置预先布置圆点阵列标靶。

具体地，该标靶的大小应根据所选择定焦相机的焦距、测量距离等实际应用场景进行具体选择，须保证在测量范围内该标靶中所有圆点均在视频视野内，同时也应保证在视频视野内占据超过60％的大小，即该标靶在视频视野内既不能过大也不能过小。若在应用场景中环境光较弱，可使用补光措施将该标靶照亮，以造成该标靶与环境的强烈对比，也可直接使用LED显示屏并在其上显示标靶内容，通过调节亮度制造强对比。该标靶采用白色背景黑色圆点阵列或黑色背景白色圆点阵列均可，以下以白色背景黑色圆点阵列为例并结合图1进行说明。

S101，在该标靶选择完成之后，根据该标靶中的圆点坐标初始化坐标系，坐标系建立要求如下：以该标靶最左上角的圆点中心为原点，水平方向为y轴，垂直方向为x轴建立世界坐标系，单位长度为mm，并将所有圆点坐标输入坐标系，得到世界坐标系下的圆点坐标集。

步骤二，通过定焦相机读入实时视频流。

具体地，将定焦相机与计算机连接之后，通过计算机访问定焦相机获取的图像内容，视频传输速率可达到24fps以上。

步骤三，将定焦相机对准圆点阵列标靶，适当调节定焦相机，使该标靶及其中的圆点全部进入定焦相机视野。

S102，具体地，移动定焦相机或移动该标靶，使该标靶及其中的圆点均在视频视野内，同时也应保证在视频视野内占据超过60％的大小，即该标靶在视频视野内既不能过大也不能过小。对定焦相机的调节包括对相机光圈大小等参数的调整，本发明对于图像的清晰程度并无过高要求，只要求圆点均在图像内且不过分模糊即可，以能够准确检测出所有圆心坐标为基准。

S103，步骤四，对定焦相机视野中的圆点进行计算，检测标圆点，计算圆心坐标。

S104，具体地，对所使用定焦相机，首先计算定焦相机内参矩阵K。

其中，分别称为u轴和v轴上的归一化焦距；f是定焦相机的焦距，dX和dY分别表示传感器u轴和v轴上的单位像素的尺寸大小。u₀和v₀表示光学中心，即定焦相机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

对于上述所需要的数值，应均可从定焦相机或相机镜头说明书中直接查询得到，代入计算即可。

将内参矩阵K计算完毕后，对定焦相机获取的图像进行处理。如图2所示，具体操作如下：

S201，对定焦相机获取的图像进行灰度化处理和二值化处理。此处额外说明，对于源图像若直接采集到的即为单通道灰度图像，可略去灰度化处理的步骤，若为三通道图像，则须进行灰度化操作。

S202，将灰度图像进行二值化处理，根据如下公式：

其中所使用阈值可直接采用127作为参数传入。

S203，调节定焦相机参数，对图像进行椭圆检测，检测图像中的圆点，具体步骤如下：

设椭圆方程为

首先对原图像进行边缘检测，得到二值化的边缘轮廓图，存储边缘图上的点坐标集。

对图像上的每一点，计算与上一步所得点坐标集中点的距离，输出其距离的最大值和最小值，即为椭圆中心(p,q),该最大距离即为椭圆长轴长度a。

将点坐标集中每一点的数值和上一步得到的三个椭圆参数p、q、a代入上述椭圆方程。

在二维参数空间上对参数b、θ进行统计，得到峰值超过一定阈值的一组参数，即为椭圆集合。

S204，根据检测出的圆点集计算每个圆点对应的圆心坐标集。

S105，步骤五，根据得到的圆心坐标计算相机外参矩阵，计算方法如下：

根据图像坐标系下的坐标与世界坐标系下的坐标对应关系，通过求解线性方程组得到[RT]的初值。

利用非线性最小二乘法迭代求得最优变换矩阵[RT]。

S106，步骤六，根据定焦相机外参矩阵计算三维坐标。

根据在步骤五所求得的外参矩阵，可求解世界坐标系下任意已知点在相机坐标系下的相对坐标。对世界坐标下任意一点有相机坐标系下点满足

其中K为所求内参矩阵，[R T]为所求外参矩阵，根据上式即可完成计算。默认地，可直接输入坐标则输出的三维坐标值表示该标靶最左上角的圆点相对相机坐标系的三维坐标。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，它包括以下步骤：

步骤一，在目标位置预先布置圆点阵列标靶；

步骤二，通过定焦相机读入实时视频流；

步骤三，将定焦相机对准圆点阵列标靶，适当调节定焦相机，使圆点阵列标靶中的圆点全部进入定焦相机视野；

步骤四，对定焦相机视野中的圆点进行计算，检测标圆点，计算圆心坐标；

步骤五，根据得到的圆心坐标计算定焦相机外参矩阵；

步骤六，根据定焦相机外参矩阵计算三维坐标。

2.根据权利要求1所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤一的圆点阵列标靶形状为便于识别的规则形状；

步骤一的圆点阵列标靶中所有圆点均在步骤三对圆点阵列标靶进行图像采集输出的视频视野内，同时在视频视野内占据超过60％的大小；

步骤一的圆点阵列标靶与周围环境产生高对比。

3.根据权利要求2所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤一的圆点阵列标靶在光照较弱的应用场景下进行包括打光操作，与周围环境产生高对比，或者步骤一的圆点阵列标靶直接使用LED屏投影图像，与周围环境产生高对比。

4.根据权利要求2所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤一的圆点阵列标靶以其最左上角圆点为原点，以其所在平面为平面建立世界坐标系后，所有圆点的坐标均通过包括测量方式获知，或者步骤一的圆点阵列标靶直接使用规则分布的点阵型圆点排布。

5.根据权利要求1所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤四对圆点进行检测的具体步骤如下：

步骤七，通过定焦相机镜头相关参数计算内参矩阵K；

步骤八，对定焦相机获取的图像进行灰度化处理和二值化处理；

步骤九，对图像进行椭圆检测，检测图像中的圆点；

步骤十，若步骤九中未能检测出所有的圆点，调节定焦相机镜头相关参数包括相机光圈参数重新检测，直到检测出所有的圆点；

步骤十一，根据检测出的圆点集计算每个圆点对应的圆心坐标集。

6.根据权利要求5所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤七的内参矩阵K根据定焦相机镜头相关参数包括定焦相机焦距、传感器单位像素的尺寸大小和输出图像的分辨率进行直接计算。

7.根据权利要求5所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤八的灰度化处理是由定焦相机采集彩色图像进行灰度化后得到灰度图像或者由定焦相机直接采集灰度图像。

8.根据权利要求5所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤九的椭圆检测的具体步骤如下：

步骤十二，首先对图像进行边缘检测，得到二值化的边缘轮廓图，存储边缘图上的点坐标集；

步骤十三，对图像上的每一点，计算与步骤十二所得点坐标集中点的距离，输出其距离的最大值和最小值，即为椭圆中心(p,q),该距离的最大值即为椭圆长轴长度a；

步骤十四，将点坐标集中每一点的数值与步骤十三所得的三个椭圆参数p、q、a代入椭圆方程，其方程为：

<mrow> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>P</mi> <mo>)</mo> </mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>Q</mi> <mo>)</mo> </mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <msup> <mi>a</mi> <mn>2</mn> </msup> </mfrac> <mo>+</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>P</mi> <mo>)</mo> </mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> <mo>+</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>Q</mi> <mo>)</mo> </mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <msup> <mi>b</mi> <mn>2</mn> </msup> </mfrac> <mo>=</mo> <mn>1</mn> <mo>;</mo> </mrow>

步骤十五，在二维参数空间上对参数b、θ进行统计，得到峰值超过一定阈值的一组参数，即为椭圆。

9.根据权利要求1所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤五的定焦相机外参矩阵计算方法如下：

步骤十六，根据图像坐标系下的坐标与世界坐标系下的坐标对应关系，通过求解线性方程组得到外参矩阵[R T]的初值；

步骤十七，利用非线性最小二乘法迭代求得最优变换矩阵[R T]。

10.根据权利要求1所述的基于定焦相机的对标靶三维坐标连续测量方法，其特征在于，所述步骤六的三维坐标计算方法如下：

根据在步骤五所得的外参矩阵，通过矩阵变换求解世界坐标系下任意已知点在相机坐标系下的相对坐标，以此求得目标三维坐标点集。