CN106131448A - 可自动调节成像亮度的三维立体视觉系统 - Google Patents

Abstract

一种可自动调节成像亮度的三维立体视觉系统，自动根据场景的光照条件调节摄像机参数，使摄像机成像效果达到最佳。包括：曝光时间设定单元，设定曝光时间序列；曝光时间提取单元，从曝光时间序列中依次选择曝光时间；左摄像机曝光时间设置单元，根据提取的曝光时间设置左摄像机的曝光时间；右摄像机曝光时间调节单元，根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；计算单元，计算视差图像的准确率；记录单元，记录视差图像的准确率的峰值及其对应的左右摄像机的曝光时间；判断单元，判断曝光时间序列中的所有曝光时间参数是否都已被设置完；比较单元，比较各曝光时间对应的准确率峰值，找到最高的峰值所对应的曝光时间作为曝光时间。

Description

可自动调节成像亮度的三维立体视觉系统

技术领域

本发明涉及一种三维立体视觉系统，尤其是可自动调节成像亮度的三维立体视觉系统。

背景技术

从消费电子市场到工业应用，随着新应用在各领域的不断出现，3D传感技术的市场在不断地发展壮大。现今几乎所有的智能电视及操作系统都已经能利用3D传感技术支持动作识别的相关功能，完成诸如画面缩放和频道切换等功能；3D传感器能够通过探测生产线的移动和表面质量，从而控制产品在生产线中的流向；设计人员也可以对复杂的形状进行3D扫描，并通过3D打印机进行复制；监控系统也已能利用3D传感技术，确保动物和人类远离危险的区域。

立体视觉技术是应用最广泛的3D传感技术之一，具有适应性强、设备成本低等特点。立体视觉技术的基本原理，类似于人眼感知距离的原理，即“视差”原理：由于人的两只眼睛存在间距(平均值为6.5cm)，因此对于同一景物，左右眼的相对位置是不同的，这就产生了双目视差，即左右眼看到的是有差异的图像。人的左右眼和在景物上的着眼点在几何上构成了一个确定的三角形。通过这个三角形我们就可以判断出所观察的景物距人眼的距离。依照这个原理，立体视觉系统用两个摄像机来模拟人的眼睛，然后用电脑模拟人脑对场景进行深度计算，就可以得到场景的深度信息。

图1给出了平行双目视觉距离传感器测量距离的原理图。如图所示，两台焦距为f的摄像机平行放置，光轴之间的距离为T，图1(a)中的两个矩形分辨表示左右摄像机的成像平面，O_l和O_r为左右摄像机的焦点，对于场景中的任意一点P，在左右摄像机成像平面上的成像点分别为p_l和p_r，它们在成像平面上的成像坐标(图像坐标)为x^l和x^r，则视差定义为d＝x^l-x^r(如图1(b)所示)。

以图1中的左摄像机焦点O_l为原点，O_lO_r所在直线为X轴，左摄像机光轴为Z轴，垂直于XZ轴的为Y轴，则P点在O_l坐标系中的坐标可以按照公式(1)计算：

$X=\frac{{\mathrm{Tx}}^l}{d},Y=\frac{{\mathrm{Ty}}^l}{d},Z=\frac{fT}{d}---\left(1\right)$

由此，图像参照系中的每个位置都可以依据视差信息d映射到O_l真实参照系，从而得到目标的三维位置信息，其中Z即为目标距离摄像机的距离。

立体视觉系统的输入信号是左右两个摄像机所拍摄的图像，通过比较特定目标在两幅图像中的视差(位置差异)来判断距离。场景的亮度对立体视觉系统的准确性影响很大：通常情况下，场景亮度越高，摄像机成像效果越好，立体视觉系统准确率越高。当场景较暗时，目标物成像不清晰，就无法在两幅图像中作出正确匹配。但是，场景亮度也不是越高越好，如果亮度过高造成摄像机成像过曝，同样会导致目标无法成像。

传统立体视觉系统场景亮度适应性较差，常常出现在某些场景效果较好、某些场景又完全不可用的情况。

发明内容

针对上述问题，本发明的目的在于提供一种可自动调节成像亮度的三维立体视觉系统以及自动调节成像亮度的方法，能够自动根据场景的光照条件调节摄像机参数，使摄像机成像效果达到最佳，从而保证最好的视差计算准确性。

根据本发明的第一方面，提供了一种可自动调节成像亮度的三维立体视觉系统，包括：曝光时间设定单元，用于设定曝光时间序列；曝光时间提取单元，用于从曝光时间序列中依次选择曝光时间；左摄像机曝光时间设置单元，用于根据曝光时间提取单元提取的曝光时间来设置左摄像机的曝光时间；右摄像机曝光时间调节单元，用于根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；计算单元，用于计算视差图像的准确率；记录单元，用于记录视差图像的准确率的峰值及其对应的左右摄像机的曝光时间；判断单元，用于判断曝光时间序列中的所有曝光时间参数是否都已被设置完；比较单元，用于比较曝光时间序列中各曝光时间所对应的准确率峰值，找到最高的峰值所对应的曝光时间，作为最终确定的曝光时间。

根据本发明的第二方面，提供了一种三维立体视觉系统的自动调节成像亮度的方法，包括以下步骤：设定曝光时间序列；从所设定的曝光时间序列中依次选择曝光时间参数；根据所选择的曝光时间参数来设置左摄像机的曝光时间；根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；计算视差图像的准确率；记录准确率的峰值及其对应的左右摄像机的曝光时间参数；判断所设定的曝光时间序列中的所有曝光时间参数是否都已被设置完；当已被设置完时，比较曝光时间序列中各曝光时间所对应的准确率峰值，找到最高的峰值所对应的曝光时间，作为最终确定的曝光时间。

此外，优选曝光时间序列中的曝光时间按梯次递增，递增步长根据实际需要和摄像机的可调范围来设定。

此外，优选根据左摄像机的曝光时间对右摄像机的曝光时间进行微调，是在设置了左摄像机的曝光时间的前提下，将右摄像机的曝光时间在左摄像机的曝光时间的附近进行微调。

根据本发明的可自动调节成像亮度的三维立体视觉系统以及自动调节成像亮度的方法，能够根据客观场景的光照强度，自动调节左右摄像机的曝光时间，使立体视觉系统在任何光照条件下都能达得最佳的匹配效果。

附图说明

图1(a)和图1(b)是平行双目视觉距离传感器测量距离的原理图,其中图1(a)是立体视图，图1(b)是俯视图。

图2是表示三维立体视觉系统的准确性与场景亮度的相关性曲线的示意图。

图3是根据本发明的实施例的三维立体视觉系统的框图。

图4是根据本发明的实施例的三维立体视觉系统的自动调节成像亮度的方法的流程图。

图5是根据本发明的实施例的三维立体视觉系统的自动调节成像亮度的方法的示意图。

具体实施方式

以下结合附图来详细介绍本发明的具体实施例。

三维立体视觉系统的准确性与场景亮度的相关性曲线可以大致用图2描述。对于不同的场景，相关性曲线均会不同，但大体趋势相同。三维立体视觉系统对于任意场景，都会存在一个最佳亮度条件，此时三维立体视觉系统的准确性最高。

由于场景亮度属于客观条件，不可调节。因此，本发明采用调节摄像机的曝光时间的方法，来调整成像亮度。摄像机曝光时间的调节原理是：曝光时间越长，成像越亮，图像中的场景越亮；反之，曝光时间越短，成像越暗，图像中的场景越暗。根据这样的原理，当客观场景较亮时，将摄像机曝光时间在一个较低的范围内调节；当客观场景较暗时，将摄像机曝光时间在一个较高的范围内调节。

图3是根据本发明的实施例的三维立体视觉系统的框图。如图3所示，根据本发明的实施例的三维立体视觉系统100包括：曝光时间设定单元101，用于设定曝光时间序列，曝光时间序列中的曝光时间按梯次递增，递增步长根据实际需要和摄像机的可调范围来设定；曝光时间提取单元102，用于从曝光时间序列中依次选择曝光时间；左摄像机曝光时间设置单元103，用于根据曝光时间提取单元102提取的曝光时间来设置左摄像机的曝光时间；右摄像机曝光时间调节单元104，用于根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；计算单元105，用于计算视差图像的准确率；记录单元106，用于记录视差图像的准确率的峰值及其对应的左右摄像机的曝光时间；判断单元107，用于判断曝光时间设定单元101所设定的曝光时间序列中的所有曝光时间参数是否都已被设置完；比较单元108，用于比较曝光时间序列中各曝光时间所对应的准确率峰值，找到最高的峰值所对应的曝光时间，作为最终确定的曝光时间。

图4是根据本发明的实施例的三维立体视觉系统的自动调节成像亮度的方法的流程图。图5是根据本发明的实施例的三维立体视觉系统的自动调节成像亮度的方法的示意图。

如图4所示，根据本发明的实施例的三维立体视觉系统的自动调节成像亮度的方法200开始于步骤S201，在步骤S201，首先设定曝光时间序列。曝光时间序列中的曝光时间按梯次递增，递增步长根据实际需要和摄像机的可调范围来设定。如图5所示，设定曝光时间序列为T1,T2,T3...Tn。步骤S201可由图3中的曝光时间设定单元101来执行。

在步骤S202，从步骤S201所设定的曝光时间序列中依次选择曝光时间参数。步骤S202可由图3中的曝光时间提取单元102来执行。

在步骤S203，根据步骤S202所选择的曝光时间参数来设置左摄像机的曝光时间。如图5所示，分别给左摄像机设置曝光时间T1,T2,T3...Tn。步骤S203可由图3中的左摄像机曝光时间设置单元103来执行。

在步骤S204，根据左摄像机的曝光时间对右摄像机的曝光时间进行微调。如图5所示，当左摄像机的曝光时间设置为T1时，右摄像机的曝光时间在T1附近微调。例如以T1为基准，右摄像机微调范围为±t，在[T1-t，T1+t]范围内，以t/m为步长，取T1前后共2m+1个值进行微调。针对曝光时间T2,T3...Tn，也进行同样的操作。步骤S204可由图3中的右摄像机曝光时间调节单元104来执行。

在步骤S205，计算视差图像的准确率。如图5所示，当左摄像机的曝光时间设置为T1时，右摄像机的曝光时间在T1附近微调，计算视差图像的准确率。针对曝光时间T2,T3...Tn，也进行同样的操作。步骤S205可由图3中的计算单元105来执行。

在步骤S206，记录准确率的峰值及其对应的左右摄像机的曝光时间参数。如图5所示，当左摄像机的曝光时间设置为T1时，右摄像机的曝光时间在T1附近微调，从步骤S205所计算的视差图像的准确率中记录准确率的峰值及其对应的左右摄像机的曝光时间参数。针对曝光时间T2,T3...Tn，也进行同样的操作。步骤S206可由图3中的记录单元106来执行。

在步骤S207，判断步骤S201中所设置的曝光时间序列中的曝光时间参数是否都被设置完了。当判断结果为“否”时，返回步骤S202；当判断结果为“是”时，进入步骤S208。如图5所示，针对曝光时间T1,T2,T3...Tn，对左摄像机和右摄像机都设置完一遍。步骤S207可由图3中的判断单元107来执行。

在步骤S208，针对步骤S206所记录的准确率的峰值及其对应的左右摄像机的曝光时间，比较各曝光时间所对应的准确率的峰值，从而找到最高的峰值所对应的曝光时间，将其作为最终确定的曝光时间。如图5所示，从曝光时间所对应的准确率A1,A2,A3...An中找到最高准确率Ax所对应的曝光时间Tx，作为最终确定的曝光时间。步骤S208可由图3中的比较单元108来执行。

以上记载了本发明的优选实施例，但是本发明的精神和范围不限于这里所公开的具体内容。本领域技术人员能够根据本发明的教导而做出更多的实施方式和应用，这些实施方式和应用都在本发明的精神和范围内。本发明的精神和范围不由具体实施例来限定，而由权利要求来限定。

Claims (6)

1.一种可自动调节成像亮度的三维立体视觉系统，包括：

曝光时间设定单元，用于设定曝光时间序列；

曝光时间提取单元，用于从曝光时间序列中依次选择曝光时间；

左摄像机曝光时间设置单元，用于根据曝光时间提取单元提取的曝光时间来设置左摄像机的曝光时间；

右摄像机曝光时间调节单元，用于根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；

计算单元，用于计算视差图像的准确率；

记录单元，用于记录视差图像的准确率的峰值及其对应的左右摄像机的曝光时间；

判断单元，用于判断曝光时间序列中的所有曝光时间参数是否都已被设置完；

比较单元，用于比较曝光时间序列中各曝光时间所对应的准确率峰值，找到最高的峰值所对应的曝光时间，作为最终确定的曝光时间。

2.根据权利要求1所述的可自动调节成像亮度的三维立体视觉系统，其中，

所述曝光时间序列中的曝光时间按梯次递增，递增步长根据实际需要和摄像机的可调范围来设定。

3.根据权利要求1所述的可自动调节成像亮度的三维立体视觉系统，其中，

根据左摄像机的曝光时间对右摄像机的曝光时间进行微调，是在设置了左摄像机的曝光时间的前提下，将右摄像机的曝光时间在左摄像机的曝光时间的附近进行微调。

4.一种三维立体视觉系统的自动调节成像亮度的方法，包括以下步骤：

设定曝光时间序列；

从所设定的曝光时间序列中依次选择曝光时间参数；

根据所选择的曝光时间参数来设置左摄像机的曝光时间；

根据左摄像机的曝光时间对右摄像机的曝光时间进行微调；

计算视差图像的准确率；

记录准确率的峰值及其对应的左右摄像机的曝光时间参数；

判断所设定的曝光时间序列中的所有曝光时间参数是否都已被设置完；

当已被设置完时，比较曝光时间序列中各曝光时间所对应的准确率峰值，找到最高的峰值所对应的曝光时间，作为最终确定的曝光时间。

5.根据权利要求4所述的三维立体视觉系统的自动调节成像亮度的方法，其中，

所述曝光时间序列中的曝光时间按梯次递增，递增步长根据实际需要和摄像机的可调范围来设定。

6.根据权利要求4所述的三维立体视觉系统的自动调节成像亮度的方法，其中，

根据左摄像机的曝光时间对右摄像机的曝光时间进行微调，是在设置了左摄像机的曝光时间的前提下，将右摄像机的曝光时间在左摄像机的曝光时间的附近进行微调。