CN102612634A

CN102612634A - 校准装置、距离测量系统、校准方法和校准程序

Info

Publication number: CN102612634A
Application number: CN2011800045204A
Authority: CN
Inventors: 青木伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-09-13
Filing date: 2011-08-25
Publication date: 2012-07-25
Anticipated expiration: 2031-08-25
Also published as: US20120224069A1; BR112012026769A2; BR112012026769B1; EP2616768A4; EP2616768B1; JP5440461B2; EP2616768A1; KR101411668B1; WO2012035983A1; JP2012058188A; KR20120079144A; US9299153B2; BR112012026769A8; RU2529594C1; CN102612634B

Abstract

本发明公开了一种校准装置，其被配置成：接收两个参考图像和多个视差数据项的输入，所述两个参考图像是由处于两个位置的成像设备中的一个成像设备捕获的，并且所述视差数据是基于对于所述两个参考图像和两个对应图像中的、以位置为基础的每一对参考图像和对应图像共同的多个特征点的位置，使用两个参考图像和两个对应图像计算得出的，所述两个对应图像是由处于所述两个位置的所述成像设备中的另一个成像设备捕获的；搜索对所述两个参考图像共同的多个特征点；基于与这两个参考图像中的各个特征点相关的视差数据，为每个搜索到的特征点计算视差及视差变化量；以及，基于计算出的视差及视差变化量，计算参数的修正值。

Description

校准装置、距离测量系统、校准方法和校准程序

技术领域

本发明涉及一种用于校准与成像设备的位置相关的参数的校准装置、包括该校准装置的距离测量系统、校准方法以及用于执行该方法的校准程序，其中在安装在例如汽车等移动物体中的立体照像机型距离测量系统中设定该参数。

背景技术

最近，由于汽车安全意识的提高和计算机性能的改进，汽车中安装了防碰撞装置和跟车距离控制装置等。若跟车距离降低到特定的范围内，则该装置向驾驶者输出警告，并且执行对刹车设备、转向设备等的控制，以便在跟车距离变得更短的情况下执行自动防止碰撞的操作。

为了执行这种控制，必须测量跟车距离，并且立体照像机作为距离测量系统进入实际使用。立体照像机可生成车辆前方的距离图像，从距离图像识别障碍物，并且随后测量与障碍物的距离。

下文将详细描述使用立体照像机的距离测量。图1解释了通过其中平行安置两个照相机的立体照像机进行的距离测量的原理。安置具有焦距f、光心O₀和成像平面S₀的照相机C₀以使得光轴的方向在图1中的上部方向上延伸，并且关于照相机C₀在其右侧以间隔距离B平行放置具有相同焦距f的照相机C₁。

在光轴的方向上与照相机C₀的光心O₀相距距离d的主体A的图像在直线AO₀与成像平面S₀的交点P₀处形成图像。关于照相机C₁，主体A在成像平面S₁上的点P₁处形成图像。这里，以P'₀表示穿过照相机C₁的光心O₁并且与线AO₀平行的线与成像平面S₁的交点，并且以p表示点P'₀和点P₁之间的距离。点P'₀与照相机C₀上的点P₀相同。距离p表示由这两个照相机捕获的图像上的点的偏差量，并且被称为视差。于是，三角形AO₀O₁和三角形O₁P'₀P₁几何相似，因此给出下列公式1：

d = \frac{Bf}{p}

（公式1）

其中B表示三角形一边的基线长度。若已知基线长度和焦距f，则可基于视差p确定距离d。

此为通过其中平行安置两个照相机的立体照像机进行距离测量的原理；然而，为了使此公式成立，两个照相机C₀和C₁必须被精确安置，如图1所示。尤其，若存在照相机围绕图1所示的Y轴的旋转或成像传感器在横向上关于光心的对准不良，则X轴方向上的图像位置发生变化，其中X轴方向为垂直于图1中的Y轴的横向。在此情况下，对准不良被直接加到视差中，这降低了测量出的距离的精确性。

为了保持测量出的距离的必要的精确性，不言而喻，在制造时必须精确调整；然而，还必须执行校准，因为若长时间使用，则由于温度变化、振动等，因此装置可能发生轻微变化。然而，若在购买之后必须使用安置在已知距离处的测试图等来执行校准，则用户便利性极大地降低。与此有关，提出在不必需使用测试图等的情况下执行校准的若干方式，这些方式利用通过捕获周围自然场景获得的图像(参看JP3436074B2、JP2001-169310A和JP2009-182879A）。

JP3436074B2公开了一种技术，其中以例如道路等任意位置来检测照相机成像方向的偏差，并且基于该检测结果执行校准。具体地说，从在行驶道路上的若干校准位置处捕获的图像中识别相同的静止特征物体，基于静止特征物体在用于校准的若干位置处捕获的图像中的位置和用于校准的若干位置之间的距离确定多个成像装置之间的照相机成像方向的偏差，并且通过基于所确定的照相机成像方向的偏差执行修正来执行校准。

根据JP2001-169310A，在两个时间执行对静止物体的视差的检测；计算这两个时间之间的车辆的行驶距离；将由于两个照相机之间的光轴的平行度偏差引起的误差确定为视差偏移量；然后，通过视差偏移量对检测到的视差进行修正。

根据JP2009-182879A，为了能够在不执行物体识别处理的情况下计算照相机参数的校准值，在由成像装置以预定帧速率捕获的输入图像中设定多个兴趣点；计算各个兴趣点的视差和二维光流；计算道路表面参数，该参数表示输入图像中所包括的道路表面与成像装置之间的基于兴趣点的视差和垂直分量的关系；接着，基于光流、视差和道路表面参数计算照相机参数的校准值。

然而，根据JP3436074B2中公开的方法，必须存储静止主体的形状。因此，若未存储静止主体，则不能执行校准。将绿色交通信号或交通标记用作静止主体；然而，取决于地区或国家，交通信号或交通标记的形状或尺寸不同，并且未来可能发生变化。因此，根据通过已登记的形状识别静止主体的这种方式，存在不能成功执行校准的可能性。

此外，类似地，根据JP2001-169310A中所公开的方法，登记静止主体的形状，并且通过基于已登记的形状识别静止主体来执行校准。因此，对于由于地区或国家的差异或未来的变化而具有不同形状的静止主体，其可能被确定为不同于已登记的静止主体，因此不能执行校准。

此外，根据JP2009-182879A中所公开的方法，从道路表面上的光影图案中提取特征点；使用该特征点执行距离测量；计算指示道路表面的位置和方向的道路参数；并且，基于道路参数的变化计算视差偏移。从而，只要汽车行驶，汽车正前方存在平坦道路表面的可能性就很高，因此不太可能出现不能发现主体的问题。此外，由于不必识别具有特殊形状的主体，因此不会出现不能执行校准的问题。

然而，由于用于计算视差偏移的信息源局限于道路表面，因此不能有利地使用除平坦主体以外的静止主体，例如墙壁、建筑物、柱子等。因此，其不能应用于除车载应用以外的其它应用，例如，尤其是室内应用。

此外，由于道路表面的光影较为细微并且在远距离内特征点的数量降低，因此仅能在短距离内进行距离测量并且不能将其用于校准。取决于例如跟车距离自动调整等目的，可能存在其中希望测量处于较长距离的前方车辆的情况。因此，这可能影响校准的精确性。

为此，需要一种能够修正立体照像机的随时间变化的偏差（对准不良）的校准装置和方法。尤其，需要这样的校准装置和方法：在不依赖于除照相机以外的例如车速传感器等传感器来测量自身的位置信息，并且不依靠例如交通信号或平坦道路表面等具有特定形状的主体的存在的情况下，能够通过利用在行驶过程中捕获的各种图像检测视差偏移来稳定地执行校准。

发明内容

为了实现上述目的，提供一种用于校准与两个成像设备的位置相关的参数的校准装置，其中在距离测量系统中设定所述参数，所述距离测量系统安装在移动物体中并且通过所述成像设备执行距离测量，所述校准装置包含：

图像获取部件，被配置成接收两个参考图像和多个视差数据项的输入，所述两个参考图像是由处于两个位置的成像设备中的一个成像设备捕获的，并且所述视差数据是基于对于所述两个参考图像和两个对应图像中的、以位置为基础的每一对参考图像和对应图像共同的多个特征点的位置，使用两个参考图像和两个对应图像计算得出的，所述两个对应图像是由处于所述两个位置的所述成像设备中的另一个成像设备捕获的；

特征点搜索部件，被配置成搜索对所述两个参考图像共同的多个特征点；

视差计算部件，被配置成基于与这两个参考图像中的各个特征点相关的视差数据，为每个搜索到的特征点计算视差及视差变化量；以及

修正值计算部件，被配置成基于计算出的视差及视差变化量，计算与所述成像设备的位置相关的参数的修正值。通过此装置，由于可计算视差和视差变化量并且可从成像时的位置之间的距离独立地计算修正值，因此不必需用于测量自身位置的传感器，例如车速传感器等，并且即使不存在特殊形状的主体，也可稳定地计算修正值。因此，其可以有规则地重复执行，并且通过视需要执行所述修正，可使距离测量的精确性保持恒定。

所述修正值计算部件被配置成使用所述计算出的视差及其视差变化量建立模型曲线，并且基于所述模型曲线计算所述修正值。所述模型曲线可为二次曲线，并且可以二次函数来表示，其中计算其视差方向上的位移作为所述修正值。这是因为此位移表示成像设备的位移量。

此外，所述校准装置进一步包括：可靠性评估部件，其被配置成基于关于所述模型曲线的视差的分布和视差变化量的离散评估所述修正值的可靠性的存在或缺失。通过以此方式评估可靠性，可检测在从图像本身计算修正值的过程中导致有害结果的条件，而不依靠除成像设备以外的外部传感器等。因此，适用性较高，并且可以较高的精确性实施校准。

所述可靠性评估部件仅提取处于所述模型曲线上的视差变化量的预定范围内的视差变化量数据，计算所提取的数据的视差变化量与所述模型曲线上对应视差的视差变化量之间的差额的平均均方根，并且确定所计算出的平均均方根是小于还是等于阈值。若其小于或等于所述阈值，则可确定存在可靠性。

此外，所述可靠性评估部件计算指定视差范围内所包括的视差的比例，并且确定所计算出的比例是大于还是小于预定比例。若其大于或等于所述预定比例，则可确定存在可靠性。可应用这两个评估标准，并且若满足这两个评估标准，则可确定存在可靠性。通过以这两个评估标准执行确定，可以较高的精确性实施校准。

所述校准装置可包括：标准化处理部件和数据存储部件。标准化处理部件被配置成对所述视差变化量进行标准化，数据存储部件被配置成存储标准化的视差变化量以使标准化的视差变化量与对应的视差相关联。所述修正值计算部件可基于所存储的视差和标准化的视差变化量计算与所述成像设备的位置相关的参数的修正值。

所述标准化处理部件通过将所述视差变化量除以表示模型曲线的二次函数的比例因子计算所述标准化的视差变化量。通过此标准化，可简化计算并以较高的精确性执行校准，因为可使用大量的存储数据项。

所述可靠性评估部件基于存储在数据存储部件中的数据项的数量评估修正值可靠性的存在或缺失。这是因为数据项的数量越多，可靠性越高。

根据本发明，除校准装置外，还可提供包括所述校准装置的距离测量装置。所述距离测量系统包括：具有相同焦距的两个成像设备，其中所述成像设备被间隔开安置以使各个成像平面处于同一直线上；视差数据生成装置，被配置成计算和输出多个视差数据项，所述视差数据是基于对于两个参考图像和两个对应图像中的、以位置为基础的每一对参考图像和对应图像共同的多个特征点的位置，使用两个参考图像和两个对应图像计算得出的，所述两个对应图像是由处于所述两个位置的所述成像设备中的另一个成像设备捕获的；以及，上述校准装置。

所述视差数据生成装置从所述校准装置获得所述修正值，使用所述修正值执行对多个视差数据项的修正，并且向所述校准装置输出所述修正后的视差数据。通过重复这些过程，可不断地执行校准，并且可以高精确性不断地实施距离测量。

根据本发明，可提供一种校准方法，所述方法包括由所述校准装置的对应部件以及所述距离测量系统中所包括的校准装置的对应部件和装置执行的处理步骤。此外，还可实施一种致使计算机执行所述处理步骤的程序。可通过存储在计算机可读记录介质中来提供此程序。因此，根据本发明，还可提供其上记录有所述程序的记录介质。

附图说明

图1示出距离测量系统和主体之间的关系；

图2示出距离测量系统的硬件配置的一个实例；

图3示出包括根据本发明的校准装置的距离测量系统的功能框图；

图4示出由距离测量系统捕获的图像的实例；

图5示出与主体的距离和视差之间的关系；

图6示出视差和视差变化量之间的关系；

图7示出作为校准装置的视差偏移检测处理部件的功能框图；

图8示出用于评估修正值可靠性的视差的分布；

图9示出用于评估修正值可靠性的视差变化量的变化；

图10为示出视差数据生成过程的流程的流程图，；以及

图11为示出修正值计算过程的流程的流程图，。

参考数字说明

10距离测量系统

20,21成像设备

30距离计算设备

31闪存

32DRAM存储器

33CPU

34连接接口

35总线

100成像控制部件

110视差数据生成部件

120视差偏移检测部件

200前方汽车

210迎面来车

220地表面

230光影图案

240建筑物

250交通标记

260山脉

300图像获取部件

310特征点搜索部件

320视差计算部件

330修正值计算部件

具体实施方式

下文将参照附图详细描述执行本发明的最佳模式。

图2示出根据本发明的距离测量系统的硬件配置。距离测量系统10为例如立体照像机，并且包括：两个成像设备20、21，其用于对主体进行成像；以及，距离计算设备30，其接收成像设备20、21所捕获的图像的图像数据的输入并且基于该图像计算从系统到主体的距离。

成像设备20、21为具有相同焦距的照相机。成像设备20、21以特定的距离间隔开并且被安置以使各自的成像平面被定位在同一直线上。因此，垂直于具有相同焦距的成像平面的光轴彼此平行。可用作成像设备20、21的照相机包括：机身；用于收集光的镜头；用于调节光量的光圈；用于寻找主体的寻像器；用于将接收到的光转换成电信号的图像传感器（光学传感器）；以及，图像处理电路。

从图像传感器输出的电信号为模拟数据，其通过A/D转换器转换成数字数据，接着，将其输入图像处理电路。也被称为图像引擎的图像处理电路执行图像处理，例如插值计算、色空间转换、伽马修正、象差修正、噪声消减、图像压缩等，以输出到距离计算设备30。

距离计算设备30控制成像设备20、21。距离计算设备30接收从成像设备20、21输出的处理后的图像数据，基于这两项图像数据计算与主体的距离，并且在显示设备等上显示结果。距离计算设备30包括用于实施这些过程的软件资源。距离计算设备30执行此软件以基于这两项图像数据计算距离。为此，距离计算设备30包括：闪存31，其用于存储软件；CPU 33，用于通过DRAM存储器32从闪存31读取软件以执行软件；以及，连接接口34，例如USB、IEEE 1394等。闪存31、DRAM存储器32、CPU 33和连接接口34通过总线35连接。通过总线35读取软件，并且将控制信号传输到成像设备20、21。可通过连接接口34和总线35从成像设备20、21接收图像数据。

当CPU 33执行软件时，如图3所示，距离计算设备30充当：成像控制部件100，用于控制成像设备20、21；视差数据生成部件110，用于从成像控制部件100输入的图像数据的图像生成视差数据；以及，视差偏移检测部件120，用于使用从成像控制部件100输入的参考图像和从视差数据生成部件110输入的视差数据计算视差偏移作为修正值。

成像控制部件100执行对成像设备20、21的同步、初始化、曝光控制等，并且将成像设备20、21所捕获的图像数据输入视差数据生成部件110和视差偏移检测部件120。应注意，必要时，可执行除视差偏移以外的其它图像修正过程，例如通过光学系统的变形、图像的旋转等，这对立体距离测量通常是有效的。因此，可在成像控制部件100中执行成像设备20、21的图像引擎所执行的过程。在此情况下，成像设备20、21可不包括图像引擎。

视差数据生成部件110执行类似于普通立体照像机所执行的距离测量的处理。然而，通过将视差偏移检测部件120生成的视差偏移用作校准与成像设备20、21的位置相关的参数的修正值，可减小由于硬件的老化引起的测量精确性退化。下文将描述此过程。

视差偏移检测部件120充当校准装置，其使用参考图像和视差数据计算视差偏移作为修正值，并且将所计算出的视差偏移发送到视差数据生成部件110，其中视差数据生成部件110用作对所计算出的视差偏移进行随后的视差数据生成处理的视差数据生成装置。

这里，视差偏移为误差，其表示成像设备20所捕获的图像整体在立体基线方向上的平行位移。视差偏移是由图像传感器关于光心的位移引起。此外，在极小的旋转角的情况下，可将由于成像设备20整体围绕垂直于立体基线方向的光轴旋转引起的图像的变形近似地看作平行位移，严格地说，此变形为远景转换引起的关键变形；因此，可将此作为视差偏移进行处理。应注意，视差偏移的修正较为重要，因为视差偏移被直接添加到立体照像机的视差，因此尤其对远距离的距离测量精确性具有显著影响。

在本发明中，假设不存在其它对准不良，例如上下方向上的位移、平面内的旋转等。在实践中，优选地通过使用其它校准技术修正这种其它对准不良。接着，将详细描述视差偏移检测过程。

如上述，若假设基线长度为B、焦距为f、距离为d并且视差为p，则给出公式1。通过使用距离d、基线长度B、焦距f和视差p对公式1进行微分，给出下列公式2：

p^{'} = \frac{- Bf}{d^{2}} = \frac{- p^{2}}{Bf}

（公式2）

在公式2中，p'为视差p关于距离d的导数，因此表示当距离变化特定的量时的视差变化量，例如距离变化1m。关于距离中变化的变化量随距离改变；然而，公式2表示视差变化量总是与视差的平方成比例。

若安装在汽车上的成像设备20、21在汽车直线行驶时捕获图像，则视场内的所有静止物体以恒定的速度接近成像设备20、21。例如，让我们考虑对图4所示的场景进行成像的情况。在视场内捕获的前方汽车200和迎面来车210关于静止地表面220移动，因此其为移动物体。视场内的许多物体，例如地表面的其它光影图案230、沿道路的建筑物240、交通标记250以及如山脉260等背景场景，是静止的。在汽车内可看到静止物体，从而其以恒定的速度接近汽车。因此，不管静止物体的位置如何，公式2都成立。因此，若关于捕获的图像中的各个特征点，例如沿道路的建筑物240的特征点，确定视差和视差变化量并绘图，则可预见其位于表示公式2的曲线上。相反地，与移动物体，例如前方汽车200等，相关的视差变化量大于或小于处于相同视差（距离）的静止物体的视差变化量，因此其在图上离开该曲线。因此，基于视差变化量在曲线上还是曲线外，可确定该物体是移动物体还是静止物体。

接着，将描述计算视差和视差变化量的方式。图5示出从光心到主体的距离d和视差p之间的关系。为了简化说明，假设比例因子为1。如图5所示，当P₀、P₁分别表示在距离d₀、d₁这两个位置处测量的视差时，通过下列公式3，使用关系P_i=1/d_i，可给出视差之间的差与距离之间的差的比率。

\frac{(p_{1} - p_{0})}{(d_{1} - d_{0})} = \frac{(1 / d_{1} - 1 / d_{0})}{(d_{1} - d_{0})} = \frac{- 1}{d_{1} d_{0}}

（公式3）

根据公式3，使用关系

具有此斜率的曲线p=1/d上的点具有由公式4给出的距离和由公式5给出的视差p。

d = \sqrt{d_{1} d_{0}}

（公式4）

p = \sqrt{p_{1} p_{0}}

（公式5）

因此，若在两个位置处测量的视差分别为p₀,p₁，则由公式5给出该点之间的代表性视差，并且可通过公式6计算视差变化量。

p'=p₁-p₀（公式6）

与公式3对照，此公式6没有除以距离的变化（d₁-d₀）。这是因为仅从图像不能知道主汽车的行驶距离。因此，此p'含有根据这两个位置之间的距离的恒定倍数的未定义因子。然而，此公式可起作用，因为对于处于相同行驶距离的一对对应图像，公式2成立，并且在如下文所述提取二次曲线之后，可通过对高度进行标准化来执行与处于两个其它点的测量数据的比较。此外，若不包括视差偏移，则公式5成立；然而，由于在实践中测量的视差P₀、P₁包括视差偏移，因此严格地说公式5不成立。因此，为了简化计算，可以下列公式7替换公式5。

p = \frac{(p_{0} + p_{1})}{2}

（公式7）

接着，将描述计算视差偏移的方式。由于在实践中测量的视差包括视差偏移，因此视差p以p_off偏离真实视差p_t。

P=P_t+P_off（公式8）

另一方面，如图6所示，视差变化量p'为包括视差偏移的视差之间的差，以减法消去视差偏移，因此可认为视差变化量p'与真实视差变化量相同。因此，包括视差偏移的视差和视差变化量之间的关系显示在曲线上，该曲线关于公式2的理想关系在p轴方向上以p_off偏移。可如下给出此曲线的公式。

p′＝a(p₁-p_off)² （公式9）

从测量的视差和视差变化量之间的关系通过以例如Hough变换等方程式表示检测到的线来提取公式9的曲线。于是，可将视差偏移计算为p轴方向上的位移，即，曲线的x截距。替代地，还可对公式9的两边取平方根，并且通过Hough变换提取直线以表示视差p和p'之间的关系。

下文将描述标准化和积累。系数a为根据公式2的BF和两个成像位置之间的距离（即从公式6获得的距离p'）的比例因子。当两个位置之间的距离增大或减小时，视差变化量p'恒定地倍增。因此，将值p'的标准化（即，将p'的量除以a）存储并积累。可如下给出量p'_nor。

p_{nor}^{'} = \frac{p^{'}}{a} = {(p_{t} - p_{off})}^{2}

（公式10）

以此方式标准化的视差变化量p'_nor不依赖两个位置之间的距离。因此，若将大量的标准化的视差变化量存储为与视差相关联的数据，则可基于存储的数据精确地计算视差偏移。

如上述，可用作根据本发明的校准装置的视差偏移检测部件120可包括下列部件。图7示出视差偏移检测部件120的配置。视差偏移检测部件120包括：图像获取部件300，其被配置成分别获取来自成像控制部件100的基础图像和来自视差数据生成部件110的视差；特征点搜索部件310；视差计算部件320；以及修正值计算部件330。

图像获取部件300获取两个图像作为参考图像，其中该两个图像是由成像设备20、21中的一个成像设备20在任意两个位置处捕获。此外，图像获取部件300获取多个视差数据项。视差数据生成部件110获取两个图像作为对应图像，其中该两个图像是由成像设备20、21中的另一个成像设备21在相同的两个位置处捕获。使用从成像控制部件100获取的两个对应图像和两个参考图像，视差数据生成部件110从参考图像和对应图像所共同的多个特征点为每个位置计算视差数据。

特征点搜索部件310搜索图像获取部件300所获取的两个参考图像所共同的多个特征点。该特征点为建筑物、道路交通标记、如山脉等场景、道路表面上的光影图案、前方汽车、迎面来车等。视差计算部件320基于与这两个参考图像中的各个特征点相关的视差数据为每个搜索到的特征点分别计算视差和与该视差相关联的视差变化量。具体地说，视差计算部件320使用公式5从各个位置处的视差计算代表性视差，并且使用公式6或7计算与代表性视差相关联的视差变化量。基于视差计算部件320计算出的视差和视差变化量，修正值计算部件330为与成像设备20、21的位置相关的参数计算修正值。

通过此装置，由于可计算视差和视差变化量并且可从成像时的位置之间的距离独立地计算修正值，因此不必需用于测量自身位置的传感器，例如车速传感器等，并且即使不存在特殊形状的主体，也可稳定地计算修正值。因此，其可有规则地重复执行，并且通过视需要执行修正，可使距离测量的精确性保持恒定。

具体地说，修正值计算部件330使用所计算出的视差和视差变化量生成模型曲线，并且计算修正值，即，与模型曲线的视差偏移。此模型曲线可为二次曲线，并且表示为二次函数。因此，可计算视差方向上的位移作为修正值。

尽管上文描述了视差偏移检测的原理和利用该原理的校准装置的配置，但是希望在利用该原理时评估所计算出的修正值的可靠性。具体地说，如图4所示，捕获的图像包括从近距离到远距离分布的静止主体。若移动主体的面积相对较小，则视差和视差变化量之间的关系的分布如图6所示，并且可提取由公式9所表示的模型曲线。

例如，若在前方汽车200处于成像设备20、21前方的短距离处并且占据视场的大部分时仅测量围绕特殊视差的数据，则存在所提取的曲线包括显著误差的可能性，如图6中曲线的上半部和下半部所示。希望检测并抑制这种不良条件。

因此，对于在对离散的评估中提取的接近该模型的数据，检验视差p是否广泛分布。例如，如图8所示，界定视差的范围，并且若所有测量的数据中大于20%的数据点处于以0和1表示的两个视差区域内，则可确定存在可靠性。在图8所示的实例中，由于数据仅存在于以1表示的视差区域，因此可确定不存在可靠性。

已考虑其中以安装在直线行驶的车辆内距离测量系统对静止物体进行成像的情况。然而，即使在车辆直线行驶的情况下，其也会在上下方向和左右方向上轻微旋转，因此所有静止物体的视差变化量不是恒定的。此外，在慢速移动的人体方面测量的特征点可接近理想模型曲线，因此对近似法产生不利影响。因此，为了实施实际的校准过程，必须减小由于除了以直线行进的静止物体以外的其它主体引起的不良影响。

因此，检验接近所提取的模型曲线的视差变化量的分布。所测量的视差的变化取决于光学传感器的噪声特征和光学系统的成像特征，并且该变化可被测量。因此，若关于模型曲线的视差变化量数据的离散充分大于预先期望的变化，则假设该数据非自然地位于该曲线上，并且在视差偏移的计算中去除该数据。

图9示出对变化的可靠性评估的概念。为了去除明显不是静止的特征点，仅提取绘制在p-p'空间的特征点中的接近所提取的模型曲线的数据。如图9所示，仅提取关于模型曲线位于上下界p'_tol（即，虚线之间的范围）内的数据点，并且去除以白色圆表示的其它数据。

对于所提取的特征数据，计算测量值和近似模型之间的差额的平均均方根，并且若平均均方根小于或等于预定阈值，则可确定存在可靠性。此可由下列公式11表示。

E=ave((p′-a(p-p_off)²)²) （公式11）

可根据检测到的视差的变化预先设定阈值。该阈值可根据距离或亮度改变。

如上述，集中在由两个参数（即视差和视差变化量）所定义的空间上。通过利用参数空间，可获得下列优点。

（1）视差变化量与视差偏移无关。

视差变化量为以公式6表示的所测量的视差之间的差额，因此可消除视差偏移的影响。

（2）可直接表示视差偏移。

如以公式6所表示的，可将视差偏移计算为模型曲线的x截距。

（3）可执行标准化。

尽管视差变化量可随主汽车的行驶距离和与主体的距离而发生变化，但是p'关于p²的比例关系不会变化。因此，即使行驶距离是未知的，也可通过对比例因子进行标准化来实现记录。

根据本发明，为了利用这种特性，通过利用大量的测量位置和特征点数据，可精确地估算视差偏移。

因此，除了图7所示的各个部件之外，视差偏移检测部件120还可包括可靠性评估部件，其用于基于关于模型曲线的视差的分布和视差变化量的离散来评估修正值可靠性的存在或缺失。可靠性评估部件如上述来评估可靠性。由于可靠性评估部件对可靠性进行评估，因此可检测在根据图像本身计算修正值过程中导致有害结果的情况，而不依靠除了成像设备20、21以外的外部传感器等。因此，适用性较高，并且可以较高的精确性实施校准。

具体地说，可靠性评估部件仅提取其中所计算出的视差变化量处于关于模型曲线上的视差变化量的预定范围内的数据，抑制其它数据，计算预定范围内的数据的视差变化量和模型曲线上的视差的对应视差变化量之间的差额的平均均方根，并且确定所计算出的平均均方根是小于还是等于该阈值。若其小于或等于该阈值，则可确定存在可靠性。可基于积累的数据或实际经验确定预定范围，并且其对应于图9的情况下的上下界p'_tol。

此外，可靠性评估部件还计算预先指定的视差范围内所包括的视差的比例，并且确定所计算出的比例是大于还是小于预定比例。在图8的情况下，视差范围对应于以0和1表示的视差区域。若所计算出的比例大于或等于预定比例，则可确定存在可靠性。这是因为，若数据分布在较广的视差范围内，则可靠性相应地变得较高。可应用这两个评估标准，并且若满足这两个评估标准，则可能且优选地确定出存在可靠性。通过以这两个评估标准执行确定，可以较高的精确性实施校准。

此外，视差偏移检测部件120可包括：标准化处理部件，其用于对视差变化量进行标准化；以及，数据存储部件，其用于存储标准化的视差变化量以使其与视差相关联。在此情况下，基于存储在数据存储部件中的视差和该标准化的视差变化量，修正值计算部件330可计算与成像设备20、21的位置相关的参数的修正值。

通过将视差变化量除以表示模型曲线的二次函数的比例因子，标准化处理部件使用公式10计算标准化的视差变化量。通过此标准化，因为可使用大量的存储数据项，因此可简化计算并以较高的精确性执行校准。

可靠性评估部件可基于存储在数据存储部件中的数据项的数量评估修正值可靠性的存在或缺失。这是因为，若数据项的数量增大，则在模型曲线的提取中绘制的点的数量增大，模型曲线的精确性增大，通过Hough变换从模型曲线获得的视差偏移的精确性增大，并且修正值的可靠性也相应地增大。

接着，将详细描述在距离计算设备30中执行的处理。图10为流程图，示出视差数据生成部件110所执行的视差数据生成处理的流程。该处理开始于步骤1000。在步骤1000中，接收通过平行安置的两个成像设备20、21同时捕获的图像。接着，在图像中搜索特征点。首先，在步骤1020，从一个图像（即，参考图像）中提取亮度变化较大的特征点。接着，在步骤1030，在另一个图像（即，对应图像）中搜索接近参考图像中的对应特征点的相同主体（如区域（块））的特征点的位置。可使用例如SAD（绝对差求和差）、POC（仅相位修正）等已知技术实施对应特征点的搜索。

根据SAD，为了评估图像之间的相似性，从将进行比较的图像中剪下一个区域，确定关于剪下的区域的亮度差的和，并且，搜索给出最小值的剪下的区域，此可实现对以像素为基础的图像之间的变化的确定。根据POC，为了确定作为参考的图像和将进行比较的图像之间的对应关系（即，相似性），通过傅里叶变换对数字化图像进行数学处理以将其分成振幅信息（灰度梯度数据）和相位信息（图像的边缘数据）；并且，仅使用相位信息立即对该对应关系进行图像处理。

在搜索到特征点之后，在步骤1040中，计算视差。可将视差计算为通过取得在特征点搜索中获得的两个图像中的对应特征点的位置之间的差额而获得的距离。此外，通过减去从视差偏移检测部件120输入的视差偏移来执行视差偏移修正。这通过在先前计算中所计算出的视差偏移对位移进行修正。应注意，因为不存在修正值可用的视差偏移，因此在输出视差偏移检测处理的结果之前，将0用作初始值。

当计算视差时，在步骤1050中，输出视差数据。换句话说，可将具有修正视差量的像素值的视差图像输出为视差数据。在输出之后，在步骤1060中，此处理结束。通过以规则的时间间隔重复地执行此过程，可始终连续输出与成像设备20、21前方的场景相关的视差数据。

视差偏移检测部件120利用从视差数据生成部件110输入的视差数据将视差偏移计算为用于对与成像设备20、21的位置相关的参数进行修正的修正值。由于视差偏移检测过程依赖于温度变化等，因此在距离测量系统的运行过程中，其可以规则的时间间隔重复地执行。图11为流程图，示出通过视差偏移检测部件120执行的视差偏移检测处理的流程。

此处理开始于步骤1100，其中接收到图像。接收到的图像包括来自成像控制部件100的两个参考图像和来自视差数据生成部件110的视差数据（即，对应于参考图像的两个视差图像）。

接着，在步骤1120中，搜索两个参考图像之间的彼此对应的特征点。如通过视差数据生成部件110执行特征点搜索的情况，以块为基础计算SAD以搜索给出最小值的位置。然而，与图10中的图像的特征点搜索对照，设定径向搜索范围。通过设定这种搜索范围，可在一定程度上减小特征点搜索过程中的计算量并且去除横向移动的物体或主车辆的旋转。

在步骤1130，对于每个特征点，基于对应的两个视差使用公式5计算代表性视差，并且使用公式6计算视差变化量。接着，在步骤1140中，通过应用于所计算出的视差和视差变化量的Hough变换，提取以例如公式9表示的二次曲线。具体地说，以预定范围内的预定间隔将由参数a和p_off（下文以b替换）界定的二维平面分成多个区域，并且在存储器中准备对应于各个区域的二维阵列。

假设方程式p′＝a(p-b)²为a-b空间内的曲线。在表示a-b空间的二维阵列中的曲线上

的p和p'。当绘制所有测量的p和p'时，可将对应于其中绘制的p和p'的数量最大的区域的一对a和b看作表示穿过多个测量值p和p'的曲线。因此，可选择该对a和b作为模型曲线。这里获得的参数b为可用于视差修正过程的视差偏移。

接着，在步骤1150中，对所获得的参数的可靠性进行评估。例如，可使用下列两个评估标准。一个评估标准为视差差额的离散。仅提取在p-p'空间内绘制的特征点数据中处于在关于该模型曲线的上下方向上界定的预定范围内的数据点。接着，对于所提取的数据，计算测量值与近似模型之间的差额的平均均方根E，并且确定E是否处于预定阈值内，即，例如，在图9的情况下，确定p'_tol是大于还是等于0.3像素。若p'_tol小于或等于0.3像素，则可确定存在可靠性。

另一个标准涉及距离范围的分布。如图8所示，界定视差的范围，并且若所有的测量数据中大于20%的数据点分别存在于以0表示的视差区域内（例如，小于或等于5个像素）和以1表示的视差区域（例如，大于或等于10个像素）内，则可确定存在可靠性。

以此方式，从两种视点确定所提取的模型参数的可靠性。只有当通过所有两种视点均确定存在可靠性时，该过程才进入步骤1160。另一方面，若确定不存在可靠性，则丢弃该测量数据，并且该处理返回步骤1110以接收下一个图像的输入。

在步骤1160中，积累大量的测量数据项以提高精确性。具体地说，将在可靠性评估的步骤1150中提取的作为接近模型曲线的数据的测量数据的项p'除以使用公式10获得的模型参数，并且将所得的p'_nor与原始p一起成对存储。

在步骤1170中，简单地，若积累的数据项的数量超出特定的阈值，则可确定可靠性较高，并且该处理进入下一个步骤1180。另一方面，若其数量不超出阈值，则该处理返回步骤1110以接收图像的输入，同时存储该数据。尽管在本实例中仅确定积累的数据项的数量，但是如步骤1150的情况，还可通过应用两种评估标准进行确定。

在步骤1180中，可使用最小平方近似法执行模型拟合。这是因为，由于已去除与移动物体相关的特征点，所以无需用于去除逸出值（outlier）的函数，例如Hough变换，并且若使用Hough变换，则不能获得离散参数。

使用公式9对积累的数据执行最小平方近似法。然而，因为数据已被标准化，因此参数a固定为1。因此，仅关于参数p_Off执行优化。因此，基于所捕获的图像的数量来估算视差偏移。接着，对于随后的处理，在此步骤结束后，删除积累的数据项p-p'对。

在步骤1190中，将以此方式获得的视差偏移p_Off输出到视差数据生成部件110，并且在步骤1200中，该处理结束。将输出的视差偏移用于在视差数据生成部件110的视差数据生成处理中执行的视差偏移修正。

通过此装置，由于计算视差偏移以将其不断地输出到视差数据生成部件110，因此可不断地校准照相机参数，由此可保持距离测量的较高精确性。

如上述，由于可计算视差和视差变化量并且可基于这些数据项从成像时的位置之间的距离独立地计算视差偏移，因此可利用在操作过程中所捕获的各种图像稳定地检测视差偏移，而不依靠除照相机以外的用于测量自身位置的传感器（例如车速传感器等），并且无需假设存在特殊形状的主体。

此外，可从图像本身检测在计算中导致有害结果的条件，而不依靠除成像设备20、21以外的外部传感器。因此，适用性较高，并且可以较高的精确性实施校准。

此外，由于利用了大量的数据帧，因此可实施具有较高精确性的校准装置。此外，由于从照相机图像本身计算修正值，因此适用性较高并且可实施具有较高精确性的校准系统。

已参照优选实施例公开了本发明。然而，应理解，本发明非局限于上述实施例，并且本领域的技术人员在本发明的范围内可构造其它实施例，其变化、添加和删除。因此，除上述校准装置和校准方法外，本发明还可提供用于执行该方法的计算机可读程序以及其上记录有该程序的记录媒体。

本申请是基于2010年9月13日提交的日本优先申请案第2010-204328号，其全部内容通过引用的方式结合在本文中。

Claims

1.一种校准装置，该校准装置用于校准与两个成像设备的位置相关的参数，其中在距离测量系统中设定所述参数，所述距离测量系统安装在移动物体中并且通过所述成像设备执行距离测量，所述校准装置包含：

修正值计算部件，被配置成基于计算出的视差及视差变化量，计算与所述成像设备的位置相关的参数的修正值。

2.如权利要求1所述的校准装置，其中，所述修正值计算部件被配置成使用所述计算出的视差及视差变化量来建立模型曲线并且基于所述模型曲线计算所述修正值。

3.如权利要求2所述的校准装置，其中，所述模型曲线为二次曲线，通过所述二次曲线计算视差方向上的位移作为所述修正值。

4.如权利要求2所述的校准装置，进一步包含：可靠性评估部件，被配置成基于关于所述模型曲线的视差的分布和视差变化量的离散来评估所述修正值的可靠性的存在或缺失。

5.如权利要求4所述的校准装置，其中，所述可靠性评估部件仅提取处于所述模型曲线上的视差变化量的预定范围内的视差变化量的数据，计算所提取的数据的视差变化量与所述模型曲线上的对应视差的视差变化量之间的差额的平均均方根，并且确定所计算出的平均均方根是小于还是等于阈值。

6.如权利要求4所述的校准装置，其中，所述可靠性评估部件计算在指定视差范围中包括的视差的数量的比例，并且确定所计算出的比例是大于还是小于预定比例。

7.如权利要求1-6中任一项所述的校准装置，进一步包括标准化处理部件和数据存储部件，标准化处理部件被配置成对所述视差变化量进行标准化，数据存储部件被配置成存储标准化的视差变化量以使标准化的视差变化量与对应的视差相关联，其中，

所述修正值计算部件基于所存储的视差和标准化的视差变化量来计算与所述成像设备的位置相关的参数的修正值。

8.如权利要求7所述的校准装置，其中，所述标准化处理部件通过将所述视差变化量除以表示所述模型曲线的二次函数的比例因子来计算所述标准化的视差变化量。

9.如权利要求4所述的校准装置，其中，所述可靠性评估部件基于存储在数据存储部件中的数据项的数量来评估所述修正值的可靠性，所述数据存储部件被配置成存储所述视差变化量以使所述视差变化量与对应的视差相关联。

10.一种距离测量系统，包含：

如权利要求1-9中任一项所述的校准装置；

具有相同焦距的两个成像设备，其中所述成像设备被间隔开安置以使各个成像平面处于同一直线上；

视差数据生成装置，被配置成计算和输出多个视差数据项，所述视差数据是基于对于两个参考图像和两个对应图像中的、以位置为基础的每一对参考图像和对应图像共同的多个特征点的位置，使用两个参考图像和两个对应图像计算得出的，所述两个对应图像是由处于所述两个位置的所述成像设备中的另一个成像设备捕获的。

11.如权利要求10所述的距离测量系统，其中，所述视差数据生成装置从所述校准装置获得所述修正值，使用所述修正值执行对多个视差数据项的修正，并且向所述校准装置输出所述修正后的视差数据。

12.一种用于校准与两个成像设备的位置相关的参数的校准方法，其中在距离测量系统中设定所述参数，所述距离测量系统安装在移动物体中并且通过所述成像设备执行距离测量，所述校准方法包含：

接收两个参考图像和多个视差数据项的输入的步骤，所述两个参考图像是由处于两个位置的成像设备中的一个成像设备捕获，并且所述视差数据是基于对于所述两个参考图像和两个对应图像中的、以位置为基础的每一对参考图像和对应图像共同的多个特征点的位置，使用两个参考图像和两个对应图像计算得出的，所述两个对应图像是由处于这两个位置的所述成像设备中的另一个成像设备捕获的；

搜索对所述两个参考图像所共同的多个特征点的步骤；

基于与这两个参考图像中的各个特征点相关的视差数据，为每个搜索到的特征点计算视差及视差变化量的步骤；以及

基于计算出的视差及视差变化量，计算与所述成像设备的位置相关的参数的修正值的步骤。

13.如权利要求12所述的校准方法，其中，计算修正值的步骤包括使用计算出的视差及视差变化量来建立模型曲线以及基于所述模型曲线计算所述修正值。

14.如权利要求13所述的校准方法，其中，所述模型曲线为二次曲线，通过所述二次曲线计算视差方向上的位移作为所述修正值。

15.如权利要求13所述的校准方法，进一步包含：基于关于所述模型曲线的视差的分布和视差变化量的离散，评估所述修正值的可靠性的存在或缺失的步骤。

16.如权利要求15所述的校准方法，其中，评估步骤包括：仅提取处于所述模型曲线上的视差变化量的预定范围内的视差变化量的数据，计算所提取的数据的视差变化量与所述模型曲线上的对应视差的视差变化量之间的差额的平均均方根，并且，确定所计算出的平均均方根是小于还是等于阈值。

17.如权利要求15所述的校准方法，其中，可靠性评估包括计算在指定视差范围中包括的视差的数量的比例，以及确定所计算出的比例是大于还是小于预定比例。

18.如权利要求12-17中任一项所述的校准方法，进一步包含：对所述视差变化量进行标准化的步骤；以及，存储标准化的视差变化量以使标准化的视差变化量与对应的视差相关联的步骤，其中，

计算修正值的步骤包括基于所存储的视差和标准化的视差变化量来计算与所述成像设备的位置相关的参数的修正值。

19.如权利要求18所述的校准方法，其中，标准化步骤包括通过将所述视差变化量除以表示所述模型曲线的二次函数的比例因子来计算所述标准化的视差变化量。

20.如权利要求15所述的校准方法，其中，评估步骤包括基于存储在数据存储部件中的数据项的数量来评估所述修正值的可靠性，所述数据存储部件被配置成存储所述视差变化量以使所述视差变化量与对应的视差相关联。

21.如权利要求12-20中任一项所述的校准方法，进一步包含：获得修正值以使用所获得的修正值修正所述视差数据项的步骤。

22.一种计算机可读校准程序，该计算机可读校准程序用于执行如权利要求12-21中任一项所述的校准方法。