CN110211185A - 在一组候选点内识别校准图案的特征点的方法 - Google Patents

Abstract

在根据校准图案的图像得出的一组候选点内识别校准图案的特征点的方法，包括：A.将模板点的模板布置(对应于校准图案或校准图案的子图案)缩放为初始尺寸；B.针对每个候选者，使用缩放模板布置来确定潜在特征点；将候选点组中具有偏差度低于偏差阈值的所有候选点识别为校准图案的潜在特征点；C.确定潜在特征点是否满足终止标准，如果不满足：修改模板布置的缩放，并用修改后的缩放模板布置重复步骤B和C，否则：将在步骤B的最后一次迭代中识别出的潜在特征点识别为校准图案的特征点。

Description

在一组候选点内识别校准图案的特征点的方法

技术领域

本发明涉及一种用于在根据校准图案的图像得出的一组候选点内识别校准图案的特征点的方法。

背景技术

来，越来越多的车辆设置有至少一个安装到车辆上以用于捕获关于车辆环境的信息的摄像头。尤其是，摄像头位于车辆的前面以用于获取前方道路。这样获得的图像数据然后可以用于例如各种高级驾驶员辅助系统(ADAS)。

从由这种摄像头获取的图像，可以提取关于摄像头视野内的物体的空间数据。但是，这些数据是相对于摄像头的，而不是(至少不直接是)相对于车辆的。因此，例如，摄像头所捕获的物体的位置只能相对于摄像头来确定。为了从由摄像头获取的图像中也获得这些物体相对于车辆的具有高精度和可靠性的位置，因此精确地知道摄像头相对于车辆的位置和取向是重要的。

例如，为了校准安装在车辆(尤其是卡车)上的摄像头的取向，获取放置在车辆前方的校准图案的图像并根据校准图案的相应变形得出摄像头的取向可能是有用的。量化这些变形以尤其确定摄像头相对于车辆、校准图案或优选二者的滚转角、偏航角和俯仰角中的至少一个尤其需要识别校准图案的图像内的校准图案的特征点。然后，这些特征点可以例如用于确定至少两条水平线和两条垂直线，其中水平消失点由校准图案的图像中的水平线的表示来定义并且垂直消失点由校准图案的图像中的垂直线的表示来定义。尤其是，滚转角可以根据水平或垂直消失点的坐标来计算，偏航角可以根据水平消失点沿图像的第一(基本上水平的)轴的第一坐标来计算，并且俯仰角可以根据垂直消失点沿着图像的第二(基本上垂直的)轴的的第二个坐标来计算。在题为“Method for calibrating theorientation of a camera mounted to a vehicle”的专利申请EP 3 174 007A1中描述了这种方法。

为了识别校准图案的图像中的特征点(对于安装到车辆的摄像头的取向的所述校准或者出于任何其它目的而需要的)，可以对图像进行预处理，例如平滑和/或滤波。尤其是，可以对(平滑的)图像进行滤波，使得指示相应特征点的区域在具有超过特定阈值的像素值的滤波图像中显示为斑点。然后可以通过遍历图像的算法在经滤波的图像内识别斑点，直到找到像素值超过阈值的像素，然后沿着像素(像素值超过阈值和像素值不超过阈值的像素)之间的边界跟踪斑点周围的斑点轮廓。尤其是，然后可以将至少可能的特征点确定为相应斑点的中心点，其中相应的中心点被计算为斑点的像素的加权平均值。在题为“Method for identification of candidate points as possible characteristicpoints of a calibration pattern within an image of the calibration pattern”的专利申请EP 3 173 975 A1中描述了这种方法。

然而，用于确定给定图像内的可能特征点的这种方法或任何其它方法可能不仅导致寻找的特征点，而且例如导致校准图案的次要点和/或虚假地识别可能由图像中的噪声或其它干扰或图像背景中的结构导致的点，它们意外地类似于校准图案或校准图案的子图案。因此，通过所描述的方法或通过其它方法获得的点可能仅仅是可能的特征点，并且因此可以被重新构造为一组候选点，这些候选点源自校准图案的图像并且仍必须从这些候选点内识别出校准图案的真实特征点。

例如，在题为“Method for identification of characteristic points of acalibration pattern within a set of candidate points in an image of thecalibration pattern”的专利申请EP 3 173 979 A1中描述了一种能够以高特异性并且不需要高计算能力来识别校准图案的图像内的校准图案的特征点的方法。该方法基于例如通过EP 3 174 007A1和/或EP 3 173 975 A1中描述的一种或更多种方法从校准图案的图像得出的给定一组候选点，并且包括针对该组的各个候选点执行的至少三个步骤。

所述三个步骤中的第一个步骤包括在候选点(即，当前执行该步骤的相应候选点)上覆盖模板点的模板布置，使得模板点的主点与候选点重合，其中模板布置对应于校准图案或校准图案的子图案。模板布置包括若干模板点，其中一个模板点是模板布置的主点。该主点完全覆盖在目前正在调查的候选点上。

模板布置用作校准图案或子图案的模板，如果候选点实际上是校准图案的特征点，则该校准图案或子图案应以某种方式存在于候选点附近。因此，模板布置的主点对应于特征点，并且模板布置的其它模板点与校准图案的次要点相对应，这些次要点仅用于辅助识别校准图案的相应特征点。

例如，校准图案包括由两个等同取向的正方形形成的子图案，该正方形与校准图案的背景形成对比，其中一个正方形的角与另一个正方形的角重合。这可以被视为仅具有两行和两列的棋盘格。尤其是，正方形在明亮或白色背景上可以至少基本上是黑色或暗色。然后，包含一个或更多个这种子图案的校准图案的特征点可以是各个子图案的中心，其中两个正方形的角重合。例如，校准图案的次要点可以是正方形的所有其它角，即两个重合角之外的其它角。尤其是，模板布置然后是一组七个模板点，犹如模板点是所述两个正方形的角。然后，模板布局中心的模板点优选是模板布置的主点。

所述三个步骤中的第二个步骤包括，针对覆盖的模板布置中除了主点之外的每个模板点，从该组候选点中识别最靠近模板点的候选点。换句话说，针对每个模板点(一个模板点接一个模板点)，选择所有候选点中最靠近相应模板点的候选点。对于模板布置的主点，无需进行该步骤。因为模板布置被放置成使得主点与所研究的候选点重合，所以该候选点当然是最靠近主点的候选点，使得该候选点与主点之间的距离是总是零。

在识别出最靠近模板布置的模板点的各个候选点之后，作为所述三个步骤中的第三个步骤，通过对距模板布置的每个模板点之间的距离求和来确定偏差度，除了主点以及最靠近此模板点的候选点之外。同样，主点除外，因为它不需要考虑。这是因为模板布置的主点与最靠近主点的候选点的距离必然为零(因为它们重合)，因此不会对所述偏差度有贡献。

对于所有其它模板点，可能存在到各个候选点的非零距离，即使模板布置覆盖到校准图案的真实特征点，并且在这种情况下模板点理想地与校准图案或校准图案的子图案的次要点重合。但是由于透视或其它失真(例如由于用来捕获图像的摄像头的物镜的当前参数所导致)，特别是如果摄像头的取向不是使得摄像头的光轴垂直于校准图案的平面并且摄像头具有为零的滚转角，则模板点和相应的最近候选点之间的距离很有可能是非零距离。对所有各个距离累加的累积距离将随着与理想值的偏差而增加。因此，所述距离之和可以用作候选点及其周围与校准图案或校准图案的子图案的偏差的量度。偏差度可以通过因子来标准化，例如通过将所述距离之和除以相加的次数。然而，这不是必需的，因为偏差度主要用作相对测量。

在针对该组候选点的每个候选点执行了所述至少三个步骤之后，将该组候选点中具有低于偏差阈值的偏差度的所有候选点识别为校准图案的特征点。阈值可以是预定的并且可适于偏差度的标准化。然而，也可以动态地定义阈值，例如通过设置阈值使得获得预期数量的特征点。或者，可以通过分析所有候选点的偏差的分布并且设置阈值来动态地定义阈值，使得其将偏差度的第一显著累积与具有实质上更高的值的偏差度分开。

所描述的方法主要使用简单的算术运算来放置模板布置，识别最靠近各个模板点的候选点，通过距离的总和计算偏差度并将偏差度与阈值进行比较。尽管该方法简单，但将候选点作为校准图案的可能特征点非常适合于将小麦与谷壳分离。

然而，这种方法依赖于模板布置与校准图案或子图案的图像之间的对应关系。尤其是，重要的是模板布置的尺寸与图像中出现的校准图案或子图案的尺寸相匹配。然而，图像中的校准图案的尺寸可能根据摄像头的焦距(缩放级别)和/或摄像头与校准图案的距离而变化。虽然可以预先确定诸如焦距的摄像头的参数，但是可能不知道摄像头与校准图案的实际距离。因此，即使模板布置与校准图案或子图案结构相对应，但它也可能与校准图案的图像相对于它们各自的缩放不匹配。这可能导致错误识别图像中的特征点。测量摄像头和校准图案之间的距离可以允许基于测量的距离来调整模板布置的尺寸，以便匹配图像中的校准图案的尺寸，但是需要额外的测量。

发明内容

本发明的一个目的是提供一种用于在校准图案的图像中的一组候选点内识别校准图案的特征点的改进方法，其能够补偿校准图案的图像中的校准图案的未知缩放，尤其是，由于用于将获取图像的摄像头到校准图案的未知距离。

该目的通过根据权利要求1的方法解决。本发明的有利实施方式由从属权利要求以及本发明的以下描述和附图限定。

根据本发明的方法包括：给定根据校准图案的图像得出的一组候选点，至少执行以下步骤A至C。

步骤A包括将模板点的模板布置(该模板布置对应于校准图案或校准图案的子图案)缩放到初始尺寸。由于图像中校准图案的尺寸可能是未知的，因此模板布置被缩放成的初始尺寸可能与图像中的校准图案的实际尺寸有所偏差。虽然如此，必须将某一初始尺寸设置为迭代地近似尺寸的起始点，直到它匹配图像中的校准图案的尺寸。通常，初始尺寸可以任意设定。然而，优选地，初始尺寸是预定的。例如，模板布置的初始尺寸可以对应于当假设用于获取校准图案的图像的摄像头位于与校准图案的已知平均或标称距离时预期的尺寸。另选地，根据优选实施方式，初始尺寸被设定为对应于(在某些校准环境下)摄像头与校准图案之间的最小可能距离的尺寸或者(稍微)大于该尺寸的尺寸。

步骤B包括使用缩放模板布置来确定潜在特征点。该步骤通常可以对应于用于在校准图案的图像中的一组候选点内识别校准图案的特征点的已知方法，例如，对应于EP 3173 979 A1中描述的方法中的一个，其中不使用固定尺寸的模板布置而是缩放模板布置(对其的缩放将随步骤B的不同迭代而改变)的差异将在下面进行描述。

尤其是，步骤B包括针对通过某种方式((例如通过EP 3 173 975 A1中描述的方法中的一个))根据校准图案的图像得出的每个候选点，执行以下子步骤(i)至(iii)。子步骤(i)包括将缩放模板布置覆盖在候选点上，使得缩放模板布置的模板点的主点与候选点重合。子步骤(ii)包括针对覆盖的缩放模板布置的每个模板点(除了主点之外)，从该组候选点识别最靠近模板点的候选点。并且子步骤(iii)包括通过对覆盖的缩放模板布置的每个模板点(除了主点之外)与最靠近该模板点的候选点之间的距离求和或求平均值来确定偏差度。此外，步骤B还包括将候选点组中的所确定的偏差度低于偏差阈值的所有候选点识别为潜在特征点。这与所述已知方法不同，因为由于关于模板布置的缩放是否与图像中的校准图案的尺寸充分匹配以进行可靠识别的不确定性，所识别的特征点被初步认为仅仅是潜在特征点。

与所述已知方法的另一个不同之处在于该方法在步骤B之后不会停止，而是还包括步骤C，用于检查所识别出的潜在特征点是否可以被认为是最终的，或者是否必须重复识别潜在特征点。不同缩放模板布置，用于更好地将模板布置的尺寸与图像中的校准图案的尺寸相对应。

步骤C包括确定在步骤B中识别出的潜在特征点是否满足终止标准并且根据所确定的结果不同地继续。如果不满足终止标准，则修改模板布置的缩放，并且使用修改的缩放模板布置(而不是在步骤B的前一次迭代中使用的缩放模板布置)重复步骤B和C。否则，即如果满足终止标准，那么将在步骤B的最后一次迭代中识别出的那些潜在特征点识别为校准图案的特征点。换句话说，只要不满足终止标准，步骤B和C就用不同缩放模板布置进行迭代。如果在一次或更多次迭代之后满足终止标准，则在最后一次迭代中识别出的潜在特征点不再被认为是潜在的，而是最终被识别为所搜索的图像的特征点。

以这种方式，根据本发明的方法允许测试模板布置的不同缩放，以使它们与图像中的校准图案的尺寸相对应，并最终获得从具有最佳对应关系的模板布置得到的特征点。此外，该方法提供了自动识别校准图案的图像中的特征点的稳健手段，而不必首先确定摄像头和校准图案之间的距离。

根据一个实施方式，在步骤C中，通过用当前步长调整模板布置的尺寸来修改模板布置的缩放，当前步长的符号和大小取决于在步骤B中识别出的潜在特征点的数量和/或根据在步骤B中识别出的潜在特征点得出的质量指数。换句话说，在第一次执行步骤B之后，其中模板布置被缩放到其初始尺寸，在步骤B的以后每一次迭代中，在该次迭代中所使用的模板布置的尺寸对应于前一次迭代中的模板布置的尺寸增加或减少当前步长，其中步长根据一个或更多个在前迭代的结果而改变。尺寸是增加还是减小取决于当前步长的符号。尺寸增加或减少的量取决于当前步长的大小。模板尺寸的修改可以写成

TMPLS_n＝TMPLS_n-1-Step_n (1)

其中TMPLS_n是在步骤B的第n次迭代中使用的模板布置的尺寸，并且Step_n是第n次迭代的当前步长。

最初，当前步长的符号和大小(即绝对值)被设置为初始步长，其通常可以任意设定，但优选是预定的。尤其是，如果模板布置的初始尺寸对应于摄像头与校准图案的最小距离，并且因此预期大于与图像中的校准图案的尺寸最匹配的尺寸，则该初始步长的符号优选为正，以使得在步骤B的下一次迭代中模板布置的尺寸减小(由于减去正值)。相反，如果模板布置的初始尺寸对应于摄像头与校准图案的最小距离或最大模板尺寸，则初始步长的符号优选为负，以使得在步骤B的下一次迭代中模板布置的尺寸增加(由于减去负值)。初始步长的大小可以是模板布置的初始尺寸的一部分，例如在10％至33％的范围内，优选在15％至25％的范围内，尤其是，模板布置的初始尺寸的20％。

优选地，如果在步骤B中识别出的潜在特征点的数量低于针对到目前为止步骤B的所有迭代的显著性阈值，则在步骤C中通过用恒定的初始步长调整模板布置的尺寸来修改模板布置的缩放。换句话说，只要潜在特征点的数量尚未达到显著性阈值，就用所述初始步长反复调整模板布置的尺寸。例如，该阈值可以取决于在校准图案的图像内发现的特征点的数量，并且可以在该数量的0％至33％的范围内。特征点的预期数量可以对应于校准图案内校准图案的子图案的出现次数，其中子图案的每一次出现定义将在图像中找到的一个特征点。例如，校准图案可以包括十次出现的子图案，以便在校准图案的图像中识别十个特征点。在该示例中，显著性阈值可以在1到3的范围内。如果显著性阈值是1，则只要不能识别出潜在特征点，就用恒定的初始步长来调整模板布置的尺寸。

根据一个实施方式，如果在步骤B的最后一次迭代中识别出的潜在特征点的数量首次等于或高于显著性阈值(尤其是所述有效阈值)，则在步骤C中，当前步长的大小被设置为模板布置的尺寸的一半并且可能需四舍五入，并且通过用(这种改变的)当前步长调整模板布置的尺寸来修改模板布置的缩放。代替将当前步长除以2，通常可以除以任何其它预定值。当前步长不一定是四舍五入的。但是，四舍五入可能有助于将当前步长限制为一组允许值。例如，当前步长可被限制为整数。如果模板布置的尺寸对应于奇数，则在进行除法之后，当前步长可能向下舍入到小于进行除法后的精确结果的最大整数，或者向上舍入到大于进行除法后的精确结果的最小整数。优选地，将当前步长向上舍入，以防止步长变为零。可以根据以下等式改变当前步长

Step_n＝TMPLS_n-1div 2 (2)

其中div运算符表示没有余数的除法。如果当前步长减小到最小步长以下，则舍入也可以通过将当前步长设置为最小步长来防止当前步长减小到预定的最小步长以下。

根据一个实施方式，如果在步骤B的最后一次迭代(即到目前为止的步骤B的最后一次迭代)中识别出的潜在特征点的数量低于显著性阈值(尤其是所述显着阈值)，但在步骤B的任何先前迭代中识别出的潜在特征点的数量等于或高于显著性阈值，则在步骤C中，当前步长的符号被反转，并且用(这种改变的)当前步长调整模板布置的尺寸来修改模板布置的缩放。换句话说，如果在先前已经达到显著性阈值之后识别出的潜在特征点的数量下降到显著性阈值以下，则这被认为是指示已超出模板布置的理想尺寸，即图像中校准图案的尺寸的最佳匹配尺寸。响应于此，将当前步长的符号反转，以便从另一个方向靠近模板布置的理想尺寸。

根据另一实施方式，如果在步骤B的最后一次迭代中识别出的潜在特征点的数量等于或高于显著性阈值(尤其是所述显着阈值)，并且优选地在步骤B的前一次迭代中识别出的潜在特征点的数量等于或高于显著性阈值，则在步骤C中，将当前步长的大小减小一个恒定倍数并且可能需四舍五入，并且用(这种改变的)当前步长调整模板布置的尺寸来修改模板布置的缩放。通过以在达到显著性阈值之后减小的当前步长开始，模板布置的理想尺寸的逼近首先被加速，但仍允许在结束时进行精确的微调。一旦识别出的特征点的数量达到显著性阈值，就可以开始减小当前步长。但是，作为预防措施，只有在连续第二次迭代达到显著性阈值之后，当前步长才可以被减小一恒定倍数。该恒定倍数优选为2。因此，可以根据以下等式改变当前步长

Step_n＝Step_n-1div 2 (3)

其中div运算符表示没有余数的除法。可以应用如上所述的另外的或进一步的舍入。

如上所述，当前步长的符号和大小可以不仅取决于所识别出的潜在特征点的数量，而且还取决于根据所识别出的潜在特征点得出的质量指数。根据一个实施方式，通过以下步骤根据潜在特征点得出所述质量指数。

首先，通过计算缩放模板布置的除了模板点的主点之外的模板点到模板点的主点的距离的总和或平均值来确定模板尺寸参数。因此，该模板尺寸参数表示在其当前缩放中的模板布置的尺寸。模板点到模板点的主点的距离可以计算为欧几里德范围或根据任何其它度量计算。尤其是，可以根据作为坐标的绝对差的总和的所谓的曼哈顿度量来计算两点之间的距离。由于不需要计算平方根，因此与欧几里德距离的计算相比，这可以有利地减少计算量。

然后，对于每个潜在特征点，基于似乎对应于图像中的图案或子图案的出现的候选点来确定类似参数。这通过以下步骤来实现，针对每个潜在特征点通过计算最靠近缩放模板布置(当其覆盖潜在特征点时)的一个模板点的那些候选点到潜在特征点的距离的总和或平均值来确定图案尺寸参数。同样，可以根据欧几里德度量来计算距离，优选地根据曼哈顿度量，或者通常根据任何其它合适的度量来计算距离。这种图案尺寸参数表示在校准图案的图像内可能识别的图案或子图案的尺寸。

之后，通过计算(针对每个潜在特征点)模板尺寸参数与图案尺寸参数之间的差值，将每个图案尺寸参数与模板尺寸参数进行比较。基于该差值，确定针对每个潜在特征点的匹配值。所述匹配值可以例如简单地对应于模板尺寸参数与图案尺寸参数之间的所述差值。最后，通过对所有确定的匹配值求和或求平均值来确定质量指数。因此，质量指数表示模板布置的缩放与理想缩放的总体偏差，其最佳地适应于校准图案在图像中出现的尺寸。

由于质量指数基于模板尺寸参数与图案尺寸参数之间的差值，因此质量指数的符号尤其可以表示模板布置的尺寸是大于还是小于理想尺寸。换句话说，优选地，当模板布置的尺寸与最佳匹配图像中的校准图案的尺寸的尺寸交叉时(即在减小到低于或增加到高于)改变。因此，质量指数的符号变化可用于确定这种交叉并对这种交叉作出反应。根据一个实施方式，如果根据在步骤B的最后一次迭代中确定的潜在特征点得出的质量指数的符号不同于根据在步骤B中的前一次迭代中确定的潜在特征点得出的质量指数的符号，反转当前步长的符号，并通过用(这种改变的)当前步长调整模板布置的尺寸来修改模板布置的缩放。

通过用根据特定条件改变的当前步长调整其尺寸来修改模板布置的缩放导致对理想缩放模板布置的逐渐改进的逼近，基于该模板布置可以从根据校准图案的图像得出的候选点组最终识别出特征点。何时终止逼近以便最终获得特征点由终止标准来确定。

根据一个实施方式，如果满足两个条件，则满足终止标准。第一个条件是当前步长等于最小步长或低于步长阈值。为此，必须定义最小步长或步长阈值，这样可以确保在停止步骤B和步骤C的重复迭代之前已经实现了逼近模板布置的理想缩放的一定精度。最小步长可以是与上述相同的最小步长。例如，最小步长或步长阈值可以等于1。第二个条件是根据在步骤B的最后一次迭代中确定的潜在特征点得出的质量指数的符号与根据在步骤B的前一次迭代中确定的潜在特征点得出的质量指数的符号不同。因此两个条件都满足表明模板布置的缩放已经超出理想缩放一个步长(其具有最小步长或者小于步长阈值)。因此，在步骤B的最后一次迭代中使用的缩放模板布置的尺寸仅偏离理想尺寸小于适当选择的最小步长或小于适当选择的步长阈值，因此，逼近已达到其目标并且可以终止。

所描述的方法不仅提供要在根据校准图案的图像得出的候选点组内识别的特征点，而且同时提供关于模板布局最佳地匹配图像中的校准图案的缩放的信息。反过来，该信息与摄像头到校准图案的距离相关，因为图像中的校准图案的尺寸取决于该距离。因此，可以有利地扩展该方法，以便提供额外的信息。

因此，根据一个实施方式，该方法还包括在步骤C之后执行的步骤D，即在满足终止标准并且不再重复步骤B和C之后。步骤D包括通过将步骤B的最后一次迭代中使用的缩放模板布置的尺寸调整为分数步长来计算近似模板布置尺寸。该分数步长是当前步长的负值乘以在步骤C的最后一次迭代中得出的质量指数的绝对值除以在步骤C的最后两次迭代(即步骤C的最后一次和前一次迭代)中确定的质量指数的绝对值的总和。终止标准优选地使得模板布置的理想尺寸位于步骤B的最后两次迭代中所使用的(利用对应于这两个尺寸之间的差值的当前步长)缩放模板布置的两个尺寸之间。因此，在步骤B的最后一次迭代中所使用的缩放模板装置的尺寸偏离理想尺寸当前步长的分数。在步骤C的最后两次迭代中确定的质量指数表示最后使用的两个尺寸中的哪一个更靠近理想尺寸(尤其是，更小的质量指数可以表示与理想尺寸的更小的偏差)。因此，质量指数(尤其是它们的绝对值)可用于计算两个尺寸的加权平均值。在本实施方式中，这是通过用所述分数步长调整最后使用的尺寸来完成的，所述分数步长是从当前步长通过质量指数之一除以两个质量指数之和的商得出的。分数步长FracStep例如可以通过以下等式计算

FracStep＝-|Q_N|/(|Q_N|+|Q_N-1|)*Step_N (4)

其中Q_n是在步骤C的第n次迭代中确定的质量指数，N对应于最后一次迭代。分数步长的符号相对于(最后)当前步长的符号反转，因为当用当前步长调整模板布置的尺寸时，已经超过模板布置的理想尺寸，因此，最后一次调整方向必须反转，以便恢复到理想尺寸。然后可以根据以下等式与等式(1)类似地计算近似模板布置尺寸FinalTMPLS

FinalTMPLS＝TMPLS_N–FracStep (5)

根据一个实施方式，该方法还包括在步骤D之后执行的步骤E。步骤E包括通过以下方式得出用于获取校准图案的图像的摄像头到校准图案的估计距离：将表示摄像头特性的常数(尤其是摄像头物镜的参数，例如焦距)除以近似模板布置尺寸。这可以通过以下等式来描述

D_est＝K/FinalTMPLS (6)

其中D_est是估计距离，K是代表摄像头特性的常数。该方法的这种实施方式不仅不需要测量摄像头与校准图案的距离以识别校准图案的图像内的校准图案的特征点，而且甚至提供该距离本身的估计。然后，估计的距离可以进一步用于确定其它参数，例如摄像头物镜的估计焦距。

尽管摄像头的校准可以基于一百帧或更多帧的序列，但是根据本发明的方法通常需要不超过仅应用于单个图像帧的六到十次迭代。在步骤B和C的最后一次迭代中使用的模板布置的尺寸，或者(如果确定)优选近似模板布置尺寸可以作为常数参数用于图像序列的所有后续帧。结果，由于该方法中的迭代而导致的时间损失不超过在一系列图像帧上执行这种整体校准过程所需的时间的0.25％至0.5％。

本发明的目的还通过根据权利要求12的计算机程序产品来解决，并且尤其是通过具有计算机程序的计算机程序产品来解决，该计算机程序具有如果该计算机程序在计算设备中执行，则进行根据上述的至少一个实施方式的方法的软件装置。由于在执行该方法期间计算的优选低复杂性，所述计算机程序可以尤其适合于在摄像头的微控制器或嵌入式系统上执行，借助于该微控制器或嵌入式系统获取校准图案的图像。

附图说明

在下文中，参照附图示例性地进一步描述本发明。

图1示出了利用未示出的摄像头获取的校准图案13的示例性图像11。

图2示例性地示出了包围相应候选点的四个特定关注区域17。

图3示出了所计算出的图像11内的所有候选点的偏差度。

图4示出了多次执行根据本发明的方法以改变校准图案13与用于获取校准图案13的图像11的摄像头之间的距离的实验结果。

具体实施方式

图1示出了利用未示出的摄像头获取的校准图案13的示例性图像11。校准图案13包括十个子图案15、15’，可以在图像11中辨别出它们的代表。存在第一类型的子图案15和第二类型的子图案15’。两种类型的子图案15、15’各自由两个相同取向的正方形形成，其中一个正方形的角与另一个正方形的角重合，其中第一类型的相应子图案15的两个正方形的相对取向垂直于第二类型的相应子图案15’的两个正方形的相对取向。

子图案15、15’中的五个沿第一垂直线布置，另外五个沿第二垂直线布置。第一垂直线上的子图案15、15’中的每一个与第二垂直线上的相应子图案15、15’形成一对，使得相应对的两个子图案15、15’在水平线上对齐。因此，总共有五条水平线。虽然未描绘出两条垂直线和五条水平线，并且因此不是校准图案的明确部分，但是它们由子图案15、15’明确地限定，尤其是由位于子图案15、15’的中心的这些子图案15、15’的相应特征点限定，其中两个正方形彼此接触。

尤其是，通过利用对应于子图案15、15’的滤波器内核对图像11进行卷积并且识别这样滤波的图像内的光斑，可以确定校准图案13的可能的特征点(参见图1中的白点)。由于这些可能的特征点也包括误报，因此它们是必须进一步评估以识别真实特征点的候选点。

通过搜索第一子图案15或第二子图案15’的点结构特征来识别真实特征点。这通过定义包围相应的候选点的关注区域17并覆盖模板布置使得模板布置的主点与候选点重合来完成，其中第一模板布置针对第一子图案15并且第二模板布置针对第二子图案15’。这在图2中示例性地示出，其中示出了包围相应候选点(参见中心黑色星号)的四个关注区域17。

在图2中，白色(水平和垂直)十字形是相应关注区域17内的候选点。黑色(对角线)十字形是一起分别形成第一模板布置或第二模板布置的模板点。描绘为黑色星号的中心模板点是模板布置的主点。图2中的每个关注区域17被示出为包括其中包含的候选点和模板点以及图像11的相应区域，使得可以辨别校准图案13的相应子图案15、15’。上面的两个关注区域17对应于第一子图案15，而下面的两个关注区域17对应于第二子图案15’。因此，在上面的两个关注区域17中，示出了对应于第一子图案15的第一模板布置，并且在下面的两个关注区域17中，示出了对应于第二子图案15’的第二模板布置。

从图2中可以看出，除了主点之外，相应模板布置的模板点与它们最靠近的候选点不完全重合。通过对模板点与它们各自最近的候选点之间的距离求和来计算总体(第一或第二)偏差度。如果覆盖模板布置的候选点是第一子图案15或第二子图案15'的特征点并且使用相应的模板布置(如图2所示)，则距离相对较小。对于伪候选点，距离将明显更大。因此，偏差度可用于将校准图案13的真实特征点与伪特征点区分开。

这在图3中示例性地示出。在图3中，所计算出的图像11内的所有候选点的偏差度在图中被绘制为点。可以直接看出，大多数偏差度具有高值，只有少数块具有较低范围的值。阈值19表示为将块与这些少数块分开的线。除了对应于零偏差度的点之外，低于阈值19的所有点然后表示校准图案13的特征点。以这种方式，可靠地识别校准图案13的特征点。

从图2中可以进一步看出，模板布置的尺寸非常类似于其上覆盖的相应子图案15、15'的尺寸。然而，如果摄像头和校准图案13之间的距离改变，则校准图案13及其子图案15、15'在图像11中看起来更大或更小。因此，在这样的图像11中识别出的特征点至少是初步仅被认为是潜在特征点，并且利用不同的缩放模板布置重复对这些潜在特征点的识别，直到满足终止标准，该终止标准指示模板布置的缩放足够精确地匹配校准图案13及其子图案15、15'(如图2所示)的尺寸并且在最后一次迭代中识别出的潜在特征点被识别为图像内的校准图案的特征点。

图4示出了多次执行根据本发明的方法以改变校准图案13与用于获取校准图案13的图像11的摄像头之间的距离的实验结果。距离以2.5cm到10cm的步长从130cm改变到240cm。对于每个距离，测量以不同的俯仰角、偏航角和滚转角值进行重复(改变±1°)。对每个测量应用根据本发明的方法。从中获得的结果被用于得出校准图案13与摄像头之间的估计距离，然后将其与校准图案13和摄像头之间的实际距离进行比较。图4的曲线图示出了在不同的相应距离处的每次测量的所获得的估计距离和实际距离之间的百分比误差。可以看出，根据本发明的方法允许确定具有基本上小于1％的误差的距离。

参考标号列表

11 图像

13 校准图案

15 第一子图案

15’ 第二子图案

17 关注区域

19 阈值

Claims (12)

1.一种用于在根据校准图案(13)的图像(11)得出的一组候选点内识别所述校准图案(13)的特征点的方法，所述方法包括以下步骤：

A.将与所述校准图案(13)或所述校准图案(13)的子图案(15、15')相对应的模板点的模板布置缩放到初始尺寸；

B.使用缩放模板布置来通过以下步骤确定潜在特征点

-针对每个候选点：

(i)将所述缩放模板布置覆盖在所述候选点上，使得所述缩放模板布置的所述模板点的主点与所述候选点重合，

(ii)针对覆盖的缩放模板布置的除所述主点外的每个模板点，从所述一组候选点中识别出最靠近所述模板点的候选点，以及

(iii)通过对所述覆盖的缩放模板布置的除所述主点外的每个模板点与最靠近所述模板点的候选点之间的距离求和或求平均值来确定偏差度；

以及

-将所述一组候选点中具有低于偏差阈值的偏差度的所有候选点识别为潜在特征点；以及

C.确定所述潜在特征点是否满足终止标准，并且

-如果不满足终止标准：修改所述模板布置的缩放并利用修改后的缩放模板布置重复步骤B和步骤C，并且

-如果满足终止标准：将在步骤B的最后一次迭代中识别出的潜在特征点识别为所述校准图案(13)的特征点。

2.根据权利要求1所述的方法，

其中，在步骤C中，通过用当前步长调整所述模板布置的尺寸来修改所述模板布置的缩放，所述当前步长的符号和大小取决于在步骤B中识别出的潜在特征点的数量和/或根据在步骤B中识别出的所述潜在特征点得出的质量指数。

3.根据权利要求2所述的方法，

其中，在步骤C中，如果在步骤B中识别出的潜在特征点的数量低于针对步骤B的至此所有迭代的显著性阈值，则通过用恒定的初始步长调整所述模板布置的尺寸来修改所述模板布置的缩放。

4.根据权利要求2或3所述的方法，

其中，在步骤C中，如果在步骤B的最后一次迭代中识别出的潜在特征点的数量首次等于或高于显著性阈值，则将当前步长的大小设置为所述模板布置的尺寸的一半并且可能需四舍五入，并且通过用所述当前步长调整所述模板布置的尺寸来修改所述模板布置的缩放。

5.根据权利要求2至4中至少一项所述的方法，

其中，在步骤C中，如果在步骤B的最后一次迭代中识别出的潜在特征点的数量低于显著性阈值，但是在步骤B的以前的迭代中识别出的潜在特征点的数量等于或高于所述显著性阈值，则将所述当前步长的符号反转，并用所述当前步长调整所述模板布置的尺寸来修改所述模板布置的缩放。

6.根据权利要求2至5中至少一项所述的方法，

其中，在步骤C中，如果在步骤B的最后一次迭代中识别出的潜在特征点的数量等于或高于显著性阈值，并且优选地，在步骤B的前一次迭代中识别出的潜在特征点的数量也等于或高于所述显著性阈值，则将所述当前步长的大小减小一个常数因子并且可能需四舍五入，并且通过用所述当前步长调整所述模板布置的尺寸来修改所述模板布置的缩放。

7.根据权利要求2至6中至少一项所述的方法，

其中，通过以下步骤根据所述潜在特征点得出所述质量指数

-通过计算所述缩放模板布置的除所述模板点的所述主点之外的模板点距所述模板点的所述主点的距离的总和或平均值来确定模板尺寸参数；

-针对每个潜在特征点：

-通过计算当所述缩放模板布置覆盖在所述潜在特征点上时最靠近所述缩放模板布置的一个所述模板点的候选点与所述潜在特征点的距离的总和或平均

值来确定图案尺寸参数，以及

-通过计算所述模板尺寸参数与所述图案尺寸参数之间的差值来确定匹配值；以及

-通过对所确定的匹配值求和或求平均值来确定所述质量指数。

8.根据权利要求2至7中至少一项所述的方法，

其中，在步骤C中，如果根据在步骤B的最后一次迭代中确定的潜在特征点得出的质量指数的符号不同于根据在步骤B的前一次迭代中确定的潜在特征点得出的质量指数的符号，则将当前步长的符号反转，并且通过用当前步长调整所述模板布置的尺寸来修改所述模板布置的缩放。

9.根据权利要求2至8中至少一项所述的方法，

其中，如果

-所述当前步长等于最小步长或低于步长阈值，并且

-根据在步骤B的最后一次迭代中确定的潜在特征点得出的质量指数的符号不同于根据在步骤B的前一次迭代中确定的所述潜在特征点得出的质量指数的符号，

则满足所述终止标准。

10.根据权利要求2至9中至少一项所述的方法，

所述方法在步骤C之后还包括以下步骤

D.通过用分数步长调整步骤B的最后一次迭代中所使用的所述缩放模板布置的尺寸来计算近似模板布置尺寸，所述分数步长是所述当前步长的负值乘以在步骤C的最后一次迭代中得出的质量指数的绝对值，除以在步骤C的最后一次迭代中和在步骤C的前一次迭代中确定的质量指数的绝对值之和。

11.根据权利要求10所述的方法，

所述方法在步骤D之后还包括以下步骤

E.通过将表示用于获取所述校准图案(13)的所述图像(11)的摄像头的特性的常数除以所述近似模板布置尺寸，得出所述摄像头到所述校准图案(13)的的估计距离。

12.一种具有计算机程序的计算机程序产品，所述计算机程序具有当在计算设备中执行时进行根据前述权利要求中的至少一项所述的方法的软件部品。