CN109242823B - 一种用于定位计算的参考图像选择方法、装置与自动驾驶系统 - Google Patents

Abstract

本发明提供一种用于定位计算的参考图像选择方法、装置与自动驾驶系统，用于图像定位计算的基础输入，该参考图像选择方法包括：将训练图像按照预设规则划分为任意多个训练窗口；对所述计算结果进行权重综合分析，并根据分析结果及预设阈值确定训练窗口为参考图像。采用本发明的技术方案，通过参考图像的评价指标，实现自动选择合理的参考图像，避免人工选择的局限性，提高定位结果的可靠性及精度。

Description

一种用于定位计算的参考图像选择方法、装置与自动驾驶 系统

技术领域

本发明涉及图像处理领域，特别涉及一种用于定位计算的参考图像选择方 法、装置与自动驾驶系统。

背景技术

机器视觉与图像处理领域，图像的定位计算(面定位、边缘定位、几何定 位等)通常用于图像检测、测量、标定等诸多方面。图像定位计算的结果会作 为后续算法的基础输入，对整体算法的最终结果产生直接的影响。在图像定位 计算中，参考图像(也称定位核)的合理选取对定位结果的可靠性、精度、效 率都将产生直接影响。在机器视觉检测的许多应用场景，参考图像必须由人工 进行选择。人工选择会存在多种局限：主观性强、复杂度高、工作强度大等。

因此，在现有技术中则存在的因人工选择参考图像而导致的主观性强、复 杂度高、工作强度大等问题。

发明内容

本发明提供一种用于定位计算的参考图像选择方法、装置与自动驾驶系统， 以解决在现有技术中则存在的因人工选择参考图像而导致的主观性强、复杂度 高、工作强度大等问题。

为了达到上述目的，根据本发明的第一个方面，提供一种用于定位计算的 参考图像选择方法，并采用如下具体方案：

一种用于定位计算的参考图像选择方法包括：将训练图像按照预设规则划 分为任意多个训练窗口；计算每个所述训练窗口的评价指标并得到一计算结果； 对所述计算结果进行权重综合分析，并根据分析结果及预设阈值确定训练窗口 为参考图像。

进一步地，所述评价指标包括但不限于：冗余性指标、平衡性指标以及唯 一性指标。

进一步地，所述冗余性指标的计算方法为：度量所述训练窗口并计算所述 训练窗口在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数； 对所述x轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综 合，得到所述对称性分数，所述对称性分数即表征所述冗余性指标。

进一步地，所述平衡性指标的计算方法为：计算所述训练窗口内每一个像 素点的边缘强度与边缘角度；根据所述边缘强度与所述边缘角度获取所述训练 窗口在x轴方向的正交性分数及在y轴方向的正交性分数；对所述x轴方向的 正交性分数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分 数，所述正交性分数即表征所述平衡性指标。

进一步地，所述唯一性指标的计算方法为：遍历所述训练窗口；用所述训 练窗口作为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分 数为最高的第一训练窗口及分数为次高的第二训练窗口；将所述第一训练窗口 的分数减去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表 征所述唯一性指标。

根据本发明的第二方面，提供一种用于定位计算的参考图像选择装置，并 采用如下技术方案：

一种用于定位计算的参考图像选择装置包括：划分模块，用于将训练图像 按照预设规则划分为任意多个训练窗口；计算模块，用于计算每个所述训练窗 口的评价指标并得到一计算结果；确定模块，用于对所述计算结果进行权重综 合分析，并根据分析结果及预设阈值确定训练窗口为参考图像。

进一步地，所述评价指标包括但不限于：冗余性指标、平衡性指标以及唯 一性指标。

进一步地，所述计算模块还用于：度量所述训练窗口并计算所述训练窗口 在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数；对所述x 轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综合，得到 所述对称性分数，所述对称性分数即表征所述冗余性指标。

进一步地，所述计算模块还用于：计算所述训练窗口内每一个像素点的边 缘强度与边缘角度；根据所述边缘强度与所述边缘角度获取所述训练窗口在x 轴方向的正交性分数及在y轴方向的正交性分数；对所述x轴方向的正交性分 数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分数，所述 正交性分数即表征所述平衡性指标。

进一步地，所述计算模块还用于：遍历所述训练窗口；用所述训练窗口作 为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分数为最高 的第一训练窗口及分数为次高的第二训练窗口；将所述第一训练窗口的分数减 去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表征所述唯 一性指标。

根据本发明的第三方面，提供一种自动驾驶系统，并采用如下技术方案：

一种自动驾驶系统包括上述的参考图像选择装置。

本发明针对参考图像自动选择的评价，提出三个指标，即冗余性指标、平 衡性指标和唯一性指标。在冗余性指标方面，为了保障定位鲁棒性，参考图像 中必须有一定的信息冗余，以确保感兴趣特征被部分遮挡或被噪声污染时，仍 然可以可靠地定位到，因此用对称性分数进行度量。在平衡性指标方面，为确 保定位精度，参考图像的水平方向和垂直方向必须有较强的边缘信息，并且两 个方向的边缘信息较为平衡，因此用正交性分数进行度量。在唯一性指标方面， 在对实时图像搜索时，参考图像和实时图像中的其它特征之间若区分显著，则 当实时图像退化较为严重时，仍能对其进行区分，用唯一性分数进行度量。通 过以上三个指标，按一定权重进行综合，即可在训练图像中自动选择高质量的 参考图像，用于今后对实时图像的定位计算。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的 前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的一种参考图像选择方法的流程图；

图2为本发明实施例所述的训练窗口示意图；

图3为本发明实施例提供的迭代法快速计算示意图；

图4为本发明实施例所述的低正交性分数模式示意图；

图5为本发明实施例所述的高正交性分数模式的示意图；

图6为本发明实施例所述的边缘强度直方图统计示例图；

图7为本发明实施例所述的唯一性分数计算框图；

图8为本发明实施例所述的参考图像选择装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其它实施例，都属于本发明保护的范围。

首先对实施例中出现的名词进行解释：

训练图像：用于进行参考图像自动选择的基础图像或评测图像。

实时图像：被检测、测量的实际产品或场景的图像。参考图像选择的目的 就是在实时图像中进行定位计算。

训练窗口：在训练图像中被评价的某块区域，评价分数高则被选为参考图 像，用于在实时图像中进行定位计算。

参考图像：也称定位核，是训练图像上的某一小块区域图像，用于在实时 图像上进行定位计算。

具体的，参见图1所示，一种用于定位计算的参考图像选择方法包括：

S101：将训练图像按照预设规则划分为任意多个训练窗口；

S103：计算每个所述训练窗口的评价指标并得到一计算结果；

S105：对所述计算结果进行权重综合分析，并根据分析结果及预设阈值确 定训练窗口为参考图像。

在本实施例的上述技术方案中，步骤S101中首先将训练图像进行划分， 划分为若干个训练窗口，如图2所示为某一训练窗口，尺寸为m×n，(u,v)为 窗口中心点在训练图像中的坐标。为了便于后面的计算，可将宽度m、高度n 取最近邻奇数。在步骤S103中，对步骤S101中的训练窗口进行评价指标计 算。针对参考图像自动选择的评价，本申请提出三个指标。根据以下三个指标， 并按一定权重进行综合，即可在训练图像中自动选择高质量的参考图像，用于 对实时图像的定位计算。

1.冗余性指标

为了保障定位鲁棒性，参考图像中必须有一定的信息冗余，以确保感兴趣 特征被部分遮挡或被噪声污染时，仍然可以可靠地定位到，用对称性分数进行 度量。

2.平衡性指标

为确保定位精度，参考图像的水平方向和垂直方向必须有较强的边缘信息， 并且两个方向的边缘信息较为平衡，用正交性分数进行度量。

3.唯一性指标

在对实时图像搜索时，参考图像和实时图像中的其它特征之间若区分显著， 则当实时图像退化较为严重时，仍能对其进行区分，用唯一性分数进行度量。

在步骤S105中，对所述计算结果进行权重综合分析，并根据分析结果及 预设阈值确定训练窗口为参考图像。具体的说，在步骤S103中对评价指标进 行计算，计算结果中包含各个指标的分数，在本步骤中，对各个指标的分数进 行权重分析，具体权重可以根据具体的使用场景灵活配置，例如可以是1：1： 1，也可以是1：2：3，但不限于此。分析后得出一个总的分值，将该分值与 阈值的阈值进行比较，在分值大于或等于预设阈值时，即可确定该训练窗口为 参考图像。因此，参考图像可以是很多副，不限于一副。因此，根据权重要求，综合分析评价指标，以确定合理的参考图像。

本实施例通过提出三个评价指标，即冗余性指标、平衡性指标以及唯一性 指标，通过对上述三个指标进行计算，并综合分析，即可在训练图像中自动选 择高质量的参考图像。

优选地，所述评价指标包括但不限于：冗余性指标、平衡性指标以及唯一 性指标。

优选地，所述冗余性指标的计算方法为：度量所述训练窗口并计算所述训 练窗口在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数；对 所述x轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综合， 得到所述对称性分数，所述对称性分数即表征所述冗余性指标。

具体而言，冗余性指标用对称性分数表征，对称性分数目的旨在度量训练 窗口(参考图像)关于x轴和关于y轴的对称性，用归一化相关系数度量对称 性。

训练窗口如图2所示，尺寸为m×n，(u,v)为窗口中心点在训练图像中的 坐标。

对于y轴，左侧与右侧对称列序号为u，u-1…，u-(m-1)/2，(左)和u，u+1…， u+(m-1)/2，(右)；同理，对于x轴，上部与下部对称行序号为v，v-1，…，v-(n-1)/2 (上)和v，v+1，…，v+(n-1)/2(下)。

用归一化相关系数度量关于坐标轴的对称程度。尺寸为m×n、在(u,v)处 的训练窗口，关于x轴的归一化相关系数计算式为：

和

分别为窗口图像上半部分和下半部分的灰度均值。i的取值范围为

j的取值范围为

将相关系数转换为归一化分数为：

n_x(u,v)＝[max(r_x(u,v),0)]²。

同理，尺寸为m×n、在(u,v)处的训练窗口，关于y轴的归一化相关系数及 其归一化分数分别为：

n_y(u,v)＝[max(r_y(u,v),0)]²。

和

分别为窗口图像左半部分和右半部分的灰度均值。i的取值范围为

j的取值范围为

作为优选的实施方式，本实施例还提供一种对称性分数快速计算方法，具 体如下：

使用训练窗口关于x轴的归一化相关系数说明快速计算原理，关于y轴的归一化相系数原理类似。关于x轴的归一化相关系数可改写为：

其中N为训练窗口上(或下)半部分的像素个数；相关系数计算中包括两个和 项∑_i∑_jI(u+i,v-j)，∑_i∑_jI(u+i,v+j)，分别对应上半窗口和下半窗口的像 素之和；两个平方和项∑_i∑_jI²(u+i,v-j)，∑_i∑_jI²(u+i,v+j)，分别对应上 半窗口和下半窗口的像素平方之和；一个相关项∑_i∑_jI(u+i,v-j)I(u+i,v+ j。

为提高计算效率，可以用动态规划技术计算相关系数中的和项与平方和项， 对于相关项，可用迭代方法提高计算效率。如图3所示，可先针对训练区域(训 练图像上待评价区域)，在上半窗口和下半窗口按列分别计算相关项并进行按 列累加，然后在行方向迭代计算相关项。

最后，根据上述计算结果，做对称性分数的综合：

关于x轴和关于y轴的归一化分数计算后，可用两种不同方法对两个分数 进行综合。一是代数平均，若两个分数之间的总和较大，则其综合结果较大； 二是几何平均，若两个分数之间的总和较大，并且两个分数之间较为接近，则 其综合结果较大。几何平均不但强调分数总和，并且强调两个分数之间的平衡。

在(u,v)处的训练窗口，其归一化分数的代数平均计算式为：

其归一化分数的几何平均计算式为：

优选地，所述平衡性指标的计算方法为：计算所述训练窗口内每一个像素 点的边缘强度与边缘角度；根据所述边缘强度与所述边缘角度获取所述训练窗 口在x轴方向的正交性分数及在y轴方向的正交性分数；对所述x轴方向的正 交性分数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分数， 所述正交性分数即表征所述平衡性指标。

具体的说，正交性分数度量参考图像水平边缘和垂直边缘信息强度及其间 平衡程度，具体参考图4-图5所示。正交性分数目的旨在度量两个正交方向(x 轴方向、y轴方向)边缘强度分布情况，可以统计沿正交方向的边缘强度(即 边缘幅值)，度量其正交性。

首先，计算训练窗口内每一个像素点的边缘强度与边缘角度。统计边缘强 度直方图，横坐标为边缘角度，纵坐标为给定边缘角度对应的边缘强度的累加 和p(i,u,v)。其中，i为边缘角度值，取值范围为(0，359)；u、v为训练窗口 中心点坐标，如图6所示。

沿x轴方向的边缘强度，即边缘角度对应为0度和180度边缘强度的累加 和。沿x轴方向的正交性分数可定义为：

同理，沿y轴方向的正交性分数可定义为：

根据上述计算结果，做正交性分数综合，正交性分数综合也包括几何平均 和代数平均，分别为：

最后对正交性分数进行归一化：

其中m和n分别为训练窗口的长度和宽度。

优选地，所述唯一性指标的计算方法为：遍历所述训练窗口；用所述训练 窗口作为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分数 为最高的第一训练窗口及分数为次高的第二训练窗口；将所述第一训练窗口的 分数减去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表征 所述唯一性指标。

唯一性分数目的旨在度量参考图像和实时图像中其它特征的差异程度，用 匹配分数差值进行描述。

唯一性分数计算流程如图7所示，其中包括：

步骤70：遍历训练窗口。

步骤72：用训练窗口(侯选参考图像)作为参考图像，搜索训练图像， 搜索个数设定为2，得到分数最高和次最高的两个分数。

步骤74：计算唯一性分数，即将最高分数减去次最高分数作为唯一性分 数度量。

图8为本发明实施例所述的参考图像选择装置的结构示意图。

参见图8所示，一种用于定位计算的参考图像选择装置包括：划分模块 81，用于将训练图像按照预设规则划分为任意多个训练窗口；计算模块83， 用于计算每个所述训练窗口的评价指标并得到一计算结果；确定模块85，用 于对所述计算结果进行权重综合分析，并根据分析结果确定一训练窗口为参考 图像。

优选地，所述评价指标包括但不限于：冗余性指标、平衡性指标以及唯一 性指标。

优选地，所述计算模块83还用于：度量所述训练窗口并计算所述训练窗 口在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数；对所述 x轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综合，得 到所述对称性分数，所述对称性分数即表征所述冗余性指标。

优选地，所述计算模块83还用于：计算所述训练窗口内每一个像素点的 边缘强度与边缘角度；根据所述边缘强度与所述边缘角度获取所述训练窗口在 x轴方向的正交性分数及在y轴方向的正交性分数；对所述x轴方向的正交性 分数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分数，所 述正交性分数即表征所述平衡性指标。

优选地，所述计算模块83还用于：遍历所述训练窗口；用所述训练窗口 作为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分数为最 高的第一训练窗口及分数为次高的第二训练窗口；将所述第一训练窗口的分数 减去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表征所述 唯一性指标。

本发明提供的一种自动驾驶系统包括上述的参考图像选择装置。

本发明针对参考图像自动选择的评价，提出三个指标，即冗余性指标、平 衡性指标和唯一性指标。在冗余性指标方面，为了保障定位鲁棒性，参考图像 中必须有一定的信息冗余，以确保感兴趣特征被部分遮挡或被噪声污染时，仍 然可以可靠地定位到，因此用对称性分数进行度量。在平衡性指标方面，为确 保定位精度，参考图像的水平方向和垂直方向必须有较强的边缘信息，并且两 个方向的边缘信息较为平衡，因此用正交性分数进行度量。在唯一性指标方面， 在对实时图像搜索时，参考图像和实时图像中的其它特征之间若区分显著，则 当实时图像退化较为严重时，仍能对其进行区分，用唯一性分数进行度量。通 过以上三个指标，按一定权重进行综合，即可在训练图像中自动选择高质量的 参考图像，用于今后对实时图像的定位计算。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应 以权利要求的保护范围为准。

Claims (5)

1.一种用于定位计算的参考图像选择方法，其特征在于，包括：

将训练图像按照预设规则划分为任意多个训练窗口；

计算每个所述训练窗口的评价指标并得出计算结果；

对所述计算结果进行权重综合分析，并根据分析结果及预设阈值确定训练窗口为参考图像；所述评价指标包括但不限于：

冗余性指标、平衡性指标以及唯一性指标；

其中，所述冗余性指标的计算方法为：

度量所述训练窗口并计算所述训练窗口在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数；

对所述x轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综合，得到所述对称性分数，所述对称性分数即表征所述冗余性指标；

所述平衡性指标的计算方法为：

计算所述训练窗口内每一个像素点的边缘强度与边缘角度；

根据所述边缘强度与所述边缘角度获取所述训练窗口在x轴方向的正交性分数及在y轴方向的正交性分数；

对所述x轴方向的正交性分数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分数，所述正交性分数即表征所述平衡性指标。

2.根据权利要求1所述的参考图像选择方法，其特征在于，所述唯一性指标的计算方法为：

遍历所述训练窗口；

用所述训练窗口作为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分数为最高的第一训练窗口及分数为次高的第二训练窗口；

将所述第一训练窗口的分数减去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表征所述唯一性指标。

3.一种用于定位计算的参考图像选择装置，其特征在于，包括：

划分模块，用于将训练图像按照预设规则划分为任意多个训练窗口；

计算模块，用于计算每个所述训练窗口的评价指标并得到一计算结果；

确定模块，用于对所述计算结果进行权重综合分析，并根据分析结果及预设阈值确定训练窗口为参考图像；

其中，所述评价指标包括但不限于：

冗余性指标、平衡性指标以及唯一性指标；

其中，所述计算模块还用于：

度量所述训练窗口并计算所述训练窗口在x轴的归一化相关系数及所述训练窗口在y轴的归一化相关系数；

对所述x轴的归一化相关系数与所述y轴的归一化相关系数进行对称性分数综合，得到所述对称性分数，所述对称性分数即表征所述冗余性指标；

其中，所述计算模块还用于：

计算所述训练窗口内每一个像素点的边缘强度与边缘角度；

根据所述边缘强度与所述边缘角度获取所述训练窗口在x轴方向的正交性分数及在y轴方向的正交性分数；

对所述x轴方向的正交性分数与所述y轴方向的正交性分数进行正交性分数综合，得到正交性分数，所述正交性分数即表征所述平衡性指标。

4.根据权利要求3所述的参考图像选择装置，其特征在于，所述计算模块还用于：

遍历所述训练窗口；

用所述训练窗口作为预设参考图像搜索所述训练图像，且将搜索个数设定为2，得到分数为最高的第一训练窗口及分数为次高的第二训练窗口；

将所述第一训练窗口的分数减去所述第二训练窗口的分数，得到唯一性分数，所述唯一性分数即表征所述唯一性指标。

5.一种自动驾驶系统，其特征在于，包括权利要求 3-4任一项所述的参考图像选择装置。

Images