CN111723830B - 一种图像映射方法、装置及设备、存储介质 - Google Patents

Abstract

本发明提供一种图像映射方法、装置及设备、存储介质，该方法包括：将第一图像和第二图像分别输入至已训练的第一神经网络中，以由第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；第一图像和第二图像是两个不同设备针对同一场景采集的图像；依据第一像素特征集合和第二像素特征集合从第一图像和所述第二图像中确定出满足预设条件的N对像素对，每一像素对中的两个像素分别处于所述第一图像、第二图像；依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系；按照坐标映射关系将第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

Description

一种图像映射方法、装置及设备、存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种图像映射方法、装置及设备、存储介质。

背景技术

在一些领域比如监控领域中，需要两台甚至更多台成像设备来配合完成所需场景的拍摄，一台成像设备采集场景的全景图像，另一台成像设备采集场景中的局部细节图像，需要将这两台设备采集的图像进行映射，以便在兼顾全景的同时针对细节自动跟踪放大。

相关的图像映射方式中，采用SIFT(Scale-invariant feature transform，尺度不变特征变换)、ORB(Oriented FAST and Rotated BRIEF，其特征检测基于FAST，采用BRIEF描述子并加以改进)、SURF(Speeded Up Robust Features，加速稳健特征)等特征提取滤波器，提取图像中的特征，对提取出的特征进行匹配得到两个图像的匹配特征点，基于匹配特征点进行图像映射。上述方式中，SIFT、SURF、ORB等特征提取算法的特征提取性能有限，可能存在因特征点不足而匹配失败导致无法实现图像映射的问题。

发明内容

有鉴于此，本发明提供一种图像映射方法、装置及设备、存储介质，避免因特征点不足而匹配失败导致无法实现图像映射的问题。

本发明第一方面提供一种图像映射方法，包括：

将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像；

依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

根据本发明的一个实施例，所述第一神经网络至少包括多个级联的卷积层；

所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；

所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图。

根据本发明的一个实施例，所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别；

依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，包括：

分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；

分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；

针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，包括：

针对所述第一像素特征集合中的每个第一像素特征，计算该第一像素特征与第二像素特征集合中每个第二像素特征之间的相似度；

确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，包括：

依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

本发明第二方面提供一种图像映射装置，包括：

像素级处理模块，用于将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像；

像素对确定模块，用于依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

坐标映射关系确定模块，用于依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

图像映射模块，用于按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

根据本发明的一个实施例，所述第一神经网络至少包括多个级联的卷积层；

所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；

所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图。

根据本发明的一个实施例，所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别；

所述像素对确定模块，包括：

聚类处理单元，用于分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；

区域确定单元，用于分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；

第一相似度计算单元，用于针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

第一像素特征对确定单元，用于确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

第一像素对确定单元，用于针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，所述像素对确定模块，包括：

第二相似度计算单元，用于针对所述第一像素特征集合中的每个第一像素特征，计算该第一像素特征与第二像素特征集合中每个第二像素特征之间的相似度；

第二像素特征对确定单元，用于确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

第三像素对确定单元，用于针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，所述坐标映射关系确定模块，包括：

第一矩阵构建单元，用于依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

第二矩阵构建单元，用于依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

坐标映射关系确定单元，用于计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

本发明第三方面提供一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的图像映射方法。

本发明第四方面提供一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的图像映射方法。

本发明实施例具有以下有益效果：

本发明实施例中，通过第一神经网络分别对第一图像和第二图像中的像素进行处理，实现像素级的特征提取，得到了第一像素特征集合和第二像素特征集合，在第一像素特征集合和第二像素特征集合进行匹配时可以依据像素特征间的匹配程度来确定处于第一图像和第二图像中的像素构成的像素对，第一像素特征集合和第二像素特征集合中像素特征更多，匹配的精度更高，依据确定出的像素对的位置信息来确定坐标映射关系，可以使得图像映射更准确，避免因特征点不足而匹配失败导致无法实现图像映射的问题。

附图说明

图1是本发明一实施例的图像映射方法的流程示意图；

图2是本发明一实施例的图像映射装置的结构框图；

图3是本发明一实施例的计算像素特征之间的相似度的示意图；

图4是本发明一实施例的坐标映射关系的示意图；

图5是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：

神经网络：一种通过模仿大脑结构抽象而成的技术，该技术将大量简单的函数进行复杂的连接，形成一个网络系统，该系统可以拟合极其复杂的函数关系，一般可以包括卷积/反卷积操作、激活操作、池化操作，以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练，调整其中的连接，可以让神经网络学习拟合输入和输出之间的映射关系。

枪机：一种摄像设备，在使用过程中，位姿和焦距不会自动调整。

球机：一种摄像设备，具有水平电机、垂直电机，具有调整焦距能力，在使用过程中，位姿和焦距可自动调整。球机可以旋转PT角度，使目标位于画面正中央，再按照倍率Z放大目标，也称为PTZ相机。PT：球机中电机的角度，P为水平角度，T为垂直角度。

下面对本发明实施例的图像映射方法进行更具体的描述，但不应以此为限。在一个实施例中，参看图1，一种图像映射方法可以包括以下步骤：

S100：将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像；

S200：依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

S300：依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

S400：按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

本发明实施例中，第一图像和第二图像是两个不同设备针对同一场景采集的图像，比如，第一图像可以是场景的局部细节图像，第二图像是场景的全景图像，全景图像中包含局部细节图像中的对象，当然，也可以是第一图像为全景图像，第二图像为局部细节图像，具体不限。

本发明实施例中的图像映射方法可应用于具有图像处理能力的电子设备上，该电子设备可以是采集第一图像或第二图像的设备，也可以是其他的可获取到第一图像、第二图像并具有图像处理能力的设备，具体不限。本发明实施例中，第一图像可以是第一设备采集的，第二图像可以是第二设备采集的，第一设备和第二设备可搭载在同一个平台上，该平台可以是可移动平台或固定平台，可移动平台例如是无人机、无人驾驶汽车、地面机器人等不限，图像采集之后可传输到平台上的处理器执行相应处理。

本发明实施例的图像映射方法可适用于广场、出入口、周界、机场、港口、码头、变电站、水库、园区、路口等大场景的监控中。以路口为例，路口处比如有多个目标对象，第二图像是包含路口所有目标对象的全景图像，目标对象在全景图像中的像素尺寸较小，放大之后分辨率很低；第一图像是包含了路口部分目标对象的局部细节图像，这些部分目标对象在局部细节图像中的像素尺寸较大；可以将第一图像中这些部分目标对象所处区域映射到第二图像中对应目标对象所处区域中，从而当对第二图像进行放大时，这些部分目标对象在第二图像中的分辨率相比未映射时的分辨率更高，画面更清晰。

对于周界等安保需求较高场景来说，采用本发明实施例的图像映射方法，可在同步完成对全景区域监控的同时，实现对运动目标区域入侵、穿越警戒面、进入区域和离开区域等行为的精确监控，从而实现高等级要求的安保。

在步骤S100中，将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合。

为了减少后续的处理量，第一像素特征集合的尺寸可比第一图像的尺寸小，第二像素特征集合的尺寸可比第二图像的尺寸小，只要第一神经网络在处理时对图像进行相应倍率的下采样即可。比如，第一图像和第二图像的宽为w、高为h，第一神经网络在处理时进行8倍下采样，相应的，第一像素特征集合和第二像素特征集合的宽为w/8、高为h/8，第一图像中有第一像素特征集合的每个第一像素特征对应的像素，第二图像中有第二像素特征集合的每个第二像素特征对应的像素。当然，第一像素特征集合的尺寸可以与第一图像的尺寸相同，第二像素特征集合的尺寸可以与第二图像的尺寸相同。

第一神经网络可以在语义分割网络的基础上实现，语义分割网络比如可以是FCN(全卷积网络)，具体不限。相关语义分割网络输出的是语义图像，语义图像上的每个值是像素特征属于各个类别的置信度，但在本发明实施例中，第一神经网络输出的是像素特征集合，区别在于，在本发明实施例中少了语义分割网络的最后一层用于对像素特征进行分类的分类层。在训练第一神经网络时，可以对语义分割网络进行训练，训练完成后，将语义分割网络的分类层的前一层输出作为第一神经网络的输出，即省略语义分割网络中最后一层分类层的处理。

对语义分割网络进行训练的方式，比如，将样本图像作为语义分割网络的输入，将样本图像对应的样本语义分割图像作为输出，对语义分割网络进行训练，其中样本语义分割图像中已经标定好各个像素特征属于各个类别的置信度。

可以理解，第一神经网络也可以采用其他神经网络来实现，比如RNN、CNN等。

步骤S200中，依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，N大于1。

可以对第一像素特征集合和第二像素特征集合中的像素特征进行匹配，将匹配成功的像素特征对应的处于第一图像一个像素和第二图像中的一个像素确定为像素对，当然，具体确定方式不限。

N的数量不限，只要能够使得确定出的像素对足以用来计算出坐标映射关系即可，优选的，N可以为4，4对像素对可以使得后续计算出的坐标映射关系更准确，确定出的4对像素对中，处于第一图像中的四个像素不共线，处于第一图像中的四个像素对应的也不共线。可以理解，N也可以为5以上，具体不限。

步骤S300中，依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系。

依据各像素对中处于第一图像中的像素(简称第一像素)的位置信息、及处于第二图像中的像素(简称第二像素的位置信息)，可以唯一地计算出像素对中两个像素的位置信息之间的转换关系，该转换关系便是从第一坐标系到第二坐标系的坐标映射关系，可以用于实现第一图像到第二图像的映射，坐标映射关系的具体确定方式不限。

步骤S400中，按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

指定图像区域可以是第一图像中任意感兴趣的局部区域，例如可以是监控目标对象所处区域，具体可以是人、车等目标对象所处的区域；指定图像区域也可以是第一图像的整个图像区域。在确定指定图像区域时，可通过目标检测技术来检测出第一图像中的目标对象，确定目标对象所处的区域，将该区域确定为指定图像区域。

映射到第二坐标系中的指定图像区域可以直接覆盖第二图像中的对应区域，比如包含目标对象的指定图像区域直接覆盖该目标对象在第二图像中所处的区域。当然，映射到第二坐标系中的指定图像区域也可以用作其他用途，比如依据第一图像或目标区域在第二坐标系中的位置信息控制第一设备进行相应的运动，以采集包含第一图像或目标区域中包含的目标对象的图像。

具体的，共处于同一平台的第一设备和第二设备针对同一场景采集图像，一种情况下，该第一设备在采集图像时可相对平台转动，该第二设备在采集图像时相对平台固定，第一图像是在第一设备转动过程中采集的一幅局部图像，第二图像是第二设备采集的全景图像，通过本发明实施例，可将第一设备在转动过程中采集的局部图像映射到全景图像中，以使得最终得到的全景图像更为清晰；在另一种情况下，第一设备在采集图像时焦距可变，第二设备的焦距在采集图像时固定，第一图像时在第一设备焦距变化过程中采集的一幅图像，第二图像是第二设备采集的图像，通过本发明实施例，可将第一设备在不同且更高焦距下采集的图像映射到在某一固定焦距下采集的图像中。可选的，第一设备比如为球机，第二设备比如为枪机。

本发明实施例中，通过第一神经网络分别对第一图像和第二图像中的像素进行处理，实现像素级的特征提取，得到了第一像素特征集合和第二像素特征集合，在第一像素特征集合和第二像素特征集合进行匹配时可以依据像素特征间的匹配程度来确定处于第一图像和第二图像中的像素构成的像素对，第一像素特征集合和第二像素特征集合中像素特征更多，匹配的精度更高，依据确定出的像素对的位置信息来确定坐标映射关系，可以使得图像映射更准确，避免因特征点不足而匹配失败导致无法实现图像映射的问题。

在一个实施例中，所述第一神经网络至少包括多个级联的卷积层；

所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；

所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图。

通过级联的卷积层分别对第一图像、第二图像进行特征提取，每层卷积层都会输出对应的特征图，越往后的卷积层输出的特征图中的特征越细化，直至每个像素特征均可确定相应的M通道特征。

在一个实施例中，所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别。

参看图3，F1为第一像素特征集合，每个像素特征包含M个通道特征；F2为第二像素特征集合，每个像素特征包含M个通道特征。M个通道特征中，每个通道特征对应于一个类别，也可表征该通道特征所在像素特征属于该通道特征对应类别的置信度。

像素特征中某个通道特征与对应类别的标准特征相似度最高，则该通道特征对应的类别即为该像素特征所属的类别，即像素特征中与对应类别的标准特征相似度最高的通道特征为满足指定要求的通道特征。比如，M为2(此处仅是举例，实际可以是更多维的，具体维度不限)，第1个通道特征为a，第1个通道特征对应类别的标准特征为a1，第2个通道特征为b，第2个通道特征对应类别的标准特征为b1，a与a1的相似度大于b与b1的相似度，则第1个通道特征为满足指定要求的通道特征，像素特征所属类别为第1个通道特征对应的类别。

在一个实施例中，步骤S200中，依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，可以包括以下步骤：

S201：分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；

S202：分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；

S203：针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

S204：确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

S205：针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

步骤S201中，第一像素特征集合的每第一像素特征所属类别为该第一像素特征中满足指定要求的一个通道特征所对应的类别，第二像素特征集合的每第二像素特征所属类别为该第二像素特征中满足指定要求的一个通道特征所对应的类别，因而可以分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理，以将第一像素特征集合中所有的第一像素特征基于类别聚合为多个类别的区域、将第二像素特征集合中所有的第二像素特征基于类别聚合为多个类别的区域。

聚类的方式比如可以是基于层次的聚类、基于划分的聚类等，只要能够实现聚类即可。

步骤S202中，在聚类处理后，第一像素特征集合和第二像素特征集合被划分为各个类别的区域，可以分别中两个集合中找到类别相同的区域，作为第一区域和第二区域，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同。

该第一区域和第二区域为第一像素特征集合和第二像素特征集合中当前感兴趣的区域。

在步骤S203中，针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度。

具体的，继续以图3为例，计算第一像素特征集合中首个第一像素特征与计算第二像素特征集合中首个第二像素特征之间的相似度，计算时，将第一像素特征、第二像素特征分别用一个M维向量表示，M维向量中的各个维度数据分别为像素特征的M个通道特征，计算第一像素特征与第二像素特征的M维向量之间的相似度S1，可以采用计算欧式距离、COS距离等计算方式来计算相似度S1，具体方式不限，也可采用深度度量网络来计算相似度。

步骤S203执行完成后，得到的相似度的个数为第一像素特征集合中的第一像素特征的总数与第二像素特征集合中的第二像素特征的总数之间的乘积。

步骤S204中，从计算出的相似度中确定出N个最高的目标相似度，并确定出每个目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征。

步骤S205中，针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

本实施例中，先对进行像素特征的聚类，基于聚类的结果确定出需要计算相似度的第一区域和第二区域，再将第一区域和第二区域中的像素特征进行相似度计算，可减少所需的计算量。

在另一个实施例中，步骤S200中，依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，可以包括以下步骤：

S206：针对所述第一像素特征集合中的每个第一像素特征，计算该第一像素特征与第二像素特征集合中每个第二像素特征之间的相似度；

S207：确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

S208：针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

本实施例与前述实施例的不同之处在于，将第一像素特征集合和第二像素特征集合中的每个像素特征均进行相似度的计算，计算结果更为精确，其余相同之处在此不再赘述。

在一个实施例中，步骤S300中，依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，可以包括以下步骤：

S301：依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

S302：依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

S303：计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

参看图4，依据像素对中处于第一图像M1中的像素P1’-P4’的位置信息构建第一矩阵，依据像素对中处于第二图像M2中对应的像素P1-P4的位置信息构建第二矩阵，计算第一矩阵到第二矩阵的转换关系，得到坐标映射关系。按照坐标映射关系进行图像映射时，P1会映射到P1’，P2会映射到P2’，P3会映射到P3’，P4会映射到P4’。

具体的，下面给出一个确定坐标映射关系的例子：

共有N对像素对，每对像素对包括处于第一图像中的第一像素和处于第二图像中的第二像素，依据N对像素对中第一像素的位置信息(在第一坐标系中的坐标)构造3*N的第一矩阵S，如下：

依据N对像素对中第二像素的位置信息(在第二坐标系中的坐标)构造3*N的第二矩阵D，如下：

其中，第一矩阵S和第二矩阵D的最后一行均补充为1，得到了两个3*N的矩阵，x,y表示第一像素的坐标，u,v表示第二像素的坐标。

将S到D的转换关系设为H，H是3x3的单应性矩阵，如下：

将H转换为1x9的矩阵：

h＝(H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂,H₃₃)^Τ。

构造计算单应性矩阵时所需的系数矩阵：

a_x,u＝(-x,-y,-1,0,0,0,ux,uy,u)^Τ，

a_y,v＝(0,0,0,-x,-y,-1,vx,vy,v)^Τ，

求解Ah＝0，即可以得到h的解。

求解Ah＝0时，对上述的A做SVD分解得到：

[U,Σ,V]＝svd(A) (1)

由SVD分解得到的A的右奇异向量V和左奇异向量U，将V和Σ的对应关系按Σ中每个元素的大小从大到小排序，将Σ中最小元素对应的V确定为h的近似解，公式如下：

h＝V[[min(∑)],:] (2)

{min(∑)}代表取∑最小元素所对应的索引号。

求解出h后，即可确定出单应性矩阵H，H便可作为坐标映射关系。

得到单应性矩阵H后，可将第一图像的指定图像区域中的像素从所处的第一坐标系的像素坐标x,y映射到第一坐标系的像素坐标u,v：

基于上述公式(3)，可完成将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

本发明第二方面提供一种图像映射装置，在一个实施例中，参看图2，该图像映射装置包括：

像素级处理模块100，用于将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像；

像素对确定模块200，用于依据所述第一像素特征集合和第二像素特征集合从所述第一图像和所述第二图像中确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

坐标映射关系确定模块300，用于依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

图像映射模块400，用于按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

根据本发明的一个实施例，所述第一神经网络至少包括多个级联的卷积层；

所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；

所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图。

根据本发明的一个实施例，所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别；

所述像素对确定模块，包括：

聚类处理单元，用于分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；

区域确定单元，用于分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；

第一相似度计算单元，用于针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

第一像素特征对确定单元，用于确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

第一像素对确定单元，用于针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，所述像素对确定模块，包括：

第二相似度计算单元，用于针对所述第一像素特征集合中的每个第一像素特征，计算该第一像素特征与第二像素特征集合中每个第二像素特征之间的相似度；

第二像素特征对确定单元，用于确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

第三像素对确定单元，用于针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

根据本发明的一个实施例，所述坐标映射关系确定模块，包括：

第一矩阵构建单元，用于依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

第二矩阵构建单元，用于依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

坐标映射关系确定单元，用于计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像映射方法。

本发明图像映射装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，图5是本发明根据一示例性实施例示出的图像映射装置10所在电子设备的一种硬件结构图，除了图5所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置10所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的图像映射方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种图像映射方法，其特征在于，包括：

将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像，所述第一图像是场景的局部细节图像，第二图像是场景的全景图像，所述全景图像中包含局部细节图像中的对象，所述第一神经网络至少包括多个级联的卷积层；所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图，所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别；

分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；依据所述第一区域和所述第二区域中的像素特征进行相似度计算，确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

2.如权利要求1所述的图像映射方法，其特征在于，依据所述第一区域和所述第二区域中的像素特征进行相似度计算，确定出满足预设条件的N对像素对，包括：

针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

3.如权利要求1所述的图像映射方法，其特征在于，依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，包括：

依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

4.一种图像映射装置，其特征在于，包括：

像素级处理模块，用于将第一图像和第二图像分别输入至已训练的第一神经网络中，以由所述第一神经网络对输入的第一图像中的像素进行处理得到第一像素特征集合、以及对输入的第二图像中的像素进行处理得到第二像素特征集合；所述第一图像和第二图像是两个不同设备针对同一场景采集的图像，所述第一图像是场景的局部细节图像，第二图像是场景的全景图像，所述全景图像中包含局部细节图像中的对象所述第一神经网络至少包括多个级联的卷积层；所述第一像素特征集合为：所述多个级联的卷积层对所述第一图像进行特征提取得到的M通道特征图；所述M大于1；所述第二像素特征集合为：所述多个级联的卷积层对所述第二图像进行特征提取得到的M通道特征图；所述M通道特征图中每个像素特征包含M个通道特征、并且每个通道特征对应于一个类别，每个像素特征所属类别为该像素特征中满足指定要求的一个通道特征所对应的类别；

像素对确定模块，用于分别对所述第一像素特征集合的第一像素特征和第二像素特征集合的第二像素特征执行聚类处理；分别从聚类处理后的第一像素特征集合和第二像素特征集合中确定出第一区域和第二区域，其中，所述第一区域的第一像素特征和第二区域的第二像素特征所属类别相同；依据所述第一区域和所述第二区域中的像素特征进行相似度计算，确定出满足预设条件的N对像素对，N大于1，每一像素对中的两个像素分别处于所述第一图像、第二图像；

坐标映射关系确定模块，用于依据各像素对中像素的位置信息确定从第一坐标系映射到第二坐标系的坐标映射关系，所述第一坐标系为第一图像应用的坐标系，所述第二坐标系为第二图像应用的坐标系；

图像映射模块，用于按照所述坐标映射关系将所述第一图像中的指定图像区域从第一坐标系映射到第二坐标系中。

5.如权利要求4所述的图像映射装置，其特征在于，所述像素对确定模块具体用于：

针对所述第一区域中的第一像素特征，计算该第一像素特征与第二区域中每个第二像素特征之间的相似度；

确定计算出的相似度中N个最高的目标相似度所对应的像素特征对，所述像素特征对包括第一像素特征和第二像素特征；

针对每对像素特征对，将所述第一图像中与该像素特征对中的第一像素特征对应的像素、及所述第二图像中与该像素特征对中的第二像素特征对应的像素确定为一对像素对。

6.如权利要求4所述的图像映射装置，其特征在于，所述坐标映射关系确定模块，包括：

第一矩阵构建单元，用于依据像素对中处于所述第一图像的像素在第一坐标系中的位置信息构建第一矩阵；

第二矩阵构建单元，用于依据像素对中的处于所述第二图像的像素在第二坐标系中的位置信息构建第二矩阵；

坐标映射关系确定单元，用于计算所述第一矩阵到第二矩阵的转换关系，并将所述转换关系确定为所述坐标映射关系。

7.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-3中任意一项所述的图像映射方法。

8.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-3中任意一项所述的图像映射方法。