CN108388888B

CN108388888B - 一种车辆识别方法、装置和存储介质

Info

Publication number: CN108388888B
Application number: CN201810243700.1A
Authority: CN
Inventors: 彭湃; 张有才; 余宗桥; 郭晓威
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2018-03-23
Filing date: 2018-03-23
Publication date: 2022-04-05
Anticipated expiration: 2038-03-23
Also published as: CN108388888A

Abstract

本发明实施例公开了一种车辆识别方法、装置和存储介质；本实施例可以对采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以提高识别效率和准确率。

Description

一种车辆识别方法、装置和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种车辆识别方法、装置和存储介质。

背景技术

近年来，随着城市规模的不断扩大、车辆数量的大幅增长以及社会安全意识的提高，监控摄像机已经覆盖道路和小区等各种场所，而监控所得的录像在安防方面往往起着重大作用。

在现有技术中，相关部门从这些监控录像中获得所需线索时，往往需要对海量录像数据进行人工搜索，比如公安部门若需要得到某嫌疑车辆近一个月内的行驶记录，则需要观看各大街道和马路上近一个月内的监控录像，并利用已有嫌疑车辆的照片，通过人眼或者简单图像匹配的方式识别出该嫌疑车辆所在的画面，从而归纳出嫌疑车辆的行驶轨迹，等等。

在对现有技术的研究和实践过程中，本发明的发明人发现，随着监控录像的数据量越来越大，现有这种车辆识别方式效率过低，而且识别准确率也不高。

发明内容

本发明实施例提供一种车辆识别方法、装置和存储介质，可以提高识别效率和准确率。

本发明实施例提供一种车辆识别方法，包括：

采集多张车辆样本图像；

对所述多张车辆样本图像进行两两组合，以建立样本对；

将每个样本对合并为一张多通道图像后，添加至训练样本集中；

根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型；

基于训练后模型对待识别图像进行车辆识别。

本发明实施例还提供一种车辆识别装置，包括：

采集单元，用于获取多张车辆样本图像；

组合单元，用于对所述多张车辆样本图像进行两两组合，以建立样本对；

合并单元，用于将每个样本对合并为一张多通道图像后，添加至训练样本集中；

训练单元，用于根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型；

识别单元，用于基于训练后模型对待识别图像进行车辆识别。

可选的，在一些实施例中，所述合并单元，具体用于确定每个样本对中的车辆样本图像的颜色通道，将所述颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

可选的，在一些实施例中，所述训练单元包括训练子单元和收敛子单元，其中：

所述训练子单元，用于根据所述训练样本集分别对预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到所述训练样本集中每张多通道图像对应的样本对的相似度预测值；

所述收敛子单元，用于获取每个样本对的相似度真实值，对所述相似度真实值和相似度预测值进行收敛，得到训练后模型。

可选的，在一些实施例中，所述训练子单元包括选择模块、卷积层模块和全连接层模块，其中：

所述选择模块，用于从所述训练样本集中选择一张多通道图像，作为当前训练样本；

所述卷积层模块，用于将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；

所述连接层模块，用于对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值，触发所述选择模块执行从所述训练样本集中选择一张多通道图像，作为当前训练样本的操作，直至所述训练样本集中的多通道图像均训练完毕。

可选的，在一些实施例中，所述卷积层模块，具体用于：

将当前训练样本导入预设孪生神经网络模型的上半分支网络中进行训练，得到上半分支网络输出向量；

对当前训练样本进行预设处理，将处理后当前训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量。

可选的，在一些实施例中，所述连接层模块，具体用于：

计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算；

采用预设激活函数对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值。

可选的，在一些实施例中，所述收敛子单元，具体用于：

采用预设损失函数对所述相似度真实值和相似度预测值进行收敛，得到训练后模型。

可选的，在一些实施例中，所述样本对包括正样本对和负样本对，所述组合单元，具体用于：

从所述多张车辆样本图像中选择属于同一车辆的车辆样本图像，将所述属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；

从所述多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将所述不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

可选的，在一些实施例中，所述识别单元包括获取子单元、计算子单元和确定子单元，其中：

所述获取子单元，用于获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像；

所述计算子单元，用于根据所述训练后模型计算所述参照图像和待识别图像的相似度，得到局部特征相似度；

所述确定子单元，用于将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为所述目标车辆。

可选的，在一些实施例中，所述获取子单元具体用于：

获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像；

从第一图像中提取出预设标志物所在区域的图像块，得到目标车辆的参照图像；

从第二图像中提取出预设标志物所在区域的图像块，得到待识别车辆的待识别图像。

可选的，在一些实施例中，所述获取子单元具体用于：

获取候选集，所述候选集包括包含待识别车辆的至少一张第二图像；

将候选集中的第二图像与第一图像进行匹配；

对匹配度小于设定值的第二图像进行过滤，得到过滤后候选集；

从所述过滤后候选集中获取包含待识别车辆的至少一张第二图像。

可选的，在一些实施例中，所述确定子单元，具体用于：

计算第一图像和第二图像的相似度，得到全局特征相似度；

对所述全局特征相似度和对应的局部特征相似度进行加权运算，得到综合相似度；

将综合相似度满足预设第二条件的待识别图像所对应的待识别车辆确定为所述目标车辆。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种车辆识别方法中的步骤。

本发明实施例可以对采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以提高识别效率和准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的车辆识别方法的场景示意图；

图1b是本发明实施例提供的车辆识别方法的流程示意图；

图1c是本发明实施例提供的孪生神经网络模型的结构示意图；

图2a是本发明实施例提供的车辆识别方法中训练样本集的建立示意图；

图2b是本发明实施例提供的孪生神经网络模型的训练流程架构图；

图2c是本发明实施例提供的车辆识别方法的另一流程示意图；

图2d是本发明实施例提供的车辆识别方法中图像的采集示意图；

图2e是本发明实施例提供的车辆识别方法中车辆局部特征提取示意图；

图2f是本发明实施例提供的孪生神经网络模型的识别流程架构图；

图3a是本发明实施例提供的车辆识别装置的结构示意图；

图3b是本发明实施例提供的车辆识别装置的另一结构示意图；

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种车辆识别方法、装置和存储介质。

其中，该车辆识别装置具体可以集成在网络设备如终端或服务器等设备中，例如，网络设备可以采集多张车辆样本图像，并对该多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型(即训练后的孪生神经网络模型)，此后，参见图1a，在需要进行车辆识别时，便可以基于训练后模型对待识别图像进行车辆识别，比如，可以获取目标车辆的参照图像(比如由用户提供包含目标车辆的参照图像)，以及至少一张待识别车辆的待识别图像(比如可以从监控设备中获取至少一张包含待识别车辆的待识别图像等)，根据该训练后模型计算该参照图像和待识别图像的相似度，得到局部特征相似度，将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为该目标车辆，进而达到识别车辆，比如以图搜车的目的。

以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。

实施例一、

在本实施例中，将从车辆识别装置的角度进行描述，该车辆识别装置具体可以集成在网络设备如终端或服务器等设备中。

本发明实施例提供一种车辆识别方法，包括：采集多张车辆样本图像，对该多张车辆样本图像进行两两组合，以建立样本对，将每个样本对合并为一张多通道图像后，添加至训练样本集中，根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，基于训练后模型对待识别图像进行车辆识别。

如图1b所示，该车辆识别方法的具体流程可以如下：

101、采集多张车辆样本图像。

例如，具体可以通过拍摄大量的车辆的图像、以及拍摄同一车辆的多张图像等途径来采集多张车辆样本图像；或者，也可以通过在互联网上搜索或者从车辆图片数据库中来获取多张车辆样本图像，等等。

其中，该多张车辆样本图像包括多张不同车辆的图像，也包括同一车辆的不同图像(比如在不同地点、不同时间或不同角度拍摄的图像)，该图像可以是车辆的整体图像，也可以是车辆局部区域的图像，为了描述方便，在本发明实施例中，将均以车辆局部区域的图像为例进行说明，因此，若采集到的图像为车辆的整体图像，则可以通过裁剪来获取车辆局部区域的图像；该局部区域可以是车上某个指定物体所在的区域，该指定物体需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本发明实施例中，将该指定物体称为“预设标志物”，比如，主要可以指年检标志。其中该年检标志是车辆在规定期限内顺利通过相关部门检测时所取得的合格证明，该年检标志上注明了下次年检时间。通常，车辆的首次年检时间取决于牌照领取时间，之后需定期检查，不同车型检查周期不同，比如营运载客汽车5年以内每年检验1次，超过5年的，每6个月检验1次。载货汽车和大型、中型非营运载客汽车10年以内每年检验1次，超过10年的，每6个月检验1次，等等，不同车辆年检标志上的年检时间通常不同。

102、对该多张车辆样本图像进行两两组合，以建立样本对；

其中，样本对指的是两张车辆样本图像所组合成的集合，该样本对可以是正样本对，也可以是负样本对，正样本对指的是属于同一车辆的车辆样本图像，比如可以是通过对同一车辆的年检标志拍摄得到的两张图像，而负样本对指的是属于不同车辆的车辆样本图像，比如可以通过对不同车辆的年检标志拍摄得到的两张图像，等等。

若该样本对包括正样本对和负样本对，则步骤“对该多张车辆样本图像进行两两组合，以建立样本对”可以包括：

从该多张车辆样本图像中选择属于同一车辆的车辆样本图像，将该属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；以及，从该多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将该不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

103、将每个样本对合并为一张多通道图像后，添加至训练样本集中；例如，具体可以如下：

确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

比如，若每个样本对中包括车辆样本图像A和B，其中，车辆样本图像A和B的颜色通道均为3通道，即红色通道(R，Red)、绿色通道(G，Green)和蓝色通道(B，Blue)，则可以将车辆样本图像A和B合并为一张6通道的图像(两个红色通道、两个绿色通道和两个蓝色通道)，然后，将该6通道的图像添加至训练样本集中。

由于将每个样本对合并为一张多通道图像，因此，后续在训练模型时，其计算量和所需的计算资源也会大大减少，可以提高训练模型的效率。

104、根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型。

其中，该对预设孪生神经网络模型可以根据实际应用的需求进行设定，比如，该预设孪生神经网络模型可以包括上半分支网络和下半分支网络，其中，上半分支网络和下半分支网络结构相同但不共享权重。

以该结构为卷积神经网络(CNN，Convolutional Neural Network)为例，则如图1c所示，该结构可以包括四个卷积层(Convolution)和一个全连接层(FC，Fully ConnectedLayers)，如下：

卷积层：主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取(即将原始数据映射到隐层特征空间)，其中，卷积核大小可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，这四层卷积层的卷积核大小也可以都设置为(3，3)；可选的，为了提高模型的表达能力，还可以通过加入激活函数来加入非线性因素，在本发明实施例中，该激活函数均为“relu(线性整流函数，Rectified Linear Unit)”，而填充(padding，指属性定义元素边框与元素内容之间的空间)方式均为“same”，“same”填充方式可以简单理解为以0填充边缘，左边(上边)补0的个数和右边(下边)补0的个数一样或少一个；可选的，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1～2层进行下采样(pooling)操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(averagepooling)等，为了描述方便，在本发明实施例中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为maxpooling为例进行说明。

需说明的是，为了描述方便，在本发明实施例中，将激活函数所在层和下采样层(也称为池化层)均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层，当然，还尅包括用于输入数据的输入层和用于输出数据的输出层，在此不作赘述。

全连接层：可以将学到的“分布式特征表示”映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，在该孪生神经网络模型的上半分支网络和下半分支网络中，全连接层的神经元数量可以均设置为512个，或者，也可以均设置为128个，等等。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid(S型函数)。

由于该孪生神经网络模型的上半分支网络和下半分支网络均可以输出多个向量，且向量的数量与神经元的数量一致，比如，若上半分支网络和下半分支网络的全连接层的神经元数量均设置为512个，则上半分支网络和下半分支网络可以分别输出512个向量；又比如，若上半分支网络和下半分支网络的全连接层的神经元数量均设置为128个，则上半分支网络和下半分支网络可以分别输出128个向量，等等，因此，如图1c所示，还可以设置一个一维度的全连接层，以便对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算(即通过全连接将这些输出向量映射为一维的数据)，得到输入图像对应的相似度，比如某训练样本对应的样本对之间的相似度，等等。

基于上述预设孪生神经网络模型的结构，步骤“根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型”具体可以如下：

(1)根据该训练样本集分别对预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到该训练样本集中每张多通道图像对应的样本对的相似度预测值；例如，具体可以如下：

S1、从该训练样本集中选择一张多通道图像，作为当前训练样本。

即该当前训练样本为一张多通道图像，而该多通道图像对应一个样本对，也就是说，该多通道图像对应两张车辆样本图像。

S2、将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量。

例如，具体可以将当前训练样本导入预设孪生神经网络模型的上半分支网络中进行训练，得到上半分支网络输出向量，以及对当前训练样本进行预设处理，将处理后当前训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量。

其中，该预设处理可以根据实际应用的需求而定，比如，可以对当前训练样本进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的当前训练样本；也就是说，上半分支网络可以处理原尺度的训练样本，而下半分支网络可以处理较小尺度的训练样本。

S3、对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值，然后执行步骤S4。

例如，具体计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值。

或者，还可以采用激活函数对该一维度全连接运算结果进行处理，即步骤“对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值”具体也可以如下：

计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，并根据计算得到的曼哈顿距离进行一维度全连接运算，采用预设激活函数对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值。

其中，该预设的激活函数可以根据实际应用的需求而定，比如，具体可以为sigmoid。

S4、返回执行从该训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至该训练样本集中的多通道图像均训练完毕。

(2)获取每个样本对的相似度真实值，对该相似度真实值和相似度预测值进行收敛，得到训练后模型。

例如，具体可以采用预设损失函数对该相似度真实值和相似度预测值进行收敛，得到训练后模型。

其中，该损失函数可以根据实际应用需求进行灵活设置，比如，损失函数J可以选为交叉熵，如下：

其中，C为类别数目，C＝2，k∈(1,2)，k的不同取值代表是否属于同一辆车，

为输出的相似度预测值，y_k为相似度真实值。通过降低网络相似度预测值和相似度真实值之间的误差，进行不断训练，以调整权重至合适数值，便可得到该训练后模型。

105、基于训练后模型对待识别图像进行车辆识别。例如，具体可以如下：

(1)获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像。

在本发明实施例中，该目标车辆主要指已确认车主身份的车辆，比如车牌显示正常的车辆，该待识别车辆主要指需要与该目标车辆进行比对的车辆，比如是未确认车主身份的车辆，如无车牌或车牌显示不正常的车辆等。

目标车辆的参照图像指的是目标车辆的局部区域的图像，而待识别车辆的待识别图像指的是待识别车辆的局部区域的图像。该局部区域可以是车上某个指定物体所在的区域，该指定物体需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本发明实施例中，将该指定物体称为“预设标志物”，主要指年检标志。即，步骤“获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像”具体可以如下：

获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像，从第一图像中提取出预设标志物所在区域的图像块，得到目标车辆的参照图像，以及，从第二图像中提取出预设标志物所在区域的图像块，得到待识别车辆的待识别图像。

其中，具体可以通过对目标车辆进行拍摄或从其他图库进行提取等途径来获取该第一图像。同理，可以直接通过对待识别车辆进行拍摄，或从监控录像中截取多张待识别车辆的图像等途径来获取第二图像。

可选的，为了减少后续的计算量，提高处理效率，在获取多张第二图像后，还可以对这些第二图像进行初步筛选，以过滤掉与目标车辆明显不一致的图像，即步骤“获取包含待识别车辆的至少一张第二图像”具体可以包括：

获取候选集，该候选集包括包含待识别车辆的至少一张第二图像，将候选集中的第二图像与第一图像进行匹配，对匹配度小于设定值的第二图像进行过滤，得到过滤后候选集，从该过滤后候选集中获取包含待识别车辆的至少一张第二图像。

其中，匹配方式可以根据实际应用的需求进行设置，比如，可以从车辆内的挂饰、内饰、车辆正面、和/或车辆背面等信息进行比对，并将得到的相似度作为匹配度。其中，车辆内的挂饰和内饰等信息可以通过检测手段得到，而车辆的正面和车辆背面可以通过检测车辆关键点来得到，具体的检测方式可以有多种，在此不作赘述。

(2)根据该训练后模型计算该参照图像和待识别图像的相似度，得到局部特征相似度。

例如，具体可以将参照图像和待识别图像进行组合，得到图像对(即作为一图像集合，与样本对类似)，将该图像对合并为一多通道图像，将该多通道图像导入该训练后模型的上半分支网络中进行计算，得到上半分支网络向量，以及将该多通道图像进行预设处理，比如进行剪裁、下采样和/或旋转等操作，得到处理后多通道图像，将该处理后多通道图像导入该训练后模型的下半分支网络中进行计算，得到下半分支网络输出向量；对该上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，以得到该图像对的相似度预测值，其中，该图像对的相似度预测值即为参照图像和待识别图像的局部特征相似度。

其中，步骤“对该上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，以得到该图像对的相似度预测值”可以包括：计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，根据计算得到的曼哈顿距离进行一维度全连接运算(即全连接一个神经元)，并采用激活函数对一维度全连接运算的结果进行计算，得到该图像对的相似度预测值。

(3)将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为该目标车辆。

其中，该预设第一条件可以根据实际应用的需求进行设置，例如，可以直接将局部特征相似度大于指定值(可以根据实际应用的需求而定)的待识别图像所对应的待识别车辆确定为该目标车辆；或者，也可以结合目标车辆和待识别车辆全局比较后的结果，综合考虑后来确定目标车辆，即步骤“将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为该目标车辆”具体可以包括：

计算第一图像和第二图像的相似度，得到全局特征相似度，对该全局特征相似度和对应的局部特征相似度进行加权运算，得到综合相似度，将综合相似度满足预设第二条件的待识别图像所对应的待识别车辆确定为该目标车辆。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，比如，以N为10为例，则可以将得到的多个综合相似度进行排序，然后，选择综合相似度较高的前10个待识别图像所对应的待识别车辆，作为目标车辆，等等，在此不作赘述。

由上可知，本实施例可以对采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以实现以图搜车的目的，解放人工成本，提高识别效率和准确率，而且，由于该方案在进行模型训练时可以将样本对合并为一张多通道图像，再通过预设孪生神经网络模型进行训练，因此，该模型的识别效率、准确性和稳定性也较高。

实施例二、

根据前面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该车辆识别装置具体集成在网络设备中为例进行说明。

(一)模型的训练。

譬如，首先，网络设备可以通过多个途径采集大量的车辆样本图像，该多张车辆样本图像可以包括多张不同车辆的图像，也包括同一车辆的不同图像(比如在不同地点、不同时间或不同角度对同一车辆拍摄所得到的图像)，该图像可以是车辆的整体图像，也可以是车辆局部区域的图像，若采集到的图像为车辆的整体图像，则可以通过裁剪来获取车辆局部区域的图像，比如可以从中提取出年检标志所在区域的局部图像(通常在前挡风玻璃的右上角)，等等。之后，网络设备可以对该多张车辆样本图像进行两两组合，以建立样本对，比如，可以将属于同一车辆的车辆样本图像作为正样本对，将属于不同车辆的车辆样本图像作为负样本对，然后，确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，并将得到的多通道图像添加至训练样本集中。

比如，参见图2a，若车辆样本图像A₁、车辆样本图像A₂和车辆样本图像A₃等为车辆A的不同图像，车辆样本图像B₁、……、以及车辆样本图像B_n为车辆B的不同图像，车辆样本图像C为车辆C的图像，且这些车辆样本图像均为3通道(颜色通道为RGB)的图像，则网络设备可以对这些车辆样本图像作出如下组合和合并：

将车辆样本图像A₁和车辆样本图像A₂进行组合，作为正样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像1，并将得到的多通道图像1添加至训练样本集中；

将车辆样本图像A₁和车辆样本图像A₃进行组合，作为正样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像2，并将得到的多通道图像2添加至训练样本集中；

将车辆样本图像A₁和车辆样本图像B₁进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像3，并将得到的多通道图像3添加至训练样本集中；

……

将车辆样本图像A₂和车辆样本图像B_n进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像n-1，并将得到的多通道图像n-1添加至训练样本集中；

将车辆样本图像A₂和车辆样本图像C进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像n，并将得到的多通道图像n添加至训练样本集中。

其次，在得到训练样本集后，网络设备便可以根据该训练样本集对预设孪生神经网络模型进行训练，得到训练后模型。

其中，该预设孪生神经网络模型可以包括上半分支网络和下半分支网络，该上半分支网络和下半分支网络可以采用结构相同的CNN，但不共享权重，也就是说，该孪生神经网络模型中包括两个CNN，其中，每个CNN可以包括四个卷积层和一个全连接层。为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu”，而padding方式均设置为“same”；可选的，为了进一步减少计算量，还可以在第二层卷积层和第三次卷积层中进行下采样操作，比如maxpooling。在进行maxpooling操作之后，可以通过全连接层对maxpooling操作后的输出进行映射，其中，在本实施例中，不管是上半分支网络还是下半分支网络，其全连接层的神经元数量均可以设置为512个(或均设置为128个，等等)，且均可以采用sigmoid作为激活函数。

此外，如图2b所示，该预设孪生神经网络模型除了可以包括上半分支网络和下半分支网络之外，还可以包括一个一维度的全连接层，用于将上半分支网络和下半分支网络的输出向量映射为一维的数据；其中，该一维度的全连接层的神经元数量为1，激活函数可以采用sigmoid。

在需要进行模型训练时，网络设备可以从该训练样本集中选择一张多通道图像(一张多通道图像对应一个样本对，即对应两张车辆样本图像)，作为当前训练样本；然后，如图2b所示，一方面，可以将该当前训练样本按照原有尺度大小导入预设孪生神经网络模型的上半分支网络，得到上半分支网络输出向量，另一方面，可以对当前训练样本进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的训练样本，然后，将该较小尺度的训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量；此后，可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，根据计算得到的曼哈顿距离进行一维度全连接运算(即全连接一个神经元)，并采用激活函数sigmoid对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值，获取该样本对的相似度真实值，并采用预设损失函数对该相似度真实值和相似度预测值进行收敛，以调整该孪生神经网络模型中的各个参数至合适数值，再然后，可以返回执行从该训练样本集中选择一张多通道图像作为当前训练样本的步骤，以对训练样本集中的其他多通道图像的相似度预测值进行计算和收敛，直至该训练样本集中的所有多通道图像均计算和收敛完毕，即可得到训练后模型。

其中，该损失函数J可以选为交叉熵，如下：

为输出的相似度预测值，y_k为相似度真实值。

需说明的是，实际训练时，该孪生卷积神经网络模型可以不进行预训练，直接正态分布初始化权重，由于层数较浅，收敛速度较快，比如，大约40个epoch后收敛，也就是说，本发明实施例所提供的该孪生神经网络模型不仅占用计算资源较少(轻量级)，而且识别速度快，效率较高。

此外，还需说明的是，为了保证该孪生神经网络模型识别的准确性，除了可以离线对该孪生神经网络模型进行训练之外，还可以定时采集新的车辆样本图像，以对训练样本集中的训练样本进行更新，并基于更新后训练样本集对该孪生神经网络模型进行更新，即使得该孪生神经网络模型可以不断进行学习。

(二)车辆识别。

如图2c所示，基于上述训练后模型，该车辆识别方法的具体流程可以如下：

201、网络设备获取包含目标车辆的第一图像。

例如，具体可以由用户通过对目标车辆进行拍摄或从其他图库进行提取等途径来获取该第一图像，并提供给该网络设备。

其中，如图2d所示，该第一图像可以为正对车头拍摄的图像。需说明的是，在本发明实施例中，该目标车辆主要指已确认车主身份的车辆，比如车牌显示正常的车辆。

202、网络设备获取候选集，然后执行步骤203；其中，该候选集可以包括多张包含待识别车辆的第二图像。

例如，具体可以通过对待识别车辆进行拍摄，或从街道和/或公路上安装的道路监控录像中提取多张待识别车辆的图像等途径来获取第二图像，其中，如图2d所示，该第二图像可以为正对车头拍摄的图像。

需说明的是，在本实施例中，该待识别车辆主要指需要与该目标车辆进行比对的车辆，比如是监控录像中未确认车主身份的车辆，如无车牌或车牌显示不正常的车辆等。

203、网络设备将候选集中的第二图像与第一图像进行匹配，对匹配度小于设定值的第二图像进行过滤，得到过滤后候选集，然后执行步骤204。

其中，匹配方式可以根据实际应用的需求进行设置，比如，可以从车辆内的挂饰、内饰、车辆正面、和/或车辆背面等信息进行比对，并将得到的相似度作为匹配度，即可以将明显不相似的第二图像过滤掉。其中，车辆内的挂饰和内饰等信息可以通过检测手段得到，而车辆的正面和车辆背面可以通过检测车辆关键点来得到，具体的检测方式可以有多种，在此不作赘述。

204、网络设备从该过滤后候选集中确定当前需要处理的第二图像。

205、网络设备计算第一图像和第二图像(即该当前需要处理的第二图像)的相似度，得到全局特征相似度。

其中，第一图像和第二图像的相似度方式可以有多种，比如，可以采用普通的卷积神经网络模型来计算其相似度，或者，也可以采用另一个孪生神经网络模型来计算其相似度，其中，该另一个孪生神经网络模型的训练方法与本发明实施例所提供的孪生神经网络模型类似，比如，可以采集大量的车辆整体图像作为车辆样本图像(通常为正对车头拍摄)，然后对该多张车辆样本图像进行两两组合，以建立样本对，比如将属于同一车辆的车辆样本图像作为正样本对，将属于不同车辆的车辆样本图像作为负样本对，再然后，利用该正样本对和负样本对预设孪生神经网络模型进行训练，得到训练后模型，之后，便可以将第一图像和第二图像作为一“图像对”(即图像组合，与样本对类似)，将该“图像对”输入至该训练后模型中，以计算该第一图像和第二图像的相似度。其中，该另一个孪生神经网络模型的训练方式与本发明实施例所提供的孪生神经网络模型(进行局部特征识别)类似，具体可详见前面的实施例，在此不再赘述。

以此类推，根据上述方式便可得到第一图像与其他第二图像的全局特征相似度。

206、网络设备从第一图像中提取出预设标志物所在区域的图像块，得到目标车辆的参照图像，以及从第二图像中提取出预设标志物所在区域的图像块，得到待识别车辆的待识别图像，然后执行步骤207。

其中，该预设标志物可以根据实际应用的需求而定，该预设标志物一般需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本实施例中，主要以该预设标志物具体为年检标志为例进行说明。

譬如，请参见图2e，该年检标志正面包括一个‘检’字，检字下面或上面显示有下一次检车的年份(如2010)，检字的周围是1-12的阿拉伯数字，其中一个会被打孔，打了孔的那个阿拉伯数字就代表下一次检车的月份(比如图2e中打孔的数字为4)，其一般位于车辆前挡风玻璃右上角，且由于80×80像素值(pixels)的尺寸足以覆盖一个完整的年检标志，故提取的图像块大小一般可以设置为不超过80*80pixels，当然，该提取区域的大小可以根据实际应用场景灵活进行调整，在此不作限定。

可选的，由于全局特征相似度越大，代表目标车辆与待识别车辆在外观上越相像，因此，为了减小局部特征匹配(也即年检标志匹配，即步骤207)的数据处理量，可以只选全局特征相似度最高的前M个第二图像进行年检标志图像提取，从而确保用于年检标志图像提取的第二图像中的待识别车辆与目标车辆外观大致相同，比如都属于同一车型、同一颜色、同一品牌等。其中，M为正整数，具体取值可以根据实际应用的需求而定。

其中，步骤205和206的执行可以不分先后。

207、网络设备根据该训练后模型(即由(一)模型训练部分所训练得到的孪生神经网络模型)计算该参照图像和待识别图像的相似度，得到局部特征相似度。例如，如图2f所示，该参照图像和待识别图像的相似度的计算方法具体可以如下：

首先，网络设备可以将该参照图像和待识别图像进行组合，作为一“图像对”，并将“图像对”中的该参照图像和待识别图像合并为一多通道图像，比如6通道的图像K。

其次，一方面，网络设备可以将该多通道图像如原有尺度大小的图像K输入该训练后模型的上半分支网络中进行计算，得到上半分支网络向量，另一方面，对该多通道图像进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的多通道图像，如较小尺度的图像K，然后，将该较小尺度的多通道图像如较小尺度的图像K导入该训练后模型的下半分支网络中进行计算，得到下半分支网络输出向量。

此后，网络设备可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，根据计算得到的曼哈顿距离进行一维度全连接运算(即全连接一个神经元)，并采用激活函数sigmoid对一维度全连接运算的结果进行计算，得到该“图像对”的相似度预测值，其中，该“图像对”的相似度预测值即为参照图像和待识别图像的局部特征相似度。

以此类推，根据上述方式便可得到参照图像与其他待识别图像的局部特征相似度。

208、网络设备对步骤205中所得到的全局特征相似度和步骤207中所得到的局部特征相似度进行加权运算，得到综合相似度。例如，用公式表示即可以如下：

sim＝(1-μ)sim_global+μsim_local；

其中，sim为综合相似度，sim_global为全局特征相似度，sim_local为局部特征相似度，μ为权重，μ在(0，1)范围内，μ的具体取值可以根据实际应用的需求而定，在此不再赘述。

209、网络设备将综合相似度满足预设第二条件的待识别图像所对应的待识别车辆确定为目标车辆。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，比如，以N为10为例，则可以将得到的多个综合相似度进行排序，然后，选择综合相似度较高的前10个待识别图像所对应的待识别车辆，作为目标车辆，以此类推，等等。

可选的，在步骤209确定了目标车辆之后，该网络设备还可以根据该确定的目标车辆所属的第二图像，来生成该确定的目标车辆的行驶路线，并提供给用户。

例如，该网络设备具体可以获取该确定的目标图像的拍摄时间和拍摄地点，并根据该拍摄时间和拍摄地点生成该确定的目标车辆的行驶路线，譬如，识别出M张目标图像，并且其拍摄地点按照拍摄时间从先到后的顺序依次为P1、P2…Pm，则路线制定过程中，必定是围绕P1-P2-…Pm这条路线，结合实际道路规划确定出的合理行驶路线图，之后向用户提供该行驶路线图，等等。

由上可知，本实施例可以对采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以实现以图搜车的目的，解放人工成本，提高识别效率和准确率，而且，由于该方案在进行模型训练时可以将样本对合并为一张多通道图像，再通过预设孪生神经网络模型进行训练，因此，该模型的识别效率、准确性和稳定性也较高，可以区分出同款车型相同颜色的不同车辆。

实施例三、

为了更好地实施以上方法，本发明实施例还提供一种车辆识别装置，该车辆识别装置具体可以集成在网络设备如终端或服务器等设备中，该终端可以包括手机、平板电脑、笔记本电脑或PC等设备。

例如，如图3a所示，该车辆识别装置可以包括采集单元301、组合单元302、合并单元303、训练单元304和识别单元305，如下：

(1)采集单元301；

采集单元301，用于获取多张车辆样本图像。

例如，采集单元301具体可以通过拍摄大量的车辆的图像、以及拍摄同一车辆的多张图像等途径来采集多张车辆样本图像；或者，采集单元301也可以通过在互联网上搜索或者从车辆图片数据库中来获取多张车辆样本图像，等等。

其中，该多张车辆样本图像包括多张不同车辆的图像，也包括同一车辆的不同图像，该图像可以是车辆的整体图像，也可以是车辆局部区域的图像，为了描述方便，在本发明实施例中，将均以车辆局部区域的图像为例进行说明。该局部区域可以是车上某个指定物体所在的区域，该指定物体需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等。

(2)组合单元302；

组合单元302，用于对该多张车辆样本图像进行两两组合，以建立样本对。

若该样本对包括正样本对和负样本对，则组合单元302，具体可以用于从该多张车辆样本图像中选择属于同一车辆的车辆样本图像，将该属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；从该多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将该不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

(3)合并单元303；

合并单元303，用于将每个样本对合并为一张多通道图像后，添加至训练样本集中。

例如，该合并单元303，具体可以用于确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

比如，若每个样本对中包括车辆样本图像A和B，其中，车辆样本图像A和B的颜色通道均为3通道，则合并单元303可以将车辆样本图像A和B合并为一张6通道的图像，然后，将该6通道的图像添加至训练样本集中。

(4)训练单元304；

训练单元304，用于根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型。

例如，如图3b所示，该训练单元304可以包括训练子单元3041和收敛子单元3042，如下:

该训练子单元3041，可以用于根据该训练样本集分别对预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到该训练样本集中每张多通道图像对应的样本对的相似度预测值。

该收敛子单元3042，可以用于获取每个样本对的相似度真实值，对该相似度真实值和相似度预测值进行收敛，得到训练后模型。

例如，收敛子单元3042，具体可以用于采用预设损失函数对该相似度真实值和相似度预测值进行收敛，得到训练后模型，该损失函数具体可参见前面的实施例，在此不作赘述。

其中，该对预设孪生神经网络模型可以根据实际应用的需求进行设定，比如，该预设孪生神经网络模型可以包括上半分支网络和下半分支网络，其中，上半分支网络和下半分支网络结构相同但不共享权重，该结构具体可参见前面的方法实施例，在此不再赘述。

其中，该训练子单元3041可以包括选择模块、卷积层模块和全连接层模块，如下：

该选择模块，可以用于从该训练样本集中选择一张多通道图像，作为当前训练样本；

该卷积层模块，可以用于将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量。

比如，该卷积层模块，具体可以用于将当前训练样本导入预设孪生神经网络模型的上半分支网络中进行训练，得到上半分支网络输出向量；对当前训练样本进行预设处理，将处理后当前训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量。

该连接层模块，可以用于对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值，触发该选择模块执行从该训练样本集中选择一张多通道图像，作为当前训练样本的操作，直至该训练样本集中的多通道图像均训练完毕。

比如，该连接层模块，具体可以用于计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算，采用预设激活函数对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值。

(5)识别单元305；

识别单元305，用于基于训练后模型对待识别图像进行车辆识别。

例如，如图3b所示，该识别单元305可以包括获取子单元3041、计算子单元3052和确定子单元3053，如下：

该获取子单元3051，可以用于获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像。

其中，该目标车辆主要指已确认车主身份的车辆，比如车牌显示正常的车辆，该待识别车辆主要指需要与该目标车辆进行比对的车辆，比如是未确认车主身份的车辆，如无车牌或车牌显示不正常的车辆等。目标车辆的参照图像指的是目标车辆的局部区域的图像，而待识别车辆的待识别图像指的是待识别车辆的局部区域的图像，即该获取子单元3051，具体可以用于：

获取包含目标车辆的第一图像、以及包含待识别车辆的至少一张第二图像，从第一图像中提取出预设标志物所在区域的图像块，得到目标车辆的参照图像；以及从第二图像中提取出预设标志物所在区域的图像块，得到待识别车辆的待识别图像。

可选的，为了减少后续的计算量，提高处理效率，在获取多张第二图像后，还可以对这些第二图像进行初步筛选，以过滤掉与目标车辆明显不一致的图像，即：

获取子单元3051，具体可以用于获取候选集，该候选集包括包含待识别车辆的至少一张第二图像，将候选集中的第二图像与第一图像进行匹配，对匹配度小于设定值的第二图像进行过滤，得到过滤后候选集，从该过滤后候选集中获取包含待识别车辆的至少一张第二图像。

该计算子单元3052，可以用于根据该训练后模型计算该参照图像和待识别图像的相似度，得到局部特征相似度。

比如，计算子单元3052，具体可以用于将参照图像和待识别图像进行组合，得到图像对(即作为一图像集合，与样本对类似)，将该图像对合并为一多通道图像，将该多通道图像导入该训练后模型的上半分支网络中进行计算，得到上半分支网络向量，以及将该多通道图像进行预设处理，比如进行剪裁、下采样和/或旋转等操作，得到处理后多通道图像，将该处理后多通道图像导入该训练后模型的下半分支网络中进行计算，得到下半分支网络输出向量；对该上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，以得到该图像对的相似度预测值，其中，该图像对的相似度预测值即为参照图像和待识别图像的局部特征相似度。

该确定子单元3053，可以用于将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为该目标车辆。

其中，该预设第一条件可以根据实际应用的需求进行设置，例如，可以直接将局部特征相似度大于指定值的待识别图像所对应的待识别车辆确定为该目标车辆；或者，也可以结合目标车辆和待识别车辆全局比较后的结果，综合考虑后来确定目标车辆，即：

该确定子单元3053，具体可以用于计算第一图像和第二图像的相似度，得到全局特征相似度，对该全局特征相似度和对应的局部特征相似度进行加权运算，得到综合相似度，将综合相似度满足预设第二条件的待识别图像所对应的待识别车辆确定为该目标车辆。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，在此不作赘述。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的车辆识别装置的组合单元302可以对采集单元301采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，由合并单元303将每个样本对合并为一张多通道图像后，添加至训练样本集中，并由训练单元304根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以由识别单元305基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以实现以图搜车的目的，解放人工成本，提高识别效率和准确率，而且，由于该方案在进行模型训练时可以将样本对合并为一张多通道图像，再通过预设孪生神经网络模型进行训练，因此，该模型的识别效率、准确性和稳定性也较高。

实施例四、

本发明实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备。如图4所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

采集多张车辆样本图像，对该多张车辆样本图像进行两两组合，以建立样本对，将每个样本对合并为一张多通道图像后，添加至训练样本集中，根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，基于训练后模型对待识别图像进行车辆识别。

例如，具体可以根据该训练样本集分别对预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到该训练样本集中每张多通道图像对应的样本对的相似度预测值，获取每个样本对的相似度真实值，对该相似度真实值和相似度预测值进行收敛，得到训练后模型。

其中，该预设孪生神经网络模型的结构具体可以参见前面的实施例，在此不再赘述。

在得到训练后模型后，便可以获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像，根据该训练后模型计算该参照图像和待识别图像的相似度，得到局部特征相似度，将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为该目标车辆，比如，可以计算第一图像和第二图像的相似度，得到全局特征相似度，对该全局特征相似度和对应的局部特征相似度进行加权运算，得到综合相似度，将综合相似度满足预设第二条件的待识别图像所对应的待识别车辆确定为该目标车辆。

其中，参照图像从第一图像中提取所得到，待识别图像从第二图像提取所得到。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的网络设备可以对采集到的多张车辆样本图像进行两两组合，以建立样本对，然后，将每个样本对合并为一张多通道图像后，添加至训练样本集中，并根据训练样本集对预设孪生神经网络模型进行训练，得到训练后模型，此后，在需要进行车辆识别时，便可以基于该训练后模型对待识别图像进行识别，比如从海量图片中识别出目标车辆，等等；由于该方案可以通过建立模型来识别车辆，因此，相对于现有只能人眼或简单匹配的方案而言，可以实现以图搜车的目的，解放人工成本，提高识别效率和准确率，而且，由于该方案在进行模型训练时可以将样本对合并为一张多通道图像，再通过预设孪生神经网络模型进行训练，因此，该模型的识别效率、准确性和稳定性也较高。

实施例五、

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种车辆识别方法中的步骤。例如，该指令可以执行如下步骤：

其中，该预设孪生神经网络模型的结构、以及利用该训练后模型进行车辆识别等操作的具体实施可以参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种车辆识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种车辆识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种车辆识别方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种车辆识别方法，其特征在于，包括：

采集多张车辆样本图像；

对所述多张车辆样本图像进行两两组合，以建立样本对；

确定每个样本对中的车辆样本图像的颜色通道；

将所述颜色通道进行相加，得到每个样本对对应的一张多通道图像；

将得到的多通道图像添加至训练样本集中；

从所述训练样本集中选择一张多通道图像，作为当前训练样本；

将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；其中上半分支网络和下半分支网络结构相同但不共享权重；所述上半分支网络包括卷积核大小依次减小的多个卷积层和一个一维度全连接层；

对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值；其中上半分支网络处理原尺度的训练样本，下半分支网络处理较小尺度的训练样本，从而计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据所述曼哈顿距离进行一维全连接运算；

返回执行从所述训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至所述训练样本集中的多通道图像均训练完毕；

获取每个样本对的相似度真实值，对所述相似度真实值和相似度预测值进行收敛，得到训练后模型；

基于训练后模型对待识别图像进行车辆识别；

其中所述将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量，包括：

对当前训练样本进行预设处理，将处理后当前训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量；

其中对当前训练样本进行预设处理为对当前训练样本进行剪裁、下采样和/或旋转操作，以得到一个数据增强的较小尺度的当前训练样本。

2.根据权利要求1所述的方法，其特征在于，所述对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述相似度真实值和相似度预测值进行收敛，得到训练后模型，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述样本对包括正样本对和负样本对，所述对所述多张车辆样本图像进行两两组合，以建立样本对，包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，所述基于训练后模型对待识别图像进行车辆识别，包括：

获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像；

根据所述训练后模型计算所述参照图像和待识别图像的相似度，得到局部特征相似度；

将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为所述目标车辆。

6.根据权利要求5所述的方法，其特征在于，所述获取目标车辆的参照图像，以及至少一张待识别车辆的待识别图像，包括：

7.根据权利要求6所述的方法，其特征在于，获取包含待识别车辆的至少一张第二图像，包括：

将候选集中的第二图像与第一图像进行匹配；

8.根据权利要求6所述的方法，其特征在于，所述将局部特征相似度满足预设第一条件的待识别图像所对应的待识别车辆确定为所述目标车辆，包括：

计算第一图像和第二图像的相似度，得到全局特征相似度；

将综合相似度满足第二条件的待识别图像所对应的待识别车辆确定为所述目标车辆。

9.一种车辆识别装置，其特征在于，包括采集单元、组合单元、合并单元、训练单元和识别单元，所述训练单元包括训练子单元和收敛子单元；

采集单元，用于获取多张车辆样本图像，

合并单元，用于确定每个样本对中的车辆样本图像的颜色通道，将所述颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中；

训练单元，用于从所述训练样本集中选择一张多通道图像，作为当前训练样本；将当前训练样本分别导入预设孪生神经网络模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；其中上半分支网络和下半分支网络结构相同但不共享权重；所述上半分支网络包括卷积核大小依次减小的多个卷积层和一个一维度全连接层；对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值；其中上半分支网络处理原尺度的训练样本，下半分支网络处理较小尺度的训练样本，从而计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据所述曼哈顿距离进行一维全连接运算；返回执行从所述训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至所述训练样本集中的多通道图像均训练完毕；

收敛子单元，用于获取每个样本对的相似度真实值，对所述相似度真实值和相似度预测值进行收敛，得到训练后模型；

识别单元，用于基于训练后模型对待识别图像进行车辆识别；

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的车辆识别方法中的步骤。