CN111860499A - 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 - Google Patents

Abstract

本发明涉及图像细粒度分类技术领域，具体涉及一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，具体包括以下步骤：步骤1：利用目标检测模型SSD对原始数据集进行目标识别，裁剪出原始图像中包含车辆的区域；步骤2：对步骤1得到的裁剪图像进行数据扩充，让数据集达到特征分组的双线性卷积模型训练的要求；步骤3：利用扩充后的数据集对基于特征分组的双线性卷积模型进行训练；步骤4：基于特征分组的双线性卷积网络对输入图像进行汽车品牌识别；解决了传统车辆识别方法容易被复杂背景干扰以及识别模型参数量过多不易部署的问题；结合使用了目标检测模型来对目标区域进行提取，剔除了大部分的背景信息，减少了模型的识别难度。

Description

一种基于特征分组的双线性卷积神经网络的汽车品牌识别 方法

技术领域

本发明涉及图像细粒度分类技术领域，用于解决传统车辆识别方法容易被复杂背景干扰以及识别模型参数量过多不易部署的问题，具体涉及一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法。

背景技术

汽车品牌识别技术主要是通过对输入图像的一系列处理工作，然后在图像中找出汽车所在的具体区域，然后对汽车进行品牌识别，在当今的日常生产生活中，汽车品牌识别技术在城市智能交通、互联网图像检索领域都有着巨大的应用前景。

原始的双线性卷积神经网络采用双线性的机制，使用两路卷积网络分别去提取图像中物体的特征，其大体思想是两路卷积分别取提取不同的特征，利用外积操作来获得高维度的细粒度特征，最后利用Sonmax或者SVM(Support Vector Machine)等分类器对提取特征进行分类。

目前细粒度分类技术相比于普通图像分类任务还存在很多难点，尤其是在复杂背景的应用场景下，待识别目标很容易被背景信息所干扰，会导致模型识别难度的提升；其次，目前的细粒度分类模型通常参数量比较多，需要设备具有大的显存或内存，不利于在应用场景中进行高效部署。

发明内容

本发明的目的在于：解决传统车辆识别方法容易被复杂背景干扰以及识别模型参数量过多不易部署的问题，提供一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，结合使用了目标检测模型来对目标区域进行提取，剔除了大部分的背景信息，减少了模型的识别难度；对原始双线性卷积神经网络进行了改进，首先使用了目标检测模型SSD对图像先进行目标提取；其次对双线性模型结构也进行了改进，利用特征分组模块大幅地降低了模型整体的参数量，让模型在实际场景下部署更容易；实现复杂背景下对车辆的识别。

本发明采用的技术方案如下：

一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，具体包括以下步骤：

步骤1：利用目标检测模型SSD对原始数据集进行目标识别，裁剪出原始图像中包含车辆的区域；

步骤2：对步骤1得到的裁剪图像进行数据扩充，让数据集达到特征分组的双线性卷积模型训练的要求；

步骤3：利用扩充后的数据集对基于特征分组的双线性卷积模型进行训练；

步骤4：基于特征分组的双线性卷积网络对输入图像进行汽车品牌识别。

进一步的，步骤1的具体方法如下：

步骤1-1：对收集的数据进行手工标注，构建汽车品牌原始数据集；

步骤1-2：利用目标检测模型SSD对原始图像进行目标检测，提取出图像中包含汽车的区域作为新的图像数据。

进一步的，步骤2的具体方法如下：

步骤2-1：将步骤1-2中获得的每张裁剪后的图片进行旋转、随机裁剪、翻转、仿射变换操作，将得到的图像并入步骤1-2的原始数据集中，得到最终扩充的数据集；

步骤2-2：将步骤2-1中得到的图像进行尺寸缩放，把全部图像的尺寸都固定为448*448。

进一步的，步骤3的具体方法如下：

步骤3-1：构建双线性卷积神经模型，获取到两路卷积特征图；

步骤3-2：加入特征分组模块，将步骤3-1得到的每一路特征图都分为类别数组，两路特征图进行组内外积操作，让双线性卷积模型的参数量大大降低；

步骤3-3：使用全局最大池化层去替换全连接层，有效地减少双线性卷积模型的参数量；

步骤3-4：将步骤2-2得到的训练数据集输入到步骤3-2得到的模型中进行训练；

步骤3-5：模型充分训练后得到基于特征分组的双线性模型的权值文件。

进一步的，所述步骤3-1中双线性卷积神经网络模型中两路卷积模型都选取Resnct-34网络模型。

进一步的，步骤4的具体方法如下：

步骤4-1：利用训练好的目标检测模型SSD对输入图像进行车辆检测，得到包含汽车的图像区域；

步骤4-2：将得到的裁剪图像缩放到448*448的尺寸；

步骤4-3：将步骤3-5训练好的权值文件载入到基于特征分组的双线性卷积神经网络中；

步骤4-4：将步骤4-2得到的图像输入到步骤4-3的模型中进行识别，最后通过Softmax分类器对图像进行分类；

步骤4-5：模型输出图像所对应的品牌分类。

综上所述，本发明相较于现有技术的有益效果是：

(1)本发明中，利用了目标检测模型对图像进行了目标定位，减少了复杂背景的干扰，很大程度上提高了车辆品牌识别的精度；

(2)本发明中，利用随机裁剪、水平翻转、旋转、仿射变换对图像进行数据扩充，一定程度上缓解了模型过拟合的问题，提高了模型预测精度；

(3)本发明中，采用的基于特征分组的双线性卷积神经网络的车型识别方法，与传统的双线性卷积网络方法相比，提出的基于特征分组改进方案能够有效地减少原始双线性卷积神经网络的参数量，提高模型的运行效率；

(4)本发明中，双线性卷积神经网络模型Resnet-34作为特征提取器，替换原始的Vgg-16模型。将识别精确度提高了1％；

(5)本发明中，使用全局最大池化层去替换原始模型中的全连接层，将模型的参数量进一步的减少。

附图说明

图1为本发明方法流程图；

图2为本发明步骤1方法效果图；

图3为本发明步骤2方法效果图；

图4为本发明步骤3方法结果图；

图5为本发明实施例识别与检测效果图；

图6为本发明步骤4方法结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图1-6及实施例1对本发明作进一步说明。

实施例1：

一种基于特征分组的双线性卷积神经网络模型的汽车品牌识别方法，对图片中的汽车进行检测与品牌识别，参照图1，步骤如下：

步骤1：进行原始数据集扩充，得到规模达到进行区域卷积神经网络模型训练要求的扩充的数据集，具体为：

步骤1-1：对收集的数据进行手工标注，构建汽车品牌原始数据集，构建的数据集包括奥迪、奔驰、大众等110个不同品牌的汽车图像，取名为CarBrand-110；

步骤1-2：利用目标检测模型SSD对原始图像进行目标检测，提取出图像中包含汽车的区域作为新的图像数据；为了让基于特征分组的双线性卷积神经网络能够学习到一些背景信息，对目标检测区域进行图像裁剪时，会将目标检测模型得到的目标框向外扩展30个像素点的距离，裁剪后的效果图如附图2所示。

步骤2：对步骤1得到的裁剪图像进行数据扩充，让数据集达到特征分组的双线性卷积模型训练的要求，具体为：

步骤2-1：将步骤1-2中获得的每张裁剪后的图片进行旋转、随机裁剪、翻转、仿射变换操作，每个操作都对图像进行2次变换，最终可以得到8倍于原始数据集的扩充数据集。将得到的图像并入步骤12的原始数据集中，得到最终扩充的数据集；

步骤2-2：将步骤2-1中得到的图像进行尺寸缩放，把全部图像的尺寸都固定为448*448，且对图像像素值进行归一化处理，方便后续把图像输入到基于特征分组的双线性卷积神经网络中，数据扩充效果如图3所示；

步骤3：利用扩充后的数据集对基于特征分组的双线性卷积模型进行训练，流程图如图4所示，具体为：

步骤3-1：构建双线性卷积神经模型，特征提取器使用Resnet-34，能够分别获取到两路卷积特征图；

步骤3-2：加入特征分组模块，将步骤3-1得到的每一路特征图都分为类别数组，两路特征图进行组内外积操作，让双线性卷积模型的参数量大大降低；

步骤3-3：使用全局最大池化层去替换全连接层，有效地减少双线性卷积模型的参数量，结构如图5所示；

步骤3-4：将步骤2-2得到的训练数据集输入到步骤3-2得到的模型中进行训练；

步骤35：模型充分训练后得到基于特征分组的双线性模型的权值文件；

步骤4：利用扩充后的数据集对基于特征分组的双线性卷积模型进行训练，流程图如图6所示，具体为：

步骤4-1：利用训练好的目标检测模型SSD对输入图像进行车辆检测，得到包含汽车的图像区域；为了让基于特征分组的双线性卷积神经网络能够学习到一些有用的背景信息，对目标检测区域进行图像裁剪时，会将目标检测模型得到的目标框向外扩展30个像素点的距离；

步骤4-2：将得到的裁剪图像缩放到448*448的尺寸，且对图像像素值进行归一化处理，方便后续把图像输入到基于特征分组的双线性卷积神经网络中；

步骤4-3：将步骤3-4训练好的权值文件载入到基于特征分组的双线性卷积神经网络中；

步骤4-4：将步骤4-2得到的图像输入到步骤4-3的模型中进行识别，最后通过Softmax分类器对图像进行分类；

步骤4-5：模型输出图像所对应的品牌分类。

实施例1的识别与检测效果如图5所示。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (6)

1.一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于，具体包括以下步骤：

步骤1：利用目标检测模型SSD对原始数据集进行目标识别，裁剪出原始图像中包含车辆的区域；

步骤2：对步骤1得到的裁剪图像进行数据扩充，让数据集达到特征分组的双线性卷积模型训练的要求；

步骤3：利用扩充后的数据集对基于特征分组的双线性卷积模型进行训练；

步骤4：基于特征分组的双线性卷积网络对输入图像进行汽车品牌识别。

2.根据权利要求1所述的一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于，步骤1的具体方法如下：

步骤1-1：对收集的数据进行手工标注，构建汽车品牌原始数据集；

步骤1-2：利用目标检测模型SSD对原始图像进行目标检测，提取出图像中包含汽车的区域作为新的图像数据。

3.根据权利要求1所述的一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于，步骤2的具体方法如下：

步骤2-1：将步骤1-2中获得的每张裁剪后的图片进行旋转、随机裁剪、翻转、仿射变换操作，将得到的图像并入步骤1-2的原始数据集中，得到最终扩充的数据集；

步骤2-2：将步骤2-1中得到的图像进行尺寸缩放，把全部图像的尺寸都固定为448*448。

4.根据权利要求1所述的一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于，步骤3的具体方法如下：

步骤3-1：构建双线性卷积神经模型，获取到两路卷积特征图；

步骤3-2：加入特征分组模块，将步骤3-1得到的每一路特征图都分为类别数组，两路特征图进行组内外积操作，让双线性卷积模型的参数量大大降低；

步骤3-3：使用全局最大池化层去替换全连接层，有效地减少双线性卷积模型的参数量；

步骤3-4：将步骤2-2得到的训练数据集输入到步骤3-2得到的模型中进行训练；

步骤3-5：模型充分训练后得到基于特征分组的双线性模型的权值文件。

5.根据权利要求4所述的一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于：所述步骤3-1中双线性卷积神经网络模型中两路卷积模型都选取Resnet-34网络模型。

6.根据权利要求1所述的一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法，其特征在于，步骤4的具体方法如下：

步骤4-1：利用训练好的目标检测模型SSD对输入图像进行车辆检测，得到包含汽车的图像区域；

步骤4-2：将得到的裁剪图像缩放到448*448的尺寸；

步骤4-3：将步骤3-5训练好的权值文件载入到基于特征分组的双线性卷积神经网络中；

步骤4-4：将步骤4-2得到的图像输入到步骤4-3的模型中进行识别，最后通过Softmax分类器对图像进行分类；

步骤4-5：模型输出图像所对应的品牌分类。

Images