CN111985547A - 一种基于注意力引导生成学习的跨分辨率车辆再辨识方法 - Google Patents

Abstract

本发明涉及一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，方法包括：构建基于生成学习的车辆图像超分辨率网络，注意力引导机制，端到端的车辆图像超分辨率模型和再辨识模型联合机制，联合损失函数，从而实现高效跨分辨率车辆再辨识。本发明特别考虑了车辆再辨识中跨分辨率车辆图像识别精度不高的问题，即在实际情况中捕捉到的查询图像往往是低分辨率图像，无法准确匹配到查询库中高分辨率候选图像，本发明能够有效提高跨分辨率车辆再辨识的精度。

Description

一种基于注意力引导生成学习的跨分辨率车辆再辨识方法

技术领域

本发明涉及计算机视觉和模式识别领域，尤其涉及一种基于注意力引导生成学习的跨分辨率车辆再辨识方法。

背景技术

车辆再辨识旨在于匹配由不同摄像机捕获的相同车辆图像，具有非常重要的实际应用价值。车辆再辨识应用场景非常广泛，例如车辆追踪、车辆定位、罪犯检测等，是智能监控系统中的重要组成部分。

在光照变化、视点变化、遮挡、分辨率变化等诸多因素中，分辨率变化(即由不同距离的摄像机采集到的车辆图像分辨率不同)是车辆再辨识中具有挑战性的因素。特别地，在实际情况中普遍存在跨分辨率车辆图像查询的情况，即低分辨率的查询图像难以准确匹配到候选库中的高分辨率图像的问题。现有车辆再辨识方法对于上述实际情况中跨分辨率查询车辆图像存在识别精度较差的问题。因此，跨分辨率车辆再辨识越来越受到学术界和工业界的广泛关注，成为计算机视觉领域的研究热点。

发明内容

本发明针对跨分辨率车辆再辨识难以准确识别的问题，提出一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，构建基于生成学习的车辆图像超分辨率网络，注意力引导机制，端到端的车辆图像超分辨率模型和再辨识模型联合机制，提出联合损失函数，有效地提高了车辆再辨识的跨分辨率识别精度。

本发明解其技术问题所采用的技术方案是：

一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，包括训练过程和再辨识过程，步骤如下：

训练过程S1：将低分辨率的车辆图像输入到跨分辨率再辨识模型中训练，直至模型收敛，从而获得网络模型SCM；

再辨识过程S2：将待查询图像输入到S1中训练得到网络模型SCM得到其特征向量，并与候选库中每个车辆图像的特征向量计算得到待查询车辆图像与候选库中车辆图像的相似度，根据相似度的大小进行车辆ID预测，并输出识别结果。

优选的，训练过程S1的步骤如下：

步骤S11)：将低分辨率图像输入到超分辨率网络的生成器中进行放大，得到虚假图像；

步骤S12)：将S11)中得到的虚假图像输送给判别器进行训练，使判别器在训练的过程中趋于收敛并具有区分真实图像和和虚假图像的能力；

步骤S13)：对S12)中训练好的判别器进行固定，开始训练生成器，使生成器生成的超分辨率图像越来越接近真实图像并具有骗过判别器的能力；

步骤S14)：对S13)中生成的超分辨率图像输送到再辨识模块，并输出特征向量和注意力权重图AM；

步骤S15)：对S14)中得到的注意力权重图AM与超分辨率图像和高分辨率图像分别进行乘积，获取高分辨率图像的注意力区域和超分辨率图像的注意力区域；

步骤S16)：对S15)中得到的注意力区域，利用判别器分别提取高分辨率图像的注意力区域和超分辨率图像的注意力区域的特征，并计算引导损失，使得高分辨率图像的注意力区域和超分辨率图像的注意力区域的特征距离趋近于0，从而引导超分辨率模块关注图像的注意力区域；

步骤S17)：将步骤S14)、步骤S16)中分别得到的特征向量和注意力区域送入距离度量学习模块和基础分类模块中，计算出距离度量损失和基础分类损失，将所述距离度量损失、基础分类损失和引导损失进行加权平均得到联合损失，采用误差反向传播算法来训练跨分辨率车辆图像再辨识网络模型；

步骤S18)：重复步骤S11)至步骤S17)，直到上述跨分辨率车辆图像再辨识网络模型收敛。

优选的，步骤S11)中，超分辨率网络由生成器和判别器组成，生成器和判别器的网络结构采用SRGAN的布局，生成器和判别器在训练过程中相互博弈，最终达到均衡点，使得生成模型和判别模型相互收敛。

优选的，步骤S12)中先训练好判别器，判别器的输入为生成器生成的图像和原始图像，其中原始图像是尺寸大小为3×256×256的高分辨率图像。

优选的，步骤S13)中生成器生成的图像为类似真实图像的超分辨率图像，尺寸大小为3×256×256。

优选的，步骤S14)中再辨识模块为Resnet-50网络。

优选的，步骤S14)中注意力权重图AM由再辨识模块中的深层特征通过多个反卷积操作得到的3×256×256图像，并通过平均池化、Sigmoid激活函数对特征通道之间的相互依赖性自适应地重新缩放每个通道的特征。

优选的，步骤S16)中引导损失的公式为：

其中，D为训练好的判别器，可用于提取图像特征，I_HR为原始图像，I_SR为生成的超分辨率图像，AM为注意力权重图，该损失的目标是使两者的注意力区域上的特征距离趋近于0。

优选的，步骤S17)中，距离度量学习的公式为：

其中，[x]₊＝max(x,0)，I_a,i为训练集同一个批次中随机选取的一个样本，I_p,i为与I_a,i属于同一类的样本，I_n,i为与I_a,i不同类的样本，α为一个常量，表示正负样本对之间最小的差值，M表示正/负样本组的个数，该损失函数的目标是确保负样本对f(I_a,i)和f(I_n,i)之间的特征距离大于正样本对f(I_a,i)和f(I_p,i)之间的距离。

优选的，步骤S17)中，基础分类模块的公式为：

其中，1(·)是示性函数，y_k∈{1,2,3,...,C}是车辆图像x_k对应的ID，K和C分别代表训练样本和ID的数量，H＝[H₁,H₂,...,H_C]为预测车辆ID的映射矩阵。

优选的，步骤S16)中，所述联合损失为：

Loss＝L_Triplet+L_{Soft max}+λ·L_guided

其中，λ是调整注意力引导损失权重的参数，值为0.1。

优选的，再识别过程S2的步骤如下：

步骤S21)：将待查询图像输入到S1中训练得到网络模型SCM得到其特征向量；

步骤S22)：通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度；

步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果。

本发明的有益效果如下：

本发明构建了一种基于注意力引导生成学习的跨分辨率车辆再辨识网络，通过基于生成学习的车辆图像超分辨率网络，设计注意力引导机制，联合超分辨率网络和再辨识网络对跨分辨率网络模型进行优化，使得训练得到的跨分辨率车辆再辨识模型具有较高精度的车辆再辨识能力，特别是对于分辨率较低甚至可视性极差的车辆图像；在再辨识过程中利用基于注意力引导生成学习方法训练得到的跨分辨率网络模型对待查询超分辨率车辆图像和候选库中的车辆图像进行特征提取以及欧氏距离计算，从而获取待查询车辆与候选库中的车辆图像之间的相似度，实现跨分辨率车辆再辨识。该方法可以被广泛应用于智能监控场景，例如车辆定位、车辆轨迹预测、车辆追踪等。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种标签引导的跨模态深度哈希网络不局限于实施例。

附图说明

图1是本发明方法的流程框图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

参见图1所示，本发明一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，基于注意力引导超分辨率引导图像生成的跨分辨率车辆再辨识模型，该模型包含特征提取和距离度量学习模块，该方法包括训练过程和再辨识过程，具体步骤如下：

训练过程S1的步骤如下：

步骤S11)：将低分辨率图像输入到超分辨率网络的生成器中进行放大，得到虚假图像。

步骤S12)：将S11)中得到的虚假图像输送给判别器进行训练，使判别器在训练的过程中趋于收敛并具有区分真实图像和和虚假图像的能力。

步骤S13)：对S12)中训练好的判别器进行固定，开始训练生成器，使生成器生成的超分辨率图像越来越接近真实图像并具有骗过判别器的能力。

步骤S14)：对S13)中生成的超分辨率图像输送到再辨识模块，并输出特征向量和注意力权重图AM。

步骤S15)：对S14)中得到的注意力权重图AM与超分辨率图像和高分辨率图像分别进行乘积，获取高分辨率图像的注意力区域和超分辨率图像的注意力区域；

步骤S16)：对S15)中得到的注意力区域，利用判别器分别提取高分辨率图像的注意力区域和超分辨率图像的注意力区域的特征，并计算引导损失，使得两者的特征距离趋近于0，从而引导超分辨率模块关注图像的注意力区域。

步骤S17)：将S14)中将得到的特征向量分别送入距离度量学习模块和基础分类模块中，计算出距离度量损失和基础分类损失，将所述距离度量损失、基础分类损失和引导损失进行加权平均得到联合损失，采用误差反向传播算法来训练跨分辨率车辆图像再辨识网络模型。

步骤S18)：重复步骤S11)至步骤S17)，直到上述跨分辨率车辆图像再辨识网络模型收敛。

进一步的，步骤S11)中超分辨率网络采用了生成对抗的思想，该网络由生成器和判别器组成，生成器和判别器的网络结构采用SRGAN的布局，生成器和判别器在训练过程中相互博弈，最终达到均衡点，使得生成模型和判别模型相互收敛。

进一步的，步骤S12)中先训练好判别器，判别器的输入为生成器生成的图像和原始图像，其中原始图像是尺寸大小为3×256×256尺寸大小的高分辨率图像。

进一步的，步骤S13)中生成器生成的图像为类似真实图像的超分辨率图像，尺寸大小为3×256×256。

进一步的，步骤S14)中再辨识模块为Resnet-50网络。

进一步的，步骤S15)中注意力权重图AM由再辨识模块中的深层特征通过多个反卷积操作得到的3×256×256图像，并通过平均池化、Sigmoid激活函数对特征通道之间的相互依赖性自适应地重新缩放每个通道的特征。

进一步的，步骤S16)中引导损失的公式为：

其中，D为训练好的判别器，可用于提取图像特征，I_HR为原始图像，I_SR为生成的超分辨率图像，AM为注意力权重图，该损失的目标是使两者的注意力区域上的特征距离趋近于0。

进一步的，步骤S17)中，距离度量学习的公式为：

其中，[x]₊＝max(x,0)，I_a,i为训练集同一个批次中随机选取的一个样本，I_p,i为与I_a,i属于同一类的样本，I_n,i为与I_a,i不同类的样本，α为一个常量，表示正负样本对之间最小的差值，M表示正/负样本组的个数。该损失函数的目标是确保负样本对f(I_a,i)和f(I_n,i)之间的特征距离大于正样本对f(I_a,i)和f(I_p,i)之间的距离。

进一步的，步骤S17)中，基础分类模块的公式为：

其中，1(·)是示性函数，y_k∈{1,2,3,...,C}是车辆图像x_k对应的ID，K和C分别代表训练样本和ID的数量，H＝[H₁,H₂,...,H_C]为预测车辆ID的映射矩阵。

进一步的，步骤S16)中，所述损失值为：

Loss＝L_Triplet+L_{Soft max}+λ·L_guided

其中，λ是调整注意力引导损失权重的参数，值为0.1。

再辨识过程S2的步骤如下：

步骤S21)：如图1所示，利用S1中训练得到的网络模型SCM，提取待查询车辆图像的特征向量，记为特征向量Q；提取候选库中每个图像相应的特征，记为特征向量1，特征向量2，…，特征向量N。

步骤S22)：计算待查询车辆图像的特征向量与候选库中每个车辆图像的特征向量之间的欧氏距离，欧氏距离越小表示两张图像的相似度越大，从而获取到待查询车辆图像与候选库中每个车辆图像的相似度关系。

步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果，根据车辆查询的最优指标，若输出结果排序第一的图像与待查询图像具有相同的车辆ID，则说明本次查询成功，否则，查询失败。

以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (12)

1.一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，包括训练过程和再辨识过程，步骤如下：

训练过程S1：将低分辨率的车辆图像输入到跨分辨率再辨识模型中训练，直至模型收敛，从而获得网络模型SCM；

再辨识过程S2：将待查询图像输入到S1中训练得到网络模型SCM得到其特征向量，并与候选库中每个车辆图像的特征向量计算得到待查询车辆图像与候选库中车辆图像的相似度，根据相似度的大小进行车辆ID预测，并输出识别结果。

2.根据权利要求1所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，训练过程S1的步骤如下：

步骤S11)：将低分辨率图像输入到超分辨率网络的生成器中进行放大，得到虚假图像；

步骤S12)：将S11)中得到的虚假图像输送给判别器进行训练，使判别器在训练的过程中趋于收敛并具有区分真实图像和和虚假图像的能力；

步骤S13)：对S12)中训练好的判别器进行固定，开始训练生成器，使生成器生成的超分辨率图像越来越接近真实图像并具有骗过判别器的能力；

步骤S14)：对S13)中生成的超分辨率图像输送到再辨识模块，并输出特征向量和注意力权重图AM；

步骤S15)：对S14)中得到的注意力权重图AM与超分辨率图像和高分辨率图像分别进行乘积，获取高分辨率图像的注意力区域和超分辨率图像的注意力区域；

步骤S16)：对S15)中得到的注意力区域，利用判别器分别提取高分辨率图像的注意力区域和超分辨率图像的注意力区域的特征，并计算引导损失，使得高分辨率图像的注意力区域和超分辨率图像的注意力区域的特征距离趋近于0，从而引导超分辨率模块关注图像的注意力区域；

步骤S17)：将步骤S14)、步骤S16)中分别得到的特征向量和注意力区域送入距离度量学习模块和基础分类模块中，计算出距离度量损失和基础分类损失，将所述距离度量损失、基础分类损失和引导损失进行加权平均得到联合损失，采用误差反向传播算法来训练跨分辨率车辆图像再辨识网络模型；

步骤S18)：重复步骤S11)至步骤S17)，直到上述跨分辨率车辆图像再辨识网络模型收敛。

3.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S11)中，超分辨率网络由生成器和判别器组成，生成器和判别器的网络结构采用SRGAN的布局，生成器和判别器在训练过程中相互博弈，最终达到均衡点，使得生成模型和判别模型相互收敛。

4.根据权利要求3所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S12)中先训练好判别器，判别器的输入为生成器生成的图像和原始图像，其中原始图像是尺寸大小为3×256×256的高分辨率图像。

5.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S13)中生成器生成的图像为类似真实图像的超分辨率图像，尺寸大小为3×256×256。

6.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S14)中再辨识模块为Resnet-50网络。

7.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S14)中注意力权重图AM由再辨识模块中的深层特征通过多个反卷积操作得到的3×256×256图像，并通过平均池化、Sigmoid激活函数对特征通道之间的相互依赖性自适应地重新缩放每个通道的特征。

8.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S16)中引导损失的公式为：

其中，D为训练好的判别器，可用于提取图像特征，I_HR为原始图像，I_SR为生成的超分辨率图像，AM为注意力权重图，该损失的目标是使两者的注意力区域上的特征距离趋近于0。

9.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S17)中，距离度量学习的公式为：

其中，[x]₊＝max(x,0)，I_a,i为训练集同一个批次中随机选取的一个样本，I_p,i为与I_a,i属于同一类的样本，I_n,i为与I_a,i不同类的样本，α为一个常量，表示正负样本对之间最小的差值，M表示正/负样本组的个数，该损失函数的目标是确保负样本对f(I_a,i)和f(I_n,i)之间的特征距离大于正样本对f(I_a,i)和f(I_p,i)之间的距离。

10.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S17)中，基础分类模块的公式为：

其中，1(·)是示性函数，y_k∈{1,2,3,...,C}是车辆图像x_k对应的ID，K和C分别代表训练样本和ID的数量，H＝[H₁,H₂,...,H_C]为预测车辆ID的映射矩阵。

11.根据权利要求2所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，步骤S16)中，所述联合损失为：

Loss＝L_Triplet+L_Softmax+λ·L_guided

其中，λ是调整注意力引导损失权重的参数，值为0.1。

12.根据权利要求1所述的一种基于注意力引导生成学习的跨分辨率车辆再辨识方法，其特征在于，再识别过程S2的步骤如下：

步骤S21)：将待查询图像输入到S1中训练得到网络模型SCM得到其特征向量；

步骤S22)：通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度；

步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果。

Images