CN108710875A - 一种基于深度学习的航拍公路车辆计数方法及装置 - Google Patents

Abstract

本发明提供一种基于深度学习的航拍公路车辆计数方法及装置，包括获取多种成像条件下的航拍公路车辆样本图像，并对所述航拍公路车辆样本图像进行预处理；构建深度神经网络模型，利用预处理后的航拍公路车辆样本图像训练构建的深度神经网络模型；使用所述深度神经网络模型对待检测航拍公路车辆图像进行检测，输出检测的公路与车辆对象识别概率、对象位置、对象区域分割；根据识别的公路与车辆结果，对位于公路区域中的车辆计数，输出计数结果。通过共用深度图像特征提取网络，有效利用了计算资源，节省了模型训练与公路、车辆检测运行时间，准确率、检出率都大大提高。本发明应用于交通数据采集、交通流监测和图像数据处理、图像分析应用领域。

Description

一种基于深度学习的航拍公路车辆计数方法及装置

技术领域

本发明涉及图像数据处理、图像分析、图像数据识别，以及交通应用中的数据采集等领域，尤其涉及一种基于深度学习的航拍公路车辆计数方法及装置。

背景技术

随着社会经济发展，车辆数量急剧增加，拥挤、堵塞、车祸等交通问题时常发生。为了解决此类问题，有必要对车辆，尤其是车流量进行监控，以便及时发现问题，疏导交通。目前，常用的车辆探测与计数方法还是以安装监控相机、地磁感应检测器等为主的固定地点监控。这类方法覆盖范围有限，存在监控盲区。尤其是在城市周边、郊区，以及西部广大稀疏路网，基本无法监控。近几年，无人机以其灵活机动与大范围巡航的特点，为交通巡查领域的诸多问题提供了一种良好的解决方案。

在无人机交通巡查中，车辆检测与计数是一项重要核心技术。其关键是利用计算机视觉、人工智能等技术自动识别公路中的车辆并统计数量。无人机由于其飞行高度较地面监控设备高很多，所以航拍图像通常视场较大，场景复杂。其中，公路航拍图像通常会拍摄到路边人行道、停车场、楼前广场等。这些地方常常会停放大量车辆。所以，与地面监控设备不同，基于无人机航拍图像的车辆计数，需要涉及两个方面的内容：一是识别车辆，二是识别公路。在公路两侧停放的车辆不应纳入交通车辆统计的范畴。

在相关研究中，“基于航拍图像的交通信息获取方法，申请号：201010588880.0，发明设计人：刘富强等”描述了基于航拍图像的交通信息获取。首先利用颜色直方图分布与霍夫变换检测出的道路线限定道路区域，然后在限定的道路区域上，利用斑块分析方法检测静止车辆，而对于运动车辆，则采用KLT算法检测。检测出车辆后，提取车辆行驶方向、车辆速度和车身长度等信息；“基于航拍视频图像的运动车辆检测方法，申请号：201710013944.6，发明设计人：于明等”提出了一种基于航拍视频图像的运动车辆检测方法。首先利用三帧差分法对运动车辆进行粗检测，然后在车辆的精检测时，将颜色阈值自适应分割检测的道路区域确定为车辆候选区域，并在该区域提取CHLBP特征，最后利用SVM分类器对CHLBP特征进行判断获取运动车辆的精确检测结果；“基于机载摄像机的高速公路车辆检测与跟踪技术，东南大学，硕士学位论文，作者：李聪”针对无人机航拍高速公路车辆检测，提出了利用阈值分割与边缘直线检测的高速公路检测方法，并在高速公路区域内，利用Vibe自适应背景更新算法，分割前景区域作为车辆检测结果；“基于显著性检测和分类器训练的航拍图像车辆检测，北京交通大学，硕士专业学位论文，作者：王海地”针对航拍图像车辆道路提出了基于直方图对比度的显著性检测方法，并利用harr特征结合Adaboost分类器训练模型对道路车辆进行检测；“利用遥感影像探测和计数道路车辆的方法，申请号：200810227007.1，发明设计人：谭衢霖等”则针对遥感影像，提出了基于地理信息系统道路中心线矢量层数据生成一定宽度的道路缓冲区作为道路区域分割，并构建面向对象的模糊分类器对道路中的车辆对象进行识别计数。除了上述在检测的道路区域内检测车辆的研究外，还有若干单独检测车辆的研究。

无人机航拍图像公路车辆计数，其核心问题是公路车辆识别。目前，在针对公路车辆识别的研究中，基本还是采用先用一种方法识别公路，然后再用另一种方法识别车辆的思路，如上述各文献。这种思路的缺点是整体效率不高，需要对图像做两次分析处理。实际上，图像的很多基础特征都是相同的，两次处理造成了时间与资源的浪费。目前，尚未发现可以在同一个模型中同时识别道路与车辆的研究。

在对道路的识别方面，目前普遍的方法还是基于传统视觉检测的方法，如“基于航拍图像的交通信息获取方法，申请号：201010588880.0，发明设计人：刘富强等”利用颜色直方图分布与霍夫变换检测出的道路线共同限定道路区域，“基于航拍视频图像的运动车辆检测方法，申请号：201710013944.6，发明设计人：于明等”利用颜色阈值自适应分割检测道路区域，“基于机载摄像机的高速公路车辆检测与跟踪技术，东南大学，硕士学位论文，作者：李聪”也是利用阈值分割与边缘直线检测确定高速公路区域，“基于显著性检测和分类器训练的航拍图像车辆检测，北京交通大学，硕士专业学位论文，作者：王海地”也采用基于直方图对比度的显著性检测方法识别道路，等等。这些方法都属于浅层学习方法，模型表达能力有限。方法中涉及到的阈值等参数往往难以选择。一套参数常常只能适用于某种特定场景。

在航拍公路图像中，由于视场较大，因此车辆出现的位置可能在公路上，也有可能在公路两侧，甚至可能在离公路较远的区域。为了对公路车辆准确计数，有必要识别公路和车辆两个对象。

此处，由于车辆会行驶在公路上，也会停靠在路边，因此两个对象存在相交及包含的情况，即车辆全部在公路外，部分在公路上，以及完全包含在公路区域中。现有的技术方法，一般是首先识别公路，然后再利用公路区域限制车辆的识别。这类方法最大的缺点在于需要对同一张图像进行两次处理，大大降低了计算效率，浪费计算资源，延长检测时间。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于深度学习的航拍公路车辆计数方法。

本发明中计数方法的技术方案是：

一种基于深度学习的航拍公路车辆计数方法，具体包括以下步骤：

S1、获取多种成像条件下的航拍公路车辆样本图像，组成样本库，并对所述样本库中的航拍公路车辆样本图像进行预处理；

S2、构建深度神经网络模型，利用预处理后的航拍公路车辆样本图像训练构建的深度神经网络模型；

S3、使用所述深度神经网络模型对待检测航拍公路车辆图像进行检测，输出检测的公路与车辆对象识别概率、对象位置、对象区域分割；

S4、根据识别的公路与车辆结果，对位于公路区域中的车辆计数，输出计数结果。

作为上述技术方案的进一步改进，步骤S2中，构建的深度神经网络模型其网络结构包括基础主干网络与头部任务网络；

基础主干网络包括：

全局图像特征提取子网络，由若干卷积层、池化层组成，用于提取图像由浅至深的深度特征图；

候选目标位置提名子网络，由若干卷积层、输出层组成，通过在深度特征图上滑动预设大小与步长的窗口，对不同窗口下的特征图进行判别，输出目标的候选位置；

目标尺度适配子网络，由多个池化层组成，将提名的不同尺度大小的窗口对应的特征图进一步提取为固定维度的特征图，以满足头部任务网络全连接层对输入数据需要固定维度大小的要求；

头部任务网络包括：

车辆识别子网络，由多个全连接层组成，对提名的候选目标窗口特征图是否为车辆目标进行识别，输出该窗口在原图中的位置，以及识别概率，即车辆在图像中的位置与车辆的识别概率；

车辆分割子网络，由多个卷积层组成，对提名的候选目标窗口特征图进行像素级分割，输出每个像素为车辆的概率，形成车辆分割掩膜热力图，即车辆的分割掩膜；

公路识别子网络，由多个全连接层组成，对提名的候选目标窗口特征图是否为公路目标进行识别，输出该窗口在原图中的位置，以及识别概率，即公路在图像中的位置与公路的识别概率；

公路分割子网络，由多个卷积层组成，对提名的候选目标窗口特征图进行像素级分割，输出每个像素为公路的概率，形成公路分割掩膜热力图，即公路的分割掩膜。

作为上述技术方案的进一步改进，步骤S2中，所述深度神经网络模型的训练步骤具体包括：

S21、对样本库中的样本图像进行标注，获取带有标记的航拍公路车辆样本图像，并获取各带有标记的航拍公路车辆样本图像的标记结果：

对样本图像中的公路区域与车辆以闭合多边形的形式勾勒其边缘，并标注对象类别与名称，根据多边形可生成样本目标掩膜，根据掩膜生成公路区域与车辆在样本图像中位置，以（y，x，h，w）表示，其中，（y，x）描述该位置起始点，是其在图中的左上角坐标，（h，w）描述该位置的大小，是其高度与宽度，这里，生成的位置、掩膜与标注的类别共同作为真值，参与后续深度神经网络模型输出结果的误差计算，根据所有标注的样本提取一定比例划分出验证集；

S22、利用预设初始参数的深度神经网络模型对带有标记的航拍公路车辆样本图像进行分类、分割，获取带有标记的航拍公路车辆样本图像的输出结果；

S23、根据所述深度神经网络模型的输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个所述深度神经网络模型，更新深度神经网络模型的所有参数；

S24、读取新的带有标记的航拍公路车辆样本图像，利用更新参数的深度神经网络模型对新的带有标记的航拍公路车辆样本图像进行分类、分割；

S25、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S23，继续训练，其中收敛条件主要是验证集上的误差精度是否达到要求，停止条件主要是训练的次数是否大于预设值。

作为上述技术方案的进一步改进，步骤S3中：

所述公路与车辆对象识别概率包括公路的识别概率与车辆的识别概率;

所述对象位置包括公路在图像中的位置与车辆在图像中的位置;

所述对象区域分割包括公路的分割掩膜与车辆的分割掩膜。

作为上述技术方案的进一步改进，步骤S3中，使用所述深度神经网络模型对待检测航拍公路车辆图像进行检测的步骤具体包括：

S31、输入待检测的航拍公路车辆图像；

S32、输入图像经全局图像特征提取子网络处理，提取图像不同层次特征，输出特征图；

S33、将输出的特征图输入候选目标位置提名子网络，确定目标出现的候选位置，输出若干候选位置窗口；

S34、对输出的候选位置窗口，目标尺度适配子网络将不同尺度大小的窗口对应的特征图进一步提取为固定维度的特征图；

S35、将输出的固定维度特征图，输入车辆识别子网络和公路识别子网络进行识别，输出识别概率与优化回归后的目标位置；

S36、对S35中，车辆识别概率满足车辆判定预设值的窗口，将其对应的特征图经目标尺度适配子网络进一步提取为固定维度的特征图，公路识别概率满足公路判定预设值的窗口，将其对应的特征图经目标尺度适配子网络进一步提取为固定维度的特征图；

S37、将S36输出的固定维度特征图，分别输入车辆分割子网络和公路分割子网络，输出车辆分割掩膜和公路分割掩膜。

作为上述技术方案的进一步改进，步骤S5中，所述对位于公路区域中的车辆计数，对车辆是否位于公路区域的判断准则是车辆的分割掩膜与公路的分割掩膜重叠面积应大于预设阈值，所述预设阈值的典型值是30%。

作为上述技术方案的进一步改进，步骤S1中，对所述样本库中的航拍公路车辆样本图像进行预处理包括随机尺度调整、随机翻转、随机亮度调整、随机对比度调整、随机饱和度调整中的至少一种操作。

作为上述技术方案的进一步改进，步骤S1中：

航拍公路车辆样本图像的多种成像区域包括：城市、郊区、农村中的无中央绿化带的双向四车道、双向六车道，有中央绿化带的双向六车道、双向八车道，十字路口、丁字路口；

航拍公路车辆样本图像的多种成像条件包括：引起亮度变化的晴天、多云、阴天，引起饱和度变化的轻度雾霾、中度雾霾、重度雾霾，引起色度变化的黎明、黄昏，引起局部遮挡的小雨、中雨。

本发明还提供一种基于深度学习的航拍公路车辆计数装置，其采用的技术方案是：

一种基于深度学习的航拍公路车辆计数装置，包括：

图像获取模块，用于获取航拍公路车辆图像；

图像预处理模块，用于对参与训练的样本图像进行预处理；

训练模块，用于训练上述深度神经网络模型；

检测模块，用于利用预先训练得到的深度神经网络模型对图像获取模块获取的待检测图像进行检测，识别其中的公路与车辆目标；

计数模块，用于对公路中的车辆计数。

本发明中计数方法的主要理论依据为：大量深度学习的研究认为图像的特征包括浅层次的像素，深一层次的线状结构，如各种形状的直线、曲线，再深一层次的面状结构，如矩形、三角形、圆形，再深一层次的多种面状结构的聚合，形成的各种纹理特征。即通过组合低层次特征形成更抽象的高层次特征。最后由各种高层特征组成了人眼能够识别的各种具有实际意义的目标类别。因此，不管是公路、还是车辆，都是由上述由浅至深的各种层次的结构组成。二者在基础的较低层次特征上，应该有大量可以重复利用的共有特征。

本发明的有益技术效果：

本发明所提供的航拍公路车辆计数方法，通过共用深度图像特征提取网络，有效利用了计算资源，节省了模型训练与公路、车辆检测运行时间。这里，道路与车辆都是采用基于深度学习的方法。与传统视觉检测方法相比，深度模型本身表达能力强，相比人工定义特征的传统视觉检测方法，准确率、检出率都大大提高。在样本量充足的情况下，本发明能够适应雾霾、下雨、黄昏、黎明，阴影、光照不均等各种不同环境。总之，本发明具有计算效率高、检测性能好、鲁棒性强的特点。

附图说明

图1是基于深度学习的航拍公路车辆计数方法实施的流程示意图；

图2是深度神经网络模型的结构示意图；

图3是基于深度学习的航拍公路车辆计数装置的结构示意图。

具体实施方式

为了便于本发明的实施，下面结合具体实例作进一步的说明。

如图1所示的一种基于深度学习的航拍公路车辆计数方法，具体步骤包括：

S1，获取航拍公路车辆样本图像

获取样本图像时天气条件包括正午11-13时的晴天、多云、阴天、轻度雾霾、中度雾霾，黎明7-9时的晴天黎明、黄昏17-19时的晴天黄昏，白天10-16时的小雨等8种天气条件。成像角度有90°垂直向下正摄，30°倾斜、45°倾斜、60°倾斜等4种成像角度。成像条件类别共计8×4=32种。所拍摄的公路包括无中央绿化带的双向四车道、双向六车道，有中央绿化带的双向六车道、双向八车道，十字路口、丁字路口等6类，公路所在区域包括城市、郊区、农村3类。因此，公路结合所在区域有6×3=18种场景。

针对无中央绿化带的双向四车道、双向六车道，有中央绿化带的双向六车道、双向八车道的公路及其所在区域产生的4×3=12种场景，在每种成像条件下选择约1000张样本图像。这里的公路主要是无岔路的直道。针对十字路口、丁字路口及其所在区域产生的2×3=6种场景，在每种成像条件下选择约300张样本图像。形成的数据集包括约32×(1000×12+300×6)=441600张样本图像。

这里，无人机飞行高度约为80米，采集图像分辨率为1920×1080。

S11，对获取的样本图像进行预处理

对步骤S1采集的约44万张图像，拷贝一份随机进行以下一种或多种图像处理：随机尺度变换（变换范围[0.8，1.2]倍）、随机翻转（包括上下、左右、对角）、随机亮度调整（调整范围[0.8, 1.2]倍）、随机对比度调整（调整范围[0.5，1.5]）、随机饱和度调整（调整范围[0.5，1.5]），形成新的样本，总计构成约88万张图像的数据集。

S2，利用预处理后的车辆样本图像训练构建的深度神经网络模型

本发明设计的深度神经网络模型以faster-rcnn网络为基础，网络结构如图2所示。其中，本实例中，采用的各子网络结构具体如下：

1）全局图像特征提取子网络，其结构选择了深度残差网络ResNet101，该子网络也可选用ResNet50、ResNet152等。ResNet101中有5组卷积。

第一组卷积包含1层卷积层和1层池化层。卷积层的卷积核大小为7×7，卷积核个数为64，滑动步长为2。池化层的池化范围大小为3×3，滑动步长为2。

第二组卷积包含3个卷积块，每个卷积块主要包含3个卷积层，第一卷积层的卷积核大小为1×1，卷积核个数为64，第二卷积层的卷积核大小为3×3，卷积核个数为64，第三卷积层的卷积核大小为1×1，卷积核个数为256。第二组卷积共有3×3=9个卷积层。

第三组卷积包含4个卷积块，每个卷积块主要包含3个卷积层，第一卷积层的卷积核大小为1×1，卷积核个数为128，第二卷积层的卷积核大小为3×3，卷积核个数为128，第三卷积层的卷积核大小为1×1，卷积核个数为512。第三组卷积共有4×3=12个卷积层。

第四组卷积包含23个卷积块，每个卷积块主要包含3个卷积层，第一卷积层的卷积核大小为1×1，卷积核个数为256，第二卷积层的卷积核大小为3×3，卷积核个数为256，第三卷积层的卷积核大小为1×1，卷积核个数为1024。第四组卷积共有23×3=69个卷积层。

第五组卷积包含3个卷积块，每个卷积块主要包含3个卷积层，第一卷积层的卷积核大小为1×1，卷积核个数为512，第二卷积层的卷积核大小为3×3，卷积核个数为512，第三卷积层的卷积核大小为1×1，卷积核个数为2048。第五组卷积共有3×3=9个卷积层。

上述所有卷积层，其滑动步长均为2。

整个ResNet101网络共有1+9+12+69+9=100个卷积层。这里没有使用原ResNet101网络中用于最后输出的全连接层。

2）候选目标位置提名子网络，其结构选择了区域推荐网络RPN，该子网络也可选用其他能达到相同功能的结构网络。具体结构包括以下四个部分:

a. 在ResNet101网络输出的特征图后，增加一个卷积层，形成新的特征图。该卷积层的卷积核大小为3×3，卷积核个数为512。

b. 预设滑动窗口大小与步长。预设窗口的基础大小为32×32，64×64，128×128，512×512，1024×1024等5种，保持面积不变使其长宽比分别变为(0.5,1,2)倍，一共可得5×3=15种预设窗口，预设窗口的滑动步长为2。

c. 在a部分生成的新特征图上滑动b部分生成的窗口。对每一个窗口对应的特征图，分别连接目标识别头部与位置回归头部。其中，目标识别头部包含一个卷积层与一个softmax输出层。其卷积层的卷积核大小为1×1，卷积核个数为6，softmax层分别输出该窗口为前景目标与背景的概率两个结果。这里的前景不区分公路与车辆两类目标。位置回归头部包含一个卷积层和一个输出层，其卷积层的卷积核大小为1×1，卷积核个数为12。输出层直接输出卷积后的目标位置，该位置包含（y，x，h，w）四个参数，其中，（y，x）描述该位置起始点，是其在图中的左上角坐标，（h，w）描述该位置的大小，是其高度与宽度。对候选窗口的回归提供了目标更精确的位置。

d. 对c部分生成的候选位置的框，做非极大值抑制NMS处理。首先，选择前景概率最高的框将其作为参考框；然后，遍历所有其余的框，如果该框与参考框的重叠面积占参考框的0.7，则认为该框与参考框表示同一物体，去掉该框；遍历完成后，从剩下的框中选则前景概率次高的框，重复遍历筛选过程，最后剩下消除了冗余框的候选提名位置。

3）目标尺度适配子网络，其结构包括两个单层的空间金字塔池化层SPP-layer，该子网络也可选用其他能达到相同功能的结构网络，分别用于对后续的图像识别与图像分割两类任务进行输入特征图的维度统一。这里仅对2）候选目标位置提名子网络输出的前景概率排名前512的目标位置进行处理。

对每一个目标位置，识别SPP-layer将目标位置对应的特征图统一缩放为7×7的宽度与长度，其深度保持为2048（ResNet101网络最后一层输出的特征图深度）。该特征图将作为车辆识别子网络与公路识别子网络的输入。

对每一个目标位置，分割SPP-layer将目标位置对应的特征图统一缩放为14×14的宽度与长度，其深度保持为2048（ResNet101网络最后一层输出的特征图深度）。该特征图将作为车辆分割子网络与公路分割子网络的输入。

4）车辆识别子网络，其结构由基础部分与头部任务部分组成。

其中，基础部分由一个全连接层组成，其节点个数为2048。

头部任务部分包括车辆分类头部与车辆位置头部。车辆分类头部由一个softmax输出层组成，输出特征图为车辆和背景的概率。车辆位置头部由一个节点数为4的全连接层组成，输出特征图为车辆时的位置参数（y，x，h，w）。对车辆位置的进一步回归，可以提供目标更精确的位置。

5）车辆分割子网络，其结构选择了简化的全卷积网络FCN。其结构由一个卷积层和一个sigmoid输出层组成，其中，卷积层的卷积核大小为3×3，卷积核个数为256。sigmoid输出层输出特征图上每一像素为车辆的概率，形成车辆分割掩膜热力图。

6）公路识别子网络，与车辆识别子网络相同，其结构由基础部分与头部任务部分组成。

其中，基础部分由一个全连接层组成，其节点个数为2048。

头部任务部分包括公路分类头部与公路位置头部。公路分类头部由一个softmax输出层组成，输出特征图为公路和背景的概率。公路位置头部由一个节点数为4的全连接层组成，输出特征图为公路时的位置参数（y，x，h，w）。对公路位置的进一步回归，可以提供目标更精确的位置。

7）公路分割子网络，与车辆分割子网络相同，其结构选择了简化的全卷积网络FCN。其结构由一个卷积层和一个sigmoid输出层组成，其中，卷积层的卷积核大小为3×3，卷积核个数为256。sigmoid输出层输出特征图上每一像素为公路的概率，形成公路分割掩膜热力图。

这里，为了图像分割的精度，网络中涉及到的所有图像剪切、缩放操作均采用浮点运算。

在本实例的实施中，深度神经网络模型的具体训练步骤包括：

S21、 对样本库中的图像进行标注，获取带有标记的航拍公路车辆样本图像；

这里，首先人工对步骤S1获取的航拍公路车辆样本图像进行标注。对航拍图像中的公路区域与车辆以闭合多边形的形式勾勒其边缘，并标注对象类别与名称。根据多边形可生成样本目标掩膜，根据掩膜的最大最小坐标，可生成样本目标在图中位置，以上述（y，x，h，w）形式表示。这里，生成的位置、掩膜，与标注的类别，共同作为真值，参与后续深度神经网络模型输出结果的误差计算。

对步骤S11中每一张经过图像预处理新得到的样本图像，将其对应的原始图像中标注的多边形坐标进行相应预处理时采用的尺度变换、翻转等操作，即可生成新样本图像的多边形。标注对象的类别与名称保持不变。即是说，步骤S11中经过图像预处理新得到的样本图像，可以由计算机根据步骤S1的原始样本自动生成，避免了人工重复标注的繁重任务。

对步骤S1、步骤S11形成的所有样本，按20%的比例划分出验证集，用于训练过程中的模型评价。

S22、 利用预设初始参数的深度神经网络模型对公路车辆图像进行分类、分割；

本实例中，提取全局图像特征的ResNet101网络的预设参数选用了公开的针对COCO数据集图像识别任务的模型参数，作为本实例的预训练模型参数。其他子网络均采用随机预设参数。随机参数符合均值为0，标准差为0.1的高斯分布。

S23、 根据所述深度神经网络模型输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个所述深度神经网络模型，更新所有参数；

在本实例中，所述深度神经网络模型的误差包括以下8项：

I．候选目标位置提名子网络输出的目标概率与真值间的误差，记为rpn_class_loss；

II．候选目标位置提名子网络输出的目标位置与真实位置间的起始点坐标距离误差与目标框宽度高度误差的和，记为rpn_bbox_loss；

III．车辆识别子网络输出的车辆识别概率与真值间的误差，记为motor_class_loss；

IV．车辆识别子网络输出的车辆位置与真实位置间的起始点坐标距离误差与目标框宽度高度误差的和，记为motor_bbox_loss；

V．车辆分割子网络输出的分割掩膜热力图中单个像素属于车辆的概率与真值间的误差和，记为motor_mask_loss，

VI．公路识别子网络输出的公路识别概率与真值间的误差，记为road_class_loss；

VII．公路识别子网络输出的公路位置与真实位置间的起始点坐标距离误差与目标框宽度高度误差的和，记为road_bbox_loss；

VIII．公路分割子网络输出的分割掩膜热力图中单个像素属于公路的概率与真值间的误差和，记为road_mask_loss。

在进行误差反向传播更新参数时，车辆识别子网络使用motor_class_loss与motor_bbox_loss的和，车辆分割子网络使用误差motor_mask_loss，公路识别子网络使用road_class_loss与road_bbox_loss的和，公路分割子网络使用误差road_mask_loss，候选目标位置提名子网络使用rpn_class_loss与rpn_bbox_loss的和，全局图像特征提取子网络使用上述8项误差的总和。误差方向传播算法采用随机梯度下降法。

S24、 读取新的图像样本，利用更新参数的深度神经网络模型对新的样本图像进行分类、分割；

S25、 判断是否满足收敛条件或停止条件，若满足则停止训练。若不满足，回到步骤S23、，继续训练。

在本实例中，设置的收敛条件是：验证集上的上述8项误差总和＜0.5，停止条件是训练周期epoch≥4（即单个样本的训练次数约大于350万）。训练过程中的其他重要参数还包括学习率learning_rate为0.001，学习动量learning_momentum为0.9，权重衰减系数weight_decay为0.0001。

S3，使用训练好的模型对待检测的航拍公路车辆图像进行检测，分别识别公路与车辆

按照前述实施步骤，主要包括以下几步：

S31、输入待识别的航拍公路车辆图像；

S32、经过全局图像特征子网络ResNet101，提取图像不同层次特征，输出特征图；

S33、将步骤S32输出的特征图输入候选目标位置提名子网络，确定目标出现的候选位置，输出若干候选位置窗口，及其为前景目标的概率；

S34、对步骤S33输出的前景概率排名前256的目标位置进行下一步处理。将提名的候选目标位置对应的特征图经目标尺度适配子网络的识别SPP-layer，统一缩放为步骤S2中第3）部分明确的尺度大小；

S35、将步骤S34输出的特征图，输入车辆识别子网络和公路识别子网络进行识别，分别输出车辆与公路识别概率，及其优化回归后的目标位置；

S36、对步骤S35中，对识别概率大于0.7的目标窗口进行下一步处理。将优化回归后的目标位置对应的特征图经目标尺度适配子网络的分割SPP-layer，统一缩放为步骤S2中第3）部分明确的尺度大小；

S37、将步骤S36输出的特征图，输入车辆分割子网络和公路分割子网络进行检测，分别输出车辆分割掩膜热力图与公路分割掩膜热力图；

S38、对步骤S37输出的分割掩膜热力图，按阈值0.5做进一步的二值化处理，输出0-1矩阵形式的分割掩膜。

S4，根据步骤S3的检测结果，对位于公路区域中的车辆计数。

实施中，计数时，车辆是否位于公路区域的判断准则是车辆的分割掩膜与公路的分割掩膜重叠面积应大于30%。若有车辆出现在两段公路中，只计数一次。

本实例中采用的计算机搭载了intel i7-8700K CPU，其主频为3.7GHZ，6核12线程；内存为32GB；核心计算单元是3块Geforce GTX 1080Ti显卡，每块显卡的核心频率为1.62GHz，含显存11GB，3584个CUDA核。针对本实例数据集训练，同时利用3块GPU，训练时间为13-14天。检测时，使用单个GPU，单张图像检测时间为约800ms。在验证集，训练的模型识别正确率＞93%，查全率＞95%。

如图3所示的一种基于深度学习的航拍公路车辆计数装置，所述计数装置可以包括：

图像获取模块，用于获取训练样本图像，以及待检测图像；

图像预处理模块，用于对获取的样本图像进行随机尺度变换、随机翻转、随机亮度调整、随机对比度调整、随机饱和度调整等一种或多种操作，形成新的样本，以提高样本的多样性；

训练模块，用于训练构建的深度神经网络模型，所述深度神经网络模型的网络结构包括基础主干网络部分和头部任务网络部分。基础主干网络部分包括全局图像特征提取子网络单元、候选目标位置提名子网络单元、目标尺度适配子网络单元。头部任务网络部分包括车辆识别子网络单元、车辆分割子网络单元、公路识别子网络单元、公路分割子网络单元。

检测模块，用于利用预先训练得到的深度神经网络模型对待检测图像进行检测，识别其中的公路与车辆目标；

计数模块，用于对公路中的车辆计数。

该计数装置中各模块的原理与前述计数方法相似，重复之处不再赘述。

本实施例中计数方法及装置的主要理论依据为：大量深度学习的研究认为图像的特征包括浅层次的像素，深一层次的线状结构，如各种形状的直线、曲线，再深一层次的面状结构，如矩形、三角形、圆形，再深一层次的多种面状结构的聚合，形成的各种纹理特征。即通过组合低层次特征形成更抽象的高层次特征。最后由各种高层特征组成了人眼能够识别的各种具有实际意义的目标类别。因此，不管是公路、还是车辆，都是由上述由浅至深的各种层次的结构组成。二者在基础的较低层次特征上，应该有大量可以重复利用的共有特征。

总的来说，针对航拍公路车辆计数问题，本发明充分利用深度学习中，图像基础特征的共性，将深度神经网络模型划分为基础主干网络与头部任务网络两大部分，提出了一种基于深度学习的航拍公路车辆计数方法及装置。该方法及装置的核心，即本发明的核心内容是提出了基于深度学习的公路车辆识别多任务模型。该模型共用深度图像特征提取网络，可同时识别公路与车辆目标。在此基础上，统计公路区域车辆，实现车辆的准确计数。其中，在候选目标位置提名子网络中又划分为基础特征提取部分与两个头部任务部分：目标识别头部与位置回归头部。在车辆识别子网络中，也划分为基础部分与头部任务部分：车辆分类头部与车辆位置头部。在公路分割子网络中，也划分为基础部分与头部任务部分：公路分类头部与公路位置头部。通过这种共用基础网络的方式大大节省了计算资源，提高了计算效率。同时也能将车辆识别与公路识别两个不同类型的任务结合到同一个网络中，进一步节省了资源，提高了效率。而本发明的基础技术是深度学习技术。其本身就具有对图像的优秀描述能力，相比传统的浅层模型，能更充分的描述目标特征，识别的准确率、查全率均大大提高，使得车辆计数更加准确。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (9)

1.一种基于深度学习的航拍公路车辆计数方法，其特征在于，具体包括以下步骤：

S1、获取多种成像条件下的航拍公路车辆样本图像组成样本库，并对所述样本库中的航拍公路车辆样本图像进行预处理；

S2、构建深度神经网络模型，利用预处理后的航拍公路车辆样本图像训练构建的深度神经网络模型；

S3、使用所述深度神经网络模型对待检测航拍公路车辆图像进行检测，输出检测的公路与车辆对象识别概率、对象位置、对象区域分割；

S4、根据识别的公路与车辆结果，对位于公路区域中的车辆计数，输出计数结果。

2.根据权利要求1所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S2中，构建的深度神经网络模型其网络结构包括基础主干网络与头部任务网络；

基础主干网络包括：

全局图像特征提取子网络，由若干卷积层、池化层组成，用于提取图像由浅至深的深度特征图；

候选目标位置提名子网络，由若干卷积层、输出层组成，通过在深度特征图上滑动预设大小与步长的窗口，对不同窗口下的特征图进行判别，输出目标的候选位置；

目标尺度适配子网络，由多个池化层组成，将提名的不同尺度大小的窗口对应的特征图进一步提取为固定维度的特征图，以满足头部任务网络全连接层对输入数据需要固定维度大小的要求；

头部任务网络包括：

车辆识别子网络，由多个全连接层组成，对提名的候选目标窗口特征图是否为车辆目标进行识别，输出该窗口在原图中的位置，以及识别概率，即车辆在图像中的位置与车辆的识别概率；

车辆分割子网络，由多个卷积层组成，对提名的候选目标窗口特征图进行像素级分割，输出每个像素为车辆的概率，形成车辆分割掩膜热力图，即车辆的分割掩膜；

公路识别子网络，由多个全连接层组成，对提名的候选目标窗口特征图是否为公路目标进行识别，输出该窗口在原图中的位置，以及识别概率，即公路在图像中的位置与公路的识别概率；

公路分割子网络，由多个卷积层组成，对提名的候选目标窗口特征图进行像素级分割，输出每个像素为公路的概率，形成公路分割掩膜热力图，即公路的分割掩膜。

3.根据权利要求1所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S2中，所述深度神经网络模型的训练步骤具体包括：

S21、对预处理后的样本库中的样本图像进行标注，获取带有标记的航拍公路车辆样本图像，并获取各带有标记的航拍公路车辆样本图像的标记结果；

S22、利用预设初始参数的深度神经网络模型对带有标记的航拍公路车辆样本图像进行分类、分割，获取带有标记的航拍公路车辆样本图像的输出结果；

S23、根据所述深度神经网络模型的输出结果与标记结果之间的误差按从后至前的方式反向逐层传播至整个所述深度神经网络模型，更新深度神经网络模型的所有参数；

S24、读取新的带有标记的航拍公路车辆样本图像，利用更新参数的深度神经网络模型对新的带有标记的航拍公路车辆样本图像进行分类、分割；

S25、判断是否满足收敛条件或停止条件，若满足则停止训练，若不满足，回到步骤S23，继续训练。

4.根据权利要求1或2或3所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S3中:

所述公路与车辆对象识别概率包括公路的识别概率与车辆的识别概率;

所述对象位置包括公路在图像中的位置与车辆在图像中的位置;

所述对象区域分割包括公路的分割掩膜与车辆的分割掩膜。

5.根据权利要求1或2或3所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S3中，使用所述深度神经网络模型对待检测航拍公路车辆图像进行检测的步骤具体包括：

S31、输入待检测的航拍公路车辆图像；

S32、输入图像经全局图像特征提取子网络处理，提取图像不同层次特征，输出特征图；

S33、将输出的特征图输入候选目标位置提名子网络，确定目标出现的候选位置，输出若干候选位置窗口；

S34、对输出的候选位置窗口，目标尺度适配子网络将不同尺度大小的窗口对应的特征图进一步提取为固定维度的特征图；

S35、将输出的固定维度特征图，输入车辆识别子网络和公路识别子网络进行识别，输出识别概率与优化回归后的目标位置；

S36、对S35中，车辆识别概率满足车辆判定预设值的窗口，将其对应的特征图经目标尺度适配子网络进一步提取为固定维度的特征图，公路识别概率满足公路判定预设值的窗口，将其对应的特征图经目标尺度适配子网络进一步提取为固定维度的特征图；

S37、将S36输出的固定维度特征图，分别输入车辆分割子网络和公路分割子网络，输出车辆分割掩膜和公路分割掩膜。

6.根据权利要求1或2或3所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S5中，所述对位于公路区域中的车辆计数，对车辆是否位于公路区域的判断准则是车辆的分割掩膜与公路的分割掩膜重叠面积应大于预设阈值，所述预设阈值的典型值是30%。

7.根据权利要求1或2或3所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S1中，对所述样本库中的航拍公路车辆样本图像进行预处理包括随机尺度调整、随机翻转、随机亮度调整、随机对比度调整、随机饱和度调整中的至少一种操作。

8.根据权利要求1或2或3所述基于深度学习的航拍公路车辆计数方法，其特征在于，步骤S1中：

航拍公路车辆样本图像的多种成像区域包括：城市、郊区、农村中的无中央绿化带的双向四车道、双向六车道，有中央绿化带的双向六车道、双向八车道，十字路口、丁字路口；

航拍公路车辆样本图像的多种成像条件包括：引起亮度变化的晴天、多云、阴天，引起饱和度变化的轻度雾霾、中度雾霾、重度雾霾，引起色度变化的黎明、黄昏，引起局部遮挡的小雨、中雨。

9.一种基于深度学习的航拍公路车辆计数装置，其特征在于，包括：

图像获取模块，用于获取航拍公路车辆图像；

图像预处理模块，用于对参与训练的样本图像进行预处理；

训练模块，用于训练权利要求1至8任一项所述深度神经网络模型；

检测模块，用于利用预先训练得到的深度神经网络模型对图像获取模块获取的待检测图像进行检测，识别其中的公路与车辆目标；

计数模块，用于对公路中的车辆计数。