CN109711407B - 一种车牌识别的方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种车牌识别的方法及相关装置，用于减少颜色对于车牌识别的干扰，加快车牌识别的速度。本申请实施例包括：实时获取停车场出入口的视频流；将视频流内的图像转换为灰度图像；获取跟踪列表；检测跟踪列表是否为空；若不为空，则跟踪跟踪列表内的第一车牌信息；若跟踪成功，则检测第一车牌信息的置信度；若置信度达标，则更新跟踪列表内的第一车牌信息；若为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测第二车牌信息成功，则检测第二车牌信息的置信度；若置信度达标，则将第二车牌信息添加至跟踪列表。本申请通过将视频流拍摄到的图像转换为灰度图像，减少颜色对于车牌识别的干扰，增加了车牌识别速度。

Description

一种车牌识别的方法及相关装置

技术领域

本申请涉及图像处理领域，具体涉及一种车牌识别的方法及相关装置。

背景技术

近年来，车牌识别技术在国内发展迅速，纯车牌识别作为停车场进出的模式已经在中国普及。然而，海外国家或地区的车牌识别技术相对落后，目前车牌识别应用较少。随着国内车牌识别技术的日益成熟以及推广，越来越多的国家和地区了解到车牌识别技术的便利，希望引进车牌识别技术。国内不少厂家开始从事海外车牌识别研发。然而，海外车牌识别技术，尤其在车牌定位上，存在一定的难度。

海外很多国家或地区的车牌包含单层和双层。单层海外车牌的宽高比比起国内单层车牌要更大，即单层海外车牌会更宽更“矮”。另外双层海外车牌的宽高比比起国内双层车牌要更小，即海外车牌会更窄更高。这就意味着海外车牌比起国内来说，宽高比的范围会更大。海外一些地区，车牌大小不固定，即大的车辆使用较大的车牌，小的车辆使用较小车牌，并且两种型号的车牌宽高比还存在差异。这样会造成同一类型车牌存在多尺寸，多宽高比的情况。海外不少国家和地区的车牌都是自己申请车牌号码，然后再由车行制作，这样就会存在多种材质的车牌，不同的材质会导致反光不一致的情况。甚至部分国家和地区的车牌上还有背景图案，这些都会给车牌定位带来非常大的困难。

目前市面上大部分的摄像机都是YUV格式输出，在执行车牌检测算法的时候，为了获取R、G和B三个通道的分量信息，在接收到摄像机传过来的图像后，系统必须要执行一个YUV到RGB的转换。如果图像尺寸大，这个转换会非常耗时，导致识别时间的增加，有可能影响车牌识别系统的实时性。

发明 内容

本申请实施例提供了一种车牌识别的方法，用于实现减少颜色对于车牌识别的干扰，加快车牌识别的速度。

为达到上述目的，本申请第一方面提供一种车牌识别的方法，该方法可以包括：

实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；

将视频流内的图像转换为灰度图像；

获取跟踪列表；

检测所述跟踪列表是否为空；

若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；

若跟踪成功，则检测所述第一车牌信息的置信度；

若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；

若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；

若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；

若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。

可选地，结合上述第一方面，在第一种可能的实现方式中，在所述检测视频流内是否存在第二车牌信息之前，所述方法还包括：

训练车牌检测模型，所述车牌检测模型用于车牌检测。

可选地，拍摄停车场出入口的视频或者图像，所述视频或者图像包含车牌区域与背景区域，生成一个训练图片集，所述训练图片集包括从视频中截取的图片与现场设备获取的图片；

标注所述训练图片集中包含的车牌区域；

使用程序从所述训练图片集生成n1个正样本，n2个部分车牌样本，n3 个负样本，所述正样本为与标注区域的重叠区域在第一预设比例区间内，所述部分车牌样本为与标注区域的重叠区域在第二预设比例区间内，所述负样本为与标注区域的重叠区域在第三预设比例区间内；

使用所述正样本，所述部分车牌样本与所述负样本训练MTCNN多任务卷积神经网络的Pnet检测模型；

使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片，所述Pnet 虚检为Pnet检测模型检测结果为车牌，但是与所述标注区域的重叠部分小于预设阈值的检测结果；

使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。

可选地，生成输入图像金字塔，所述输入图像是实时获取的视频流，所述金字塔由视频流内每一帧的图像按比例缩小得到的一系列图片；

使用所述Pnet进行全图检测，输出得分图与回归值图；

选取X个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；

若无候选框，则检测结束，输出无车牌的结果；

若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并进行尺度调整；

使用所述Rnet对所述候选框进行检测，输出所述得分图与所述回归值图；

选取Y个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；

若无所述候选框，则检测结束，输出无车牌的结果；

若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并将检测到的区域映射回原图。

可选地，结合上述第一方面，在第四种可能的实现方式中，更新所述跟踪列表内的所述第一车牌信息包括：

将上一帧的第一车牌信息修改为下一帧的所述第一车牌信息。

本申请第二方面提供一种车牌识别的系统，包括：

拍摄单元，用于拍摄视频流；

转换单元，用于将视频流内的图像转换为灰度图像；

获取单元，用于获取跟踪列表；

检测单元，用于检测所述跟踪列表是否为空；

跟踪单元，用于当所述跟踪列表不为空，跟踪所述跟踪列表内的第一车牌信息；

第一检测模块，用于当跟踪成功，检测所述第一车牌信息的置信度；

更新模块，用于当第一车牌信息的置信度达标，更新所述跟踪列表内的所述第一车牌信息；

第二检测模块，用于当所述跟踪列表为空，使用车牌检测模型检测视频流内是否存在第二车牌信息；

第三检测模块，用于当检测所述第二车牌信息成功，检测所述第二车牌信息的置信度；

添加单元，用于当所述第二车牌信息的置信度达标，将所述第二车牌信息添加至所述跟踪列表。

可选地，所述系统还包括：

训练单元，用于训练车牌检测模型。

可选地，所述训练单元包括：

拍摄模块，用于拍摄停车场出入口的视频或者图像，生成训练图片集；

标注模块，用于标注所述训练图片集中包含的车牌区域；

样本生成模块，用于生成所述训练图片集n1个正样本，n2个部分车牌， n3个负样本；

第一训练模块，使用所述正样本，所述部分车牌样本与所述负样本训练多任务卷积神经网络(MTCNN)的Pnet检测模型。

第四检测模块，使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片；

第二训练模块，使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。

本申请实施例第三方面提供了一种计算机装置，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备分别与所述总线相连；

所述处理器用于执行如前述实施例任一项所述的方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如前述实施例所述方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：本实施例中，实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；将视频流内的图像转换为灰度图像；获取跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。因此，本申请使用了视频流，车牌检测与车牌跟踪结合的方案，相较现有技术中使用单一的技术手段解决海外车牌定位的办法，提高了海外车牌定位的准确率与车牌的捕获率并且将视频流拍摄到的图像转换为灰度图像，减少了颜色对于车牌识别的干扰，增加了车牌识别的速度。

附图说明

图1为本申请实施例中车牌识别的方法的一种实施例；

图2为本申请实施例中车牌识别的方法的另一实施例；

图3为本申请实施例中车牌识别的方法的另一实施例；

图4为本申请实施例中车牌识别的方法的另一实施例；

图5为本申请实施例中一种车牌识别的系统实施例的一个实施例；

图6为本申请实施例中一种计算机装置的一个实施例。

具体实施方式

本申请实施例提供了一种车牌识别的方法，用于减少颜色对于车牌识别的干扰，加快车牌识别的速度。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请采用视频流识别，即一直采集视频，对每一帧图像都进行车牌的定位与识别。即为，本申请方案是对每一帧图像的处理过程，处理过程中若判定为否时则直接结束当前的处理过程而进行至下一帧的图像处理过程，相同时间只能进行一个车牌信息的识别，可以理解为若当前跟踪列表内存在车牌信息，则对跟踪列表内的车牌信息进行跟踪，若当前跟踪列表内不存在车牌信息，则检测视频流采集到的图像之中是否存在车牌信息，若检测到有则对该车牌信息进行置信度的检测，若置信度合格则添加至跟踪列表进行上述的跟踪操作。概括性地，车牌定位方法包括车牌检测与车牌跟踪两个部分。该方法首先使用Multi-Task Convolutional Neural Network(多任务卷积神经网络，MTCNN)进行车牌的检测。在成功检测到车牌后，就对车牌区域进行跟踪，跟踪可以缩减耗时。该方法能有效解决海外车牌检测的困难，并能获得较高的检测率。

为了便于理解，下面对本申请实施例中的具体流程进行描述，请参阅图1，本申请实施例中一种车牌识别的方法的一个实施例包括：

101、实时获取停车场出入口的视频流，视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；

本实施例中，拍摄视频流，指的是在停车场的出入口的拍摄设备一直拍摄视频，截取视频流内每一帧的图像，车牌信息存在于图像内，车牌信息用于生成跟踪列表指的是当图像内的车牌信息经过检测之后会被储存至跟踪列表中。

102、将视频流内的图像转换为灰度图像；

本实施例中，为减少颜色对于车牌识别的干扰，会将视频流内的图像转换为灰度图像。因为在处理彩色图像时，会对于RGB即为红绿蓝三种信道进行处理，而对于灰度图像的处理只需要处理灰度一个信道，这大大的减少了系统在进行格式转换的过程中的工作量。可以理解为把输入的彩色图像转换为灰色图像后，就只存在两种车牌底色和字体颜色了。即要么是车牌底色深，字体颜色浅，类似黑底白字。要么是车牌底色浅，字体颜色深，类似白底黑字。这样做的好处是，首先，海外车牌存在种类多的问题，例如某些国家的车牌种类超过15种，车牌颜色也很多。转换为灰度图像后，也可以减少检测模型对车牌底色以及字符颜色的信息的依赖，导致检测模型的通用性更好。

103、获取跟踪列表；

本实施例中，由于在同一时间只能进行一个车牌的检测，也就是在同一时间只能对一个车牌信息进行处理，所以需要先获取跟踪列表，若跟踪列表内存在车牌信息，则优先处理跟踪列表内的车牌信息。

104、检测跟踪列表是否为空；

本实施例中，由于在同一时间只能进行一个车牌的检测，也就是在同一时间只能对一个车牌信息进行处理，若跟踪列表内存在车牌信息，则优先处理跟踪列表内的车牌信息。即如果列表为空，则检测视频流内是否存在车牌信息，若不为空，则对跟踪列表内的车牌信息进行跟踪，由于本申请方案是存在于每一帧对于图像的处理之中，所以这里的跟踪可以理解为上一帧图像内的车牌信息是否仍然存在于下一帧的图像内。

105、检测第一车牌信息是否跟踪成功；

本实施例中，检测第一车牌信息是否跟踪成功指的是上一帧图像内的车牌信息是否仍然存在于下一帧的图像内，若仍然存在，则检测该车牌信息的置信度是否达标，若不存在，则在跟踪列表内删除该车牌信息，重新对下一帧的图像进行识别。

106、检测第一车牌信息的置信度是否达标；

本实施例中，检测第一车牌信息的置信度是否达标指的是，对跟踪到的车牌区域进行车牌分割与识别，每个识别到的字符都有一个置信度，系统会综合评判每个字符的置信度与整个车牌所有的置信度的和。若得出的分数不低于预设于系统内的分数，则该车牌信息的置信度达标，若低于预设于系统内的分数，则该车牌信息的置信度不达标，若该车牌信息的置信度达标则将该第一车牌信息添加至跟踪列表内，若车牌信息的置信度不达标，则从跟踪列表内删除该第一车牌信息，并输出无车牌的结果。

107、更新跟踪列表内的第一车牌信息；

本实施例内，若跟踪列表内的第一车牌信息的置信度达标，则会更新跟踪列表内的车牌信息，包括但不仅限于将置信度的得分加入车牌信息中，将上一帧的坐标信息改为当前检测时的坐标信息，坐标信息可以为当前车牌信息位于图像中的位置信息。

108、删除跟踪列表内的第一车牌信息；

本实施例中，若检测到的第一车牌信息的置信度不达标或者跟踪第一车牌信息不成功，都会从跟踪列表中删除该第一车牌信息，从而重新进行视频流内图像的检测。

109、使用车牌检测模型检测视频流内是否存在第二车牌信息；

本实施例中，当跟踪列表为空时，也就是当前不存在进行跟踪的车牌信息时，会检测视频流内是否存在第二车牌信息，需要注意的是第一车牌信息与第二车牌信息只是对不同时间识别的车牌信息的一种区分，实际上是可以为同一个车牌的，例如当一辆车驶入停车场入口，若识别到之后经过检测进入了车牌跟踪的阶段，但驶到某一个位置之后车牌被遮挡，会导致跟踪失败，则重新开始车牌检测的部分。

110、检测第二车牌信息的置信度是否达标；

本实施例中，当检测到视频流内存在第二车牌信息时，会对第二车牌信息的置信度进行检测，检测置信度可以为对跟踪到的图像内的第二车牌信息的车牌区域进行车牌分割与识别，每个识别到的字符都有一个置信度，系统会综合评判每个字符的置信度与整个车牌所有的置信度的和。若得出的分数不低于预设于系统内的分数，则该车牌信息的置信度达标，若低于预设于系统内的分数，则该车牌信息的置信度不达标。若达标，则将第二车牌信息添加至跟踪列表，若不达标，则检测结束，表示识别的图像之中不存在车牌信息。

111、将第二车牌信息添加至跟踪列表。

本实施例中，若第二车牌信息的置信度达标，会将第二车牌信息添加至跟踪列表进入车牌跟踪的阶段，再进行如上述方案所述的跟踪以及检测的操作。

本实施例中，拍摄视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；获取跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。因此，本申请使用了视频流，车牌检测与车牌跟踪结合的方案，在每一帧都对获取到的图像进行检测置信度，分析得分值，输出回归值图等操作，相较现有技术中使用单一的技术手段解决海外车牌定位的办法，提高了海外车牌定位的准确率与车牌的捕获率。

本实施例中，基于图1中所述的车牌检测，提出一种训练车牌检测模型的方式，具体请参阅图2以及图3，一种车牌识别的方法的另一实施例包括：

201、训练车牌检测模型。

本实施例中，车牌识别的过程主要包括车牌检测以及车牌跟踪的过程，车牌检测的方法主要为利用训练后的的车牌检测模型对图像内是否存在车牌信息进行检测。对于车牌检测模型的训练，具体请参阅图3，一种车牌识别的方法的另一实施例包括：

301、拍摄停车场出入口的视频或者图像，所述视频或者图像包含车牌区域与背景区域，生成一个训练图片集，所述训练图片集包括从视频中截取的图片与现场设备获取的图片；

本实施例中，训练车牌检测模型首先需要在停车场出入口拍摄大量的图像与视频，以提高后续检测车牌信息的准确性。由于拍摄的随机性以及一直拍摄的特性，每一帧的图像内都可以包含车牌区域与非车牌区域，非车牌区域又称为背景区域。并且在拍摄过程中将图像转换为灰度图像，使得训练模型只需要处理灰度图像一种信道，提升了训练模型的通用性。

具体地，把输入的彩色图像转换为灰色图像后，就只存在两种车牌底色和字体颜色了。即要么是车牌底色深，字体颜色浅，类似黑底白字。要么是车牌底色浅，字体颜色深，类似白底黑字。这样做的好处是，首先，海外车牌存在种类多的问题，例如某些国家的车牌种类超过15种，车牌颜色也很多。转换为灰度图像后，可以减少模型对车牌底色以及字符颜色的信息的依赖。模型的通用性更好。第二，如果一个国家或地区推出一种新的颜色的车牌，只要该车牌与之前的车牌除了在颜色上有差异，其他差异不大，那么使用原有的模型也能很好检测到新的车牌。

302、标注所述训练图片集中包含的车牌区域；

本实施例中，为区别出后续训练所需的正样本，部分车牌样本与负样本，由于该三种样本的主要区别在于与车牌区域重叠部分的大小，所以会先标注出所述视频或者图像中包含的车牌区域。

303、使用程序从所述训练图片集生成n1个正样本，n2个部分车牌样本， n3个负样本，所述正样本为与标注区域的重叠区域在第一预设比例区间内，所述部分车牌样本为与标注区域的重叠区域在第二预设比例区间内，所述负样本为与标注区域的重叠区域在第三预设比例区间内；

本实施例中，对于正样本，部分车牌与负样本，示例性地，本实施例提出，令与车牌区域重叠部分超过70％的为正样本，与车牌区域重叠部分在 30％-50％的为部分车牌，与车牌区域重叠部分小于20％的为负样本，选取该三种比例是因为这样的三种比例存在一定的差异性，分辨起来较为明显。

304、使用所述正样本，所述部分车牌样本与所述负样本训练MTCNN多任务卷积神经网络的Pnet检测模型；

本实施例中，示例性地，对于同一块车牌会随机生成5个正样本，5个部分车牌与10个负样本，训练使用的彩色图像，即输入的训练的正样本和负样本都包含RGB三个通道。Pnet训练的时候，使用正样本，部分车牌与负样本一起训练，得到Pnet检测模型。例如使用5000张单层车牌样本进行训练，就能生成25000个正样本，25000个部分车牌样本以及50000个负样本。训练的时候，就把上述100000个样本一起放入程序中。

305、使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片，所述Pnet虚检为Pnet检测模型检测结果为车牌，但是与所述标注区域的重叠部分小于预设阈值的检测结果；

本实施例中，训练Pnet结束后，使用Pnet检测模型对训练样本进行检测。由于训练样本已经包含了标注，就可以得到Pnet模型的虚检，即检测的结果如果是车牌，但是该结果区域与标注区域的重叠小于阈值就是虚检，示例性地，本方案阈值选择为0.2，即为训练得出的样本与车牌区域重叠部分小于20％的即为Pnet虚检。

306、使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。

本实施例中，训练Pnet模型之后会再使用训练Pnet使用的正样本，部分车牌与Pnet虚检一起训练Rnet模型。正负样本比例为1:1。例如使用5000张单层车牌样本进行训练，就能生成25000个正样本，25000个部分车牌样本以及25000个Pnet虚检。训练的时候，就把上述75000个样本一起放入程序中，得到Rnet模型。

本实施例中，由于MCTNN网络主要应用于人脸识别的领域，人脸的长宽比例大多为1:1，但应用在车牌领域内，对于海外的双层车牌来说，1:1的比例与车牌的长宽比例也相近，适合直接使用，但是对于单层的车牌来说，长与宽的差距较大，所以本申请在训练单层车牌的训练模型时，使用2:1的宽高比进行训练，使用这样的训练模型时，实际操作过程中检测效果良好，是一种对原始网络的改进。

本实施例中，基于图1中所述的用车牌检测模型检测视频流内是否存在第二车牌信息，具体请参阅图4，一种车牌识别的方法的另一实施例包括：

40、车牌检测流程图。

示例性地，本实施例提出一种车牌检测的方法，为了提高速度，输入的图像先经过缩小，得到一系列图像金字塔；使用训练好的CNN网络Pnet层进行全图检测，输出得分图和回归值图；选取取得分值在0.6以上的矩形框，遍历全图后，选取得分最高的10个框；并对有重叠区域的候选框进行非极大值抑制；如果没有找到候选框，检测结束，输出无车牌的结果；如果找到候选框，对检测到的候选框进行尺度调整；使用训练好的CNN网络Rnet层对检测到的候选框进行检测，输出得分图和回归值图；选取取得分值在0.7以上的矩形框，遍历结束后，选取得分最高的5个框；并对有重叠区域的候选框进行非极大值抑制。如果没有找到候选框，检测结束，输出无车牌的结果。如果有检测到的候选框，则映射到原图中。

上述步骤可以理解为缩小图像以减小图像所占的空间，在缩小的过程中得到一系列的图像金字塔，图像金字塔是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。MCTNN网络Pnet 层与MCTNN网络Rnet层即为训练好的Pnet模型以及Rnet模型，得分图为得分图为矩形框的得分，回归值图网络得到的矩形框的调整值。非极大值抑制可以理解为是如果有多个框的重叠区域大于阈值，仅保留得分最高的框。

由于海外车牌存在单层与双层两种形式，所以在实际的车牌检测的过程中，单层和双层的模型交替进行车牌区域的检测。例如第一帧使用单层模型进行检测，如果检测到车牌区域，把车牌区域上扩100％，下扩100％，左扩 10％，右扩10％，然后把该区域送进后续的车牌分割与识别。如果识别到的车牌的置信度达标，则把当前车牌添加到跟踪列表中，下一帧开始跟踪。如果没有检测到车牌区域，当前帧定位结束。下一帧更换使用双层模型，如果检测到车牌区域，把车牌区域上扩10％，下扩10％，左扩100％，右扩100％，然后把该区域送进后续的车牌分割与识别。如果识别到的车牌的置信度达标，则把当前车牌添加到跟踪列表中。如果没有检测到车牌区域，当前帧定位结束。

本实施例中，提出一种车牌检测的方法，其中对单层车牌模型训练时使用2:1的宽高比使得训练模型对于实际的车牌模型更靠近，使得模型检测到车牌区域减少了计算的时间以及过程，为方案增加了可实施性。并且通过将图像转换为灰度图像，减少了颜色对于车牌识别的干扰，加快了车牌识别的速度。

请参阅图5，本申请实施例中一种车牌识别的系统的一个实施例包括：

拍摄单元501，用于拍摄视频流；

转换单元502，用于将视频流内的图像转换为灰度图像；

获取单元503，用于获取跟踪列表；

检测单元504，用于检测所述跟踪列表是否为空；

跟踪单元505，用于当所述跟踪列表不为空，跟踪所述跟踪列表内的第一车牌信息；

第一检测模块506，用于当跟踪成功，检测所述第一车牌信息的置信度；

更新模块507，用于当第一车牌信息的置信度达标，更新所述跟踪列表内的所述第一车牌信息；

第二检测模块508，用于当所述跟踪列表为空，使用车牌检测模型检测视频流内是否存在第二车牌信息；

第三检测模块509，用于当检测所述第二车牌信息成功，检测所述第二车牌信息的置信度；

添加单元510，用于当所述第二车牌信息的置信度达标，将所述第二车牌信息添加至所述跟踪列表。

作为一个优选实施例，所述系统还包括：

训练单元511，用于训练车牌检测模型。

作为一个优选实施例，所述训练单元511包括：

拍摄模块5111，用于拍摄停车场出入口的视频或者图像，生成训练图片集；

标注模块5112，用于标注所述训练图片集中包含的车牌区域；

样本生成模块5113，用于生成所述训练图片集n1个正样本，n2个部分车牌，n3个负样本；

第一训练模块5114，使用所述正样本，所述部分车牌样本与所述负样本训练多任务卷积神经网络(MTCNN)的Pnet检测模型。

第四检测模块5115，使用所述Pnet检测模型检测训练图片集，以得到Pnet 虚检图片；

第二训练模块5116，使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。

下面从实体装置的角度对本申请实施例中的计算机装置进行描述，请参阅图6，本申请实施例中计算机装置的一个实施例包括：

该计算机装置600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)601(例如，一个或一个以上处理器)和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。

其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在智能终端600上执行存储器605中的一系列指令操作。

该计算机装置600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

可以理解的是，在本申请的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以记录在一个计算机可读取记录介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品记录在一个记录介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的记录介质包括：U盘、移动硬盘、只读记录器(ROM，Read-OnlyMemory)、随机存取记录器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以记录程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种车牌识别的方法，其特征在于，包括：

实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；

将视频流内的图像转换为灰度图像；

获取所述跟踪列表；

检测所述跟踪列表是否为空；

若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；

若跟踪成功，则检测所述第一车牌信息的置信度；

若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；

若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息，其中所述视频流中任意相邻两帧分别使用不同的车牌检测模型进行检测，所述车牌检测模型为MTCNN多任务卷积神经网络模型，所述车牌检测模型包括单层车牌检测模型以及双层车牌检测模型，所述单层车牌检测模型基于2:1的宽高比训练得到，所述双层车牌检测模型基于1:1的宽高比训练得到；

若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；

若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。

2.根据权利要求1所述的方法，其特征在于，在所述检测视频流内是否存在第二车牌信息之前，所述方法还包括：

训练所述车牌检测模型，所述车牌检测模型用于车牌检测。

3.根据权利要求2所述的方法，其特征在于，所述训练所述车牌检测模型

包括：

拍摄停车场出入口的视频或者图像，所述视频或者图像包含车牌区域与背景区域，生成一个训练图片集，所述训练图片集包括从视频中截取的图片与现场设备获取的图片；

标注所述训练图片集中包含的车牌区域；

使用程序从所述训练图片集生成n1个正样本，n2个部分车牌样本，n3个负样本，所述正样本为与标注区域的重叠区域在第一预设比例区间内，所述部分车牌样本为与标注区域的重叠区域在第二预设比例区间内，所述负样本为与标注区域的重叠区域在第三预设比例区间内；

使用所述正样本，所述部分车牌样本与所述负样本训练MTCNN多任务卷积神经网络的Pnet检测模型；

使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片， Pnet虚检为 Pnet检测模型检测结果为车牌，但是与所述标注区域的重叠部分小于预设阈值的检测结果；

使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练MTCNN多任务卷积神经网络的Rnet检测模型。

4.根据权利要求3所述的方法，其特征在于，所述用车牌检测模型检测视频流内是否存在第二车牌信息包括：

生成输入图像金字塔，所述输入图像是实时获取的视频流，所述金字塔由视频流内每一帧的图像按比例缩小得到的一系列图片；

使用所述Pnet进行全图检测，输出得分图与回归值图；

选取X个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；

若无候选框，则检测结束，输出无车牌的结果；

若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并进行尺度调整；

使用所述Rnet对所述候选框进行检测，输出所述得分图与所述回归值图；

选取Y个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；

若无所述候选框，则检测结束，输出无车牌的结果；

若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并将检测到的区域映射回原图。

5.根据权利要求1所述的方法，其特征在于，更新所述跟踪列表内的所述第一车牌信息包括：

将上一帧的第一车牌信息修改为下一帧的所述第一车牌信息。

6.一种车牌识别的系统，其特征在于，包括：

拍摄单元，用于拍摄视频流；

转换单元，用于将视频流内的图像转换为灰度图像；

获取单元，用于获取跟踪列表；

检测单元，用于检测所述跟踪列表是否为空；

跟踪单元，用于当所述跟踪列表不为空，跟踪所述跟踪列表内的第一车牌信息；

第一检测模块，用于当跟踪成功，检测所述第一车牌信息的置信度；

更新模块，用于当第一车牌信息的置信度达标，更新所述跟踪列表内的所述第一车牌信息；

第二检测模块，用于当所述跟踪列表为空，使用车牌检测模型检测视频流内是否存在第二车牌信息，其中所述视频流中任意相邻两帧分别使用不同的车牌检测模型进行检测，所述车牌检测模型为MTCNN多任务卷积神经网络模型，所述车牌检测模型包括单层车牌检测模型以及双层车牌检测模型，所述单层车牌检测模型基于2:1的宽高比训练得到，所述双层车牌检测模型基于1:1的宽高比训练得到；

第三检测模块，用于当检测所述第二车牌信息成功，检测所述第二车牌信息的置信度；

添加单元，用于当所述第二车牌信息的置信度达标，将所述第二车牌信息添加至所述跟踪列表。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

训练单元，用于训练所述车牌检测模型。

8.根据权利要求7所述的系统，其特征在于，所述训练单元包括：

拍摄模块，用于拍摄停车场出入口的视频或者图像，生成训练图片集；

标注模块，用于标注所述训练图片集中包含的车牌区域；

样本生成模块，用于生成所述训练图片集n1个正样本，n2个部分车牌，n3个负样本；

第一训练模块，使用所述正样本，所述部分车牌样本与所述负样本训练多任务卷积神经网络（MTCNN）的Pnet检测模型；

第四检测模块，使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片；

第二训练模块，使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络（MTCNN）的Rnet检测模型。

9.一种计算机装置，其特征在于，所述计算机装置包括：输入/输出接口、处理器和存储器，所述存储器中存储有程序指令；

所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-5任一所述的方法。

10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-5中任一项所述的方法。

Images