[go: up one dir, main page]

CN113052170A - 一种无约束场景下的小目标车牌识别方法 - Google Patents

一种无约束场景下的小目标车牌识别方法 Download PDF

Info

Publication number
CN113052170A
CN113052170A CN202110300861.1A CN202110300861A CN113052170A CN 113052170 A CN113052170 A CN 113052170A CN 202110300861 A CN202110300861 A CN 202110300861A CN 113052170 A CN113052170 A CN 113052170A
Authority
CN
China
Prior art keywords
license plate
image
plate region
scene
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110300861.1A
Other languages
English (en)
Other versions
CN113052170B (zh
Inventor
马小骏
贺安鹰
朱永成
刘超
白波
邬志烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Dongda Jinzhi Information System Co ltd
Original Assignee
Jiangsu Dongda Jinzhi Information System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Dongda Jinzhi Information System Co ltd filed Critical Jiangsu Dongda Jinzhi Information System Co ltd
Priority to CN202110300861.1A priority Critical patent/CN113052170B/zh
Publication of CN113052170A publication Critical patent/CN113052170A/zh
Application granted granted Critical
Publication of CN113052170B publication Critical patent/CN113052170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。

Description

一种无约束场景下的小目标车牌识别方法
技术领域
本发明涉及一种无约束场景下的小目标车牌识别方法，属于智能视频和图像分析技术领域。
背景技术
自动车牌识别已在道路交通、停车场、小区中得到广泛应用，然而，这些应用基本都是在限定场景下进行的，主要体现在：对于道路交通、停车场出入口等用于识别车牌的摄像机，在工程实施和安装方面有着严格的要求，并且所拍摄车牌照片都相对正面、清晰，由此才能确保识别的准确率。
在现实情况下，人们常常需要在无约束场景下对小目标车牌进行准确识别，“无约束场景”是指对摄像机的角度、清晰度、光照条件等没有明确要求，照片可能在大角度下拍摄的、图像中的车牌可能会受光照影响甚至是失真的情况；“小目标车牌”是指车牌在整个视频或图像中占比较小，以至于常规算法无法检测出车牌的情况。
无约束场景下的小目标车牌识别是一件极具挑战性的工作，但对于道路交通、公安刑侦等应用有着非常重要的实用价值。。
发明内容
本发明所要解决的技术问题是提供一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，能够有效提高图像分析效率，获得更高的车牌识别精度。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种无约束场景下的小目标车牌识别方法，包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i2；
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；
步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；
步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；
步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；
步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
作为本发明的一种优选技术方案：所述步骤i1包括如下步骤i1-1至步骤i1-2；
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2；
步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。
作为本发明的一种优选技术方案：所述各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。
作为本发明的一种优选技术方案：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；
包含车牌区域图像最小矩形框的回归损失函数：
Figure BDA0002986206710000031
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；
Figure BDA0002986206710000032
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度；
车牌区域图像四个角点坐标的检测损失函数：
Figure BDA0002986206710000033
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，
Figure BDA0002986206710000034
表示x对应的检测损失函数。
作为本发明的一种优选技术方案：还包括如下步骤i1-i2，执行完步骤i1之后，进入步骤i1-i2；
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2；
所述步骤i2包括如下步骤i2-1至步骤i2-4；
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2；
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3；
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4；
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2。
作为本发明的一种优选技术方案：还包括执行如下过程，获得车牌分类模型；
收集指定各种类型的各幅车牌区域分类样本图像，并以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型；
则所述车牌内容识别模型的获得过程中：
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型；
则场景中车牌内容识别的过程中，还包括如下步骤BC，执行完步骤B之后，进入步骤BC；
步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C；
步骤C中，应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
作为本发明的一种优选技术方案，所述车牌分类模型的获得过程中：
收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、以及对比度变化、明度变化、饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
作为本发明的一种优选技术方案：所述步骤B中，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C。
本发明所述一种无约束场景下的小目标车牌识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。
附图说明
图1是本发明所设计无约束场景下的小目标车牌识别方法的流程示意图；
图2是本发明所设计中步骤i2-1至步骤i2-4的流程示意图；
图3是本发明所设计中车牌提取及矫正的应用示意图；
图4是本发明所设计中用于车牌分类的ResNet18网络结构；
图5是本发明所设计中车牌内容识别网络结构；
图6是本发明所设计中的车牌识别结果。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种无约束场景下的小目标车牌识别方法，实际应用当中，具体执行如下步骤i1至步骤i2，获得车牌区域图像检测模型。
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-i2。
实际应用当中，上述步骤i1具体执行如下步骤i1-1至步骤i1-2。
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2。
步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i1-i2。
这里各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。这里的几何畸变会影响样本标注的包围框，为此我们在对图像进行几何畸变的同时，对样本标注的包围框也进行了更新；对于光照畸变与几何畸变联合方法的执行，具体对随机抽取的四张图片首先进行光照畸变和几何畸变(特别地把图片缩小及旋转)，然后再进行随机位置的裁剪拼接合成新的图片；通过这里的方法，将获得大量的“无约束场景下的小目标车牌数据”。
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2。
对于这里的规则，诸如定义长度小于41像素并且宽度小于16像素的车牌为小尺寸范围车牌区域图像，其他的为大尺寸范围车牌区域图像；以及定义倾斜角度超出30度的车牌区域图像和倾斜角度未超出30度的车牌区域图像。
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型。
实际应用当中，如图2所示，具体设计步骤i2包括执行如下步骤i2-1至步骤i2-4。
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2。
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3。
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4。
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2。
对于上述步骤i2中的神经网络训练，实际应用当中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型，其中针对现有深度卷积网络YoloV5所包含的(1)包围框回归(bounding box regression)损失、(2)置信度损失、(3)分类损失，进行进一步应用设计，则包含车牌区域图像最小矩形框的回归损失函数应用如下：
Figure BDA0002986206710000071
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度。
Figure BDA0002986206710000072
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度。
车牌区域图像四个角点坐标的检测损失函数应用如下：
Figure BDA0002986206710000081
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，
Figure BDA0002986206710000082
表示x对应的检测损失函数。
设计中，还加入车牌分类模型的获得，具体设计收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、以及对比度变化、明度变化、饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
对于残差网络ResNet18来说，设计在开源深度学习框架PyTorch上搭建残差网络ResNet18实现车牌分类，ResNet18网络结构如图4所示，ResNet18网络结构分为三个部分：
1)输入部分：是一个尺寸为7x7，步长为2的大卷积核，以及一个尺寸为3x3，步长为2的最大池化组成，通过这一步，一个224x224的输入图像就会变56x56大小的特征图，极大减少了存储所需大小。
2)中间的卷积部分：由4个块block1、block2、block3、block4组成，每个block通过3*3卷积的堆叠2次来实现信息的提取。
3)输出部分：通过全局自适应平滑池化，把所有的特征图拉成1*1，即把1x512x7x7的输入数据拉成1x512x1x1，然后接全连接层输出。
在训练之前需要准备训练数据集和测试集，数据集中的车牌通过resize操作统一为224*224的分辨率大小。除了原始数据集外，额外增加了人工生成的车牌数据并对其进行随机的透视变换与对比度、明度、饱和度变换进行数据增强。数据集准备完成后利用上面的ResNet18继续训练，训练采用交叉熵损失函数CrossEntropyLoss。
此外，还设计执行如下步骤ii1至步骤ii3，获得车牌内容识别模型。
步骤ii1.如图5所示，依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2。
这里的车牌内容识别初始模型，具体描述如下：
1)卷积层：使用深度CNN，对输入图像提取特征，得到特征图。
输入图像在进入卷积层前首先需要作缩放预处理，把车牌图像缩放为32×W×1的分辨率，即32为高，W为宽，可为任意数，1为通道数，表示灰度图像。
卷积运算由标准的CNN模型中的卷积层和最大池化层组成，包含一系列的卷积、最大池化、批量归一化等操作。
不能直接把CNN得到的特征图送入RNN进行训练的，需要进行一些调整，根据特征图提取RNN需要的特征向量序列。提取的特征序列中的向量是在特征图上从左到右按照顺序生成的，用于作为循环层的输入，每个特征向量表示了图像上一定宽度上的特征，默认的宽度是1，也就是单个像素。由于CRNN已将输入图像缩放到同样高度了，因此只需按照一定的宽度提取特征即可。
2)循环层：使用双向RNN(BLSTM)对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布。
一个特征向量就相当于图5循环层中的一个小矩形区域，RNN的目标就是预测这个矩形区域为哪个字符，即根据输入的特征向量，进行预测，得到所有字符的概率分布，这是一个长度为字符类别数的向量，作为CTC层的输入。
3)转录层：将LSTM网络预测的特征序列的结果进行整合，转换为最终输出的结果。
转录层采用CTC Loss损失函数，在训练时其目标是将可能映射(去重、去空)出的标签包含的路径的概率之和最大化(CTC假设每个时间片的输出是相互独立的，则路径的后验概率是每个时间片概率的累积)，在输出时根据给定输入搜索概率最大的路径进行搜索，从而最大可能地映射到正确结果的路径。
步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3。
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型。
对于上述步骤ii1至步骤ii3实现车牌内容识别模型的获得来说，若结合车牌分类模型的应用，则基于步骤ii1的执行，进一步设计执行如下步骤ii2至步骤ii3。
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3。
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型。
则基于所获车牌区域图像检测模型、车牌分类模型、车牌内容识别模型，进一步如图1所示，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别。
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B。
步骤B.如图3所示，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤BC。
步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C。
步骤C.应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码，如图6所示。
上述技术方案所设计一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40×15像素级别的车牌，并且对拍摄角度、光照等因素有很大的容忍度，与现有市场上的车牌识别算法相比，具有更广的应用场景，对于道路交通、平安城市具有很高的实用价值。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种无约束场景下的小目标车牌识别方法，其特征在于：包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；
步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i2；
步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；
步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；
步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；
步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；
步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
2.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i1包括如下步骤i1-1至步骤i1-2；
步骤i1-1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1-2；
步骤i1-2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。
3.根据权利要求2所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。
4.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；
包含车牌区域图像最小矩形框的回归损失函数：
Figure FDA0002986206700000021
式中，CIoULoss表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和bgt分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；
Figure FDA0002986206700000022
式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，wgt表示真实最小矩形框的宽度，hgt表示真实最小矩形框的高度；
车牌区域图像四个角点坐标的检测损失函数：
Figure FDA0002986206700000023
式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，
Figure FDA0002986206700000024
表示x对应的检测损失函数。
5.根据权利要求1至4中任意一项所述一种无约束场景下的小目标车牌识别方法，其特征在于：还包括如下步骤i1-i2，执行完步骤i1之后，进入步骤i1-i2；
步骤i1-i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
类别1.满足规则3、规则2的车牌区域图像；
类别2.满足规则3、规则1的车牌区域图像；
类别3.满足规则4、规则2的车牌区域图像；
类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2；
所述步骤i2包括如下步骤i2-1至步骤i2-4；
步骤i2-1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2-2；
步骤i2-2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行迭代训练，获得检测模型，然后进入步骤i2-3；
步骤i2-3.基于四个类别中的场景样本图像，针对检测模型进行测试，获得检测模型分别对应四个类别的测试精度，并判断各测试精度是否均满足预设精度阈值，是则所获检测模型即为车牌区域图像检测模型，否则进入步骤i2-4；
步骤i2-4.针对未满足预设精度阈值的各类别，按预设步长，分别提高该各类别所对应的选取概率，然后按各类别分别所对应的选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并返回步骤i2-2。
6.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：还包括执行如下过程，获得车牌分类模型；
收集指定各种类型的各幅车牌区域分类样本图像，并以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型；
则所述车牌内容识别模型的获得过程中：
步骤ii2.收集步骤ii1中指定各种类型的各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
步骤ii3.分别针对各种类型，以类型中各幅车牌区域样本图像为输入，该各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得该类型所对应的车牌内容识别模型，进而获得各种类型分别所对应的车牌内容识别模型；则场景中车牌内容识别的过程中，还包括如下步骤BC，执行完步骤B之后，进入步骤BC；
步骤BC.应用车牌分类模型，针对目标车牌区域图像进行类型分类，获得目标车牌区域图像所对应的目标类型，然后进入步骤C；
步骤C中，应用目标类型所对应的车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
7.根据权利要求6所述一种无约束场景下的小目标车牌识别方法，其特征在于，所述车牌分类模型的获得过程中：
收集指定各种类型的各幅车牌区域分类样本图像，并分别针对各幅车牌区域分类样本图像，应用随机透视变换、以及对比度变化、明度变化、饱和度变化，获得车牌区域分类样本图像所对应的各幅变换车牌区域分类样本图像，均作为车牌区域分类样本图像；然后以各幅车牌区域分类样本图像为输入，各幅车牌区域分类样本图像所对应的类型为输出，针对残差网络ResNet18进行训练，获得车牌分类模型。
8.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤B中，根据目标车牌区域图像四个角点坐标，应用opencv计算获得对应矩形形状下、该四个角点分别所对应的新坐标，然后基于该四个角点坐标分别到其新坐标的关系，应用opencv计算获得仿射变换矩阵，最后根据仿射变换矩阵，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C。
CN202110300861.1A 2021-03-22 2021-03-22 一种无约束场景下的小目标车牌识别方法 Active CN113052170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300861.1A CN113052170B (zh) 2021-03-22 2021-03-22 一种无约束场景下的小目标车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300861.1A CN113052170B (zh) 2021-03-22 2021-03-22 一种无约束场景下的小目标车牌识别方法

Publications (2)

Publication Number Publication Date
CN113052170A true CN113052170A (zh) 2021-06-29
CN113052170B CN113052170B (zh) 2023-12-26

Family

ID=76513984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300861.1A Active CN113052170B (zh) 2021-03-22 2021-03-22 一种无约束场景下的小目标车牌识别方法

Country Status (1)

Country Link
CN (1) CN113052170B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822278A (zh) * 2021-11-22 2021-12-21 松立控股集团股份有限公司 一种无受限场景车牌识别方法
CN113989794A (zh) * 2021-11-12 2022-01-28 珠海安联锐视科技股份有限公司 一种车牌检测和识别方法
CN115100506A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 双录场景下矫正屏幕的图像方法、服务器及系统
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112900A1 (zh) * 2016-12-23 2018-06-28 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
CN109086722A (zh) * 2018-08-06 2018-12-25 汉王科技股份有限公司 混合车牌识别方法、装置、电子设备
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN112232240A (zh) * 2020-10-21 2021-01-15 南京师范大学 一种基于优化交并比函数的道路抛洒物检测与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112900A1 (zh) * 2016-12-23 2018-06-28 深圳先进技术研究院 一种车牌识别方法及装置、用户设备
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN109086722A (zh) * 2018-08-06 2018-12-25 汉王科技股份有限公司 混合车牌识别方法、装置、电子设备
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111767944A (zh) * 2020-05-27 2020-10-13 重庆大学 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法
CN112232240A (zh) * 2020-10-21 2021-01-15 南京师范大学 一种基于优化交并比函数的道路抛洒物检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王越等: "基于区域划分和霍夫变换的车牌倾斜校正", 重庆理工大学学报( 自然科学), vol. 31, no. 3, pages 97 - 104 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989794A (zh) * 2021-11-12 2022-01-28 珠海安联锐视科技股份有限公司 一种车牌检测和识别方法
CN113822278A (zh) * 2021-11-22 2021-12-21 松立控股集团股份有限公司 一种无受限场景车牌识别方法
CN113822278B (zh) * 2021-11-22 2022-02-11 松立控股集团股份有限公司 一种无受限场景车牌识别方法
CN115100506A (zh) * 2022-06-27 2022-09-23 平安银行股份有限公司 双录场景下矫正屏幕的图像方法、服务器及系统
CN115100506B (zh) * 2022-06-27 2024-05-24 平安银行股份有限公司 双录场景下矫正屏幕的图像方法、服务器及系统
CN116246209A (zh) * 2023-03-09 2023-06-09 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法
CN116246209B (zh) * 2023-03-09 2024-02-13 彩虹鱼科技(广东)有限公司 基于偏移卷积核的广角镜头生物目标检测方法

Also Published As

Publication number Publication date
CN113052170B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110020651B (zh) 基于深度学习网络的车牌检测定位方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111709416A (zh) 车牌定位方法、装置、系统及存储介质
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
EP1700269A2 (en) Detection of sky in digital color images
CN114429457A (zh) 一种基于双模态融合的风机叶片缺陷智能检测方法
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
CN112347805A (zh) 一种多目标二维码检测识别方法、系统、装置及存储介质
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN112418087A (zh) 一种基于神经网络的水下视频鱼类识别方法
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN113361467A (zh) 基于领域适应的车牌识别方法
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法
CN115410190A (zh) 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备
CN116612390B (zh) 一种建筑工程用的信息管理系统
CN113033427A (zh) 一种基于dl的车底异物自动识别方法
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN113112531B (zh) 一种图像匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant