CN109919002B - 黄色禁停线识别方法、装置、计算机设备及存储介质 - Google Patents
黄色禁停线识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109919002B CN109919002B CN201910062723.7A CN201910062723A CN109919002B CN 109919002 B CN109919002 B CN 109919002B CN 201910062723 A CN201910062723 A CN 201910062723A CN 109919002 B CN109919002 B CN 109919002B
- Authority
- CN
- China
- Prior art keywords
- yellow
- foreground region
- image
- line
- forbidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 126
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000002411 adverse Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种黄色禁停线识别方法、装置、计算机设备及存储介质，涉及人工智能领域。该黄色禁停线识别方法包括：获取待分类图像，待分类图像与地面标线相关；采用yolo物体检测框架从待分类图像中提取前景区域，其中，yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的候选框为前景区域，黄色禁停线为地面标线中的一种；基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线；采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线。采用该黄色禁停线识别方法能够在受外部环境影响下实现黄色禁停线近实时的准确识别。
Description
【技术领域】
本发明涉及人工智能领域，尤其涉及一种黄色禁停线识别方法、装置、计算机设备及存储介质。
【背景技术】
黄色禁停线是指采用黄色表示的禁止停车线，属于地面标线的一种，包括路沿的黄色禁停线和在路面上以网格形式表示的黄色禁停线。目前，在光照、积水和腐蚀等不利环境因素的影响下黄色禁停线的识别所需时长较长，无法满足实际生活中接近实时的黄色禁停线检测需求。
【发明内容】
有鉴于此，本发明实施例提供了一种黄色禁停线识别方法、装置、计算机设备及存储介质，用以解决在受外部环境影响下无法满足黄色禁停线近实时准确识别的问题。
第一方面，本发明实施例提供了一种黄色禁停线识别方法，包括：
获取待分类图像，所述待分类图像与地面标线相关；
采用yolo物体检测框架从所述待分类图像中提取前景区域，其中，所述yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的所述候选框为所述前景区域，所述黄色禁停线为所述地面标线中的一种；
基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线；
采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，得到所述非前景区域中的黄色禁停线，其中，所述非前景区域是指所述待分类图像中所述前景区域以外的图像区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采用yolo物体检测框架从所述待分类图像中提取前景区域，包括：
将所述yolo物体检测框架设置为单一检测所述黄色禁停线的检测模式；
采用所述检测模式的所述yolo物体检测框架从所述待分类图像中计算检测区域的目标置信度，其中，所述检测区域为所述待分类图像预先分割得到的图像小块，每一个所述图像小块代表一所述检测区域；
将所述目标置信度与预设的置信度阈值进行比较，根据所述目标置信度高于所述置信度阈值的所述检测区域得到所述前景区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线，包括：
将所述前景区域进行HSV颜色空间的转换，确定所述前景区域所在的颜色空间；
判断所述前景区域所在的颜色空间是否存在目标颜色，若存在，则基于所述前景区域中存在的所述目标颜色，采用最小二乘法在所述前景区域进行直线拟合，其中，所述目标颜色为黄色；
根据直线拟合的结果得到所述前景区域中的黄色禁停线。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在所述采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别的步骤之前，所述方法还包括：
获取训练样本，所述训练样本包括黄色禁停线的训练图片；
初始化卷积神经网络；
将所述训练样本输入到初始化后的卷积神经网络中进行训练，得到所述卷积神经网络模型，所述卷积神经网络模型用于识别所述黄色禁停线。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，包括：
采用所述卷积神经网络模型提取所述非前景区域的特征向量；
基于所述特征向量，在所述卷积神经网络模型中计算得到黄色禁停线的分类概率；
将所述黄色禁停线的分类概率大于预设分类阈值的非前景区域确定为所述黄色禁停线。
第二方面，本发明实施例提供了一种黄色禁停线识别装置，包括：
待分类图像获取模块，用于获取待分类图像，所述待分类图像与地面标线相关；
前景区域获取模块，用于采用yolo物体检测框架从所述待分类图像中提取前景区域，其中，所述yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的所述候选框为所述前景区域，所述黄色禁停线为所述地面标线中的一种；
前景区域黄色禁停线获取模块，用于基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线；
非前景区域黄色禁停线获取模块，用于采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，得到所述非前景区域中的黄色禁停线，其中，所述非前景区域是指所述待分类图像中所述前景区域以外的图像区域。
第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述黄色禁停线识别方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，包括：计算机程序，当所述计算机程序被所述处理器执行时，用以执行第一方面任一项所述的黄色禁停线识别方法。
在本发明实施例中，首先获取待分类图像，以从与地面标线相关的待分类图像中识别黄色禁停线；接着采用yolo物体检测框架从待分类图像中提取前景区域，得到疑似包括黄色禁停线的候选框，能够快速、精确地确定待分类图像中有较大概率包括黄色禁停线的前景区域；然后基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线，能够快速地在待分类图像中确定一部分黄色禁停线；最后，采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到所述非前景区域中的黄色禁停线，能够对初次采用yolo物体检测框架检测不出的黄色禁停线也识别出来。本发明实施例在保证识别准确率的前提下，能够实现黄色禁停线的近实时识别。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例中基于黄色禁停线识别方法的一流程图；
图2是本发明一实施例中基于黄色禁停线识别装置的一示意图；
图3是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中黄色禁停线识别方法的一流程图。该黄色禁停线识别方法可应用在黄色禁停线识别系统中，在从路面标线中识别黄色禁停线可采用该黄色禁停线识别系统进行识别。该黄色禁停线识别系统具体可应用在计算机设备上，其中，该计算机设备是可与用户进行人机交互的设备，包括但不限于电脑、智能手机和平板等设备。如图1所示，该黄色禁停线识别方法包括如下步骤：
S10：获取待分类图像，待分类图像与地面标线相关。
可以理解地，在车辆行驶过程中，车载黄色禁停线识别系统将通过摄像设备实时获取与地面标线相关的图像，该图像为待分类图像。
在一实施例中，黄色禁停线识别系统获取待分类图像，以在待分类图像中出现黄色禁停线时，能够快速识别黄色禁停线，并做出预设的反应。
S20：采用yolo物体检测框架从待分类图像中提取前景区域，其中，yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的候选框为前景区域，黄色禁停线为地面标线中的一种。
其中，yolo(You Only Look Once)物体检测框架是一种能够对物体进行检测，并对物体进行分类的模型。候选框表示疑似存在黄色禁停线的标示框。
在一实施例中，采用yolo物体检测框架从待分类图像中提取前景区域。该yolo物体检测框架是预先经过训练得到的，其中，训练该yolo物体检测框架的训练样本包括各种不同类型的地面标线，黄色禁停线是其中的一种训练样本。特别地，黄色禁停线与其他地面标线训练样本的比例可以都是1:1，采用该等比例的训练样本可以有效防止yolo物体检测框架的过拟合现象，提高yolo物体检测框架的检测准确率和分类准确率。
可以理解地，当待分类图像中出现黄色禁停线时，yolo物体检测框架将快速确定待分类图像中有较大概率属于黄色禁停线的区域，该区域也即前景区域。
进一步地，在步骤S20中，采用yolo物体检测框架从待分类图像中提取前景区域，具体包括：
S21：将yolo物体检测框架设置为单一检测黄色禁停线的检测模式。
可以理解地，在通常场景下yolo物体检测框架是用来检测物体并将物体进行分类的，考虑到本发明实施例只需检测黄色禁停线即可，而除黄色禁停线以外的地面标线的检测和分类是不必要的，因此，可以将yolo物体检测框架设置为单一检测黄色禁停线的检测模式，其中，该设置由黄色禁停线识别系统实现。
具体地，在训练yolo物体检测框架时，将训练样本分为黄色禁停线训练样本和非黄色禁停线训练样本，其中非黄色禁停线训练样本可以包括除黄色禁停线的任意样本，不仅仅局限于地面标线，另外，同样将黄色禁停线训练样本和非黄色禁停线训练样本的比例设为1:1，以防止训练得到的yolo物体检测框架出现过拟合现象。在采用该训练样本训练得到的yolo物体检测框架后，将把该yolo物体检测框架以文件形式存储在黄色禁停线识别系统中，系统可以随时调用文件将yolo物体检测框架设置为单一检测黄色禁停线的检测模式。
在一实施例中，将yolo物体检测框架设置为单一检测黄色禁停线的检测模式，能够在检测时只关心黄色禁停线，将其他非黄色禁停线部分归为一类，有助于确定黄色禁停线在待分类图像的位置，进一步提高处理效率。
S22：采用检测模式的yolo物体检测框架从待分类图像中计算检测区域的目标置信度，其中，检测区域为待分类图像预先分割得到的图像小块，每一个图像小块代表一检测区域。
其中，目标置信度展现的黄色禁停线有一定概率落在检测区域内的程度。
在一实施例中，首先待分类图像在计算检测区域的目标置信度之前需要进行切割，具体地，当待分类图像为正方形时，可以将待分类图像分成s*s的图像小块，每一图像小块块对应一检测区域；当待分类图像为长方形时，同样可以分成等大小的a*b图像小块作为检测区域。一般情况下，待分类图像的切割将采用等大小切割的方式得到检测区域，可以在检测时提高不同检测区域之间边缘特征的联系，提高后续得到的前景区域中包括黄色禁停线的概率。
在一实施例中，在确定检测区域后，采用单一检测黄色禁停线的检测模式计算待分类图像中每一检测区域的目标置信度，以根据目标置信度确定前景区域。
S23：将目标置信度与预设的置信度阈值进行比较，根据目标置信度高于置信度阈值的检测区域得到前景区域。
步骤S21-S23中，采用单一检测黄色禁停线的检测模式有助于确定黄色禁停线在待分类图像的位置，采用检测模式的yolo物体检测框架从待分类图像中计算检测区域的目标置信度，并将目标置信度与预设的置信度阈值进行比较得到前景区域，能够提高前景区域中包括黄色禁停线概率，使得在采用yolo物体检测框架时就已把待分类图像中的大部分黄色禁停线识别了出来。
S30：基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线。
其中，颜色空间也称彩色模型(又称彩色空间或彩色系统)它的用途是在某些标准下用通常可接受的方式对彩色加以说明。
在一实施例中，由于黄色禁停线和其他地面标线等物体在颜色上存在差别，可以采用颜色空间对前景区域中的黄色禁停线进行识别，并从前景区域中得到黄色禁停线。采用颜色空间能够借助黄色禁停线本身的特征与其他物体进行区分，可以快速、准确地从前景区域中得到黄色禁停线。
进一步地，在步骤S30中，基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线，具体包括：
S31：将前景区域进行HSV颜色空间的转换，确定前景区域所在的颜色空间。
在一实施例中，颜色空间具体可以采用HSV颜色空间，该HSV颜色空间相比其他颜色空间在识别黄色禁停线上的效果更好，准确率更高。
S32：判断前景区域所在的颜色空间是否存在目标颜色，若存在，则基于前景区域中存在的目标颜色，采用最小二乘法在前景区域进行直线拟合，其中，目标颜色为黄色。
可以理解地，除了黄色禁停线关于颜色上的特征外，黄色禁停线还需满足直线的关系，从而根据该直线的要求更进一步地确定前景区域中的黄色禁停线，排除非直线的具备黄色特征的物体。
在一实施例中，当前景区域中存在的黄色，则采用最小二乘法对前景区域中存在的黄色进行直线拟合，具体地，可以建立直角坐标系，以图像的像素作为最小单位，采用坐标的方式表示前景区域中各个代表黄色像素的位置，再根据代表黄色像素坐标，采用最小二乘法进行直线拟合，进而识别前景区域中的黄色禁停线。本实施例通过考虑黄色禁停线在颜色以及形状上的特征进行综合判断，能够有效提高前景区域中黄色禁停线识别的准确率。
S33：根据直线拟合的结果得到前景区域中的黄色禁停线。
在一实施例中，当直线拟合结果为真，则得到前景区域中的黄色禁停线。
步骤S31-S33中，综合考虑黄色禁停线的特征，采用颜色空间和直线拟合的方法在前景区域中识别得到黄色禁停线，采用该方法识别前景区域中的黄色禁停线的准确率较高。
S40：采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线，其中，非前景区域是指待分类图像中前景区域以外的图像区域。
可以理解地，前景区域只是待分类图像中黄色禁停线出现概率较大的区域，并不代表非前景区域没有黄色禁停线。在受光照、积水和腐蚀等不利环境因素的影响下，非前景区域内黄色禁停线在待分类图像中的占比将随不利环境因素的影响程度而增大，简单地说，就是在不利环境因素影响下，yolo物体检测模型的检测效果会相对降低。
在一实施例中，具体可以采用卷积神经网络模型对非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线。卷积神经网络是一种深度神经网络，可以提取黄色禁停线的深层特征，即使在不利环境因素的影响下，仍然保持较高的识别准确率。卷积神经网络与yolo神经网络(训练yolo物体检测模型的神经网络)相比，卷积神经网络的速度会相对慢些。
进一步地，在步骤S40之前，还包括：
S411：获取训练样本，训练样本包括黄色禁停线的训练图片。
在一实施例中，将包括黄色禁停线的训练图片作为训练样本，以让卷积神经网络能够学习黄色禁停线的深层特征，并与其他训练样本的特征充分区分开来。
S412：初始化卷积神经网络。
其中，卷积神经网络包括网络参数，网络参数包括权值和偏置。在一实施例中，令卷积神经网络初始化的权值满足公式nl表示在第l层输入的训练样本的样本个数，S()表示方差运算，Wl表示第l层的权值，/>表示任意，l表示卷积神经网络中的第l层，采用该初始的方式可以提高卷积神经网络模型训练的效率，有助于提高卷积神经网络模型的识别准确率。该初始化卷积神经网络的步骤与步骤S411没有先后执行的限制，可以在步骤S411之后也可以在之前执行。
S413：将训练样本输入到初始化后的卷积神经网络中进行训练，得到卷积神经网络模型，卷积神经网络模型用于识别黄色禁停线。
在一实施例中，在获取所需的训练样本和初始化卷积神经网络后，将训练样本输入到初始化后的卷积神经网络中进行训练，即可根据训练样本对卷积神经网络中的网络参数进行迭代更新，使训练样本在卷积神经网络中输出的结果在误差允许的范围内达到期望的结果，得到用于识别黄色禁停线的卷积神经网络模型。
步骤S411-S413提供了一种训练卷积神经网络模型方法，采用该方法可以加快模型训练的过程，并得到识别率较高的卷积神经网络模型。
进一步地，在步骤S40中，采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，具体包括：
S421：采用卷积神经网络模型提取非前景区域的特征向量。
S422：基于特征向量，在卷积神经网络模型中计算得到黄色禁停线的分类概率。
S423：将黄色禁停线的分类概率大于预设分类阈值的非前景区域确定为黄色禁停线。
在步骤S421-S423中，可以理解地，卷积神经网络模型在提取非前景区域的特征向量后，需要与训练时提取的训练样本的深层特征进行比较，判断在提取非前景区域的特征向量属于训练样本中的哪一类，当黄色禁停线的分类概率大于预设分类阈值时，则可确定该提取的特征向量所对应的非前景区域为黄色禁停线。在本实施例中，提供了一种确定黄色禁停线的方法，可以有效确定哪些非前景区域为黄色禁停线。
可以理解地，在本发明实施中先采用yolo物体检测框架识别前景区域中的黄色禁停线，结合yolo物体检测框架的检测速度快的优点，使得待识别图像中大部分的黄色禁停线在该阶段就被识别出来，对于部分因不利环境因素影响的而没有识别出来的，只包括在待识别图像中占比较小的非前景区域中，此时虽采用卷积识别的速度会比较慢，但是由于非前景区域占比较小，因此不会消耗很多时间在识别上，且能够准确识别出非前景区域中的黄色禁停线。通过将两个识别阶段相结合，达到既快速又准确识别待识别图像中黄色禁停线的效果。
在本发明实施例中，首先获取待分类图像，以从与地面标线相关的待分类图像中识别黄色禁停线；接着采用yolo物体检测框架从待分类图像中提取前景区域，得到疑似包括黄色禁停线的候选框，能够快速、精确地确定待分类图像中有较大概率包括黄色禁停线的前景区域；然后基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线，能够快速地在待分类图像中确定一部分黄色禁停线；最后，采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线，能够对初次采用yolo物体检测框架检测不出的黄色禁停线也识别出来。本发明实施例在保证识别准确率的前提下，能够实现黄色禁停线的近实时识别。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
基于实施例中所提供的黄色禁停线识别方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中黄色禁停线识别方法一一对应的黄色禁停线识别装置的原理框图。如图2所示，该黄色禁停线识别装置包括待分类图像获取模块10、前景区域获取模块20、前景区域黄色禁停线获取模块30和非前景区域黄色禁停线获取模块40。其中，待分类图像获取模块10、前景区域获取模块20、前景区域黄色禁停线获取模块30和非前景区域黄色禁停线获取模块40的实现功能与实施例中黄色禁停线识别方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
待分类图像获取模块10，用于获取待分类图像，待分类图像与地面标线相关。
前景区域获取模块20，用于采用yolo物体检测框架从待分类图像中提取前景区域，其中，yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的候选框为前景区域，黄色禁停线为地面标线中的一种。
前景区域黄色禁停线获取模块30，用于基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线。
非前景区域黄色禁停线获取模块40，用于采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线，其中，非前景区域是指待分类图像中前景区域以外的图像区域。
可选地，前景区域获取模块20包括检测模式转变单元、目标置信度计算单元和前景区域获取单元。
检测模式转变单元，用于将yolo物体检测框架设置为单一检测黄色禁停线的检测模式。
目标置信度计算单元，用于采用检测模式的yolo物体检测框架从待分类图像中计算检测区域的目标置信度，其中，检测区域为待分类图像预先分割得到的图像小块，每一个图像小块代表一检测区域。
前景区域获取单元，用于将目标置信度与预设的置信度阈值进行比较，根据目标置信度高于置信度阈值的检测区域得到前景区域。
可选地，前景区域黄色禁停线获取模块30包括颜色空间确定单元、目标颜色判断单元和前景区域黄色禁停线获取单元。
颜色空间确定单元，用于将前景区域进行HSV颜色空间的转换，确定前景区域所在的颜色空间。
目标颜色判断单元，用于判断前景区域所在的颜色空间是否存在目标颜色，若存在，则基于前景区域中存在的目标颜色，采用最小二乘法在前景区域进行直线拟合，其中，目标颜色为黄色。
前景区域黄色禁停线获取单元，用于根据直线拟合的结果得到前景区域中的黄色禁停线。
可选地，黄色禁停线识别装置还包括训练样本获取单元、初始化单元和卷积神经网络模型获取单元。
训练样本获取单元，用于获取训练样本，训练样本包括黄色禁停线的训练图片。
初始化单元，用于初始化卷积神经网络。
卷积神经网络模型获取单元，用于将训练样本输入到初始化后的卷积神经网络中进行训练，得到卷积神经网络模型，卷积神经网络模型用于识别黄色禁停线。
可选地，非前景区域黄色禁停线获取模块40包括非前景区域特征向量提取单元、分类概率计算单元和非前景区域黄色禁停线获取单元。
非前景区域特征向量提取单元，用于采用卷积神经网络模型提取非前景区域的特征向量。
分类概率计算单元，用于基于特征向量，在卷积神经网络模型中计算得到黄色禁停线的分类概率。
非前景区域黄色禁停线获取单元，用于将黄色禁停线的分类概率大于预设分类阈值的非前景区域确定为黄色禁停线。
在本发明实施例中，首先获取待分类图像，以从与地面标线相关的待分类图像中识别黄色禁停线；接着采用yolo物体检测框架从待分类图像中提取前景区域，得到疑似包括黄色禁停线的候选框，能够快速、精确地确定待分类图像中有较大概率包括黄色禁停线的前景区域；然后基于颜色空间对前景区域中的黄色禁停线进行识别，得到前景区域中的黄色禁停线，能够快速地在待分类图像中确定一部分黄色禁停线；最后，采用卷积神经网络模型对待分类图像中非前景区域的黄色禁停线进行识别，得到非前景区域中的黄色禁停线，能够对初次采用yolo物体检测框架检测不出的黄色禁停线也识别出来。本发明实施例在保证识别准确率的前提下，能够实现黄色禁停线的近实时识别。
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例中黄色禁停线识别方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器执行时实现实施例中黄色禁停线识别装置中各模块/单元的功能，为避免重复，此处不一一赘述。
图3是本发明一实施例提供的计算机设备的示意图。如图3所示，该实施例的计算机设备50包括：处理器51、存储器52以及存储在存储器52中并可在处理器51上运行的计算机程序53，该计算机程序53被处理器51执行时实现实施例中的黄色禁停线识别方法，为避免重复，此处不一一赘述。或者，该计算机程序53被处理器51执行时实现实施例中黄色禁停线识别装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备50可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备50可包括，但不仅限于，处理器51、存储器52。本领域技术人员可以理解，图3仅仅是计算机设备50的示例，并不构成对计算机设备50的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器51可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器52可以是计算机设备50的内部存储单元，例如计算机设备50的硬盘或内存。存储器52也可以是计算机设备50的外部存储设备，例如计算机设备50上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器52还可以既包括计算机设备50的内部存储单元也包括外部存储设备。存储器52用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器52还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (6)
1.一种黄色禁停线识别方法，其特征在于，所述方法包括：
获取待分类图像，所述待分类图像与地面标线相关；
采用yolo物体检测框架从所述待分类图像中提取前景区域，其中，所述yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的所述候选框为所述前景区域，所述黄色禁停线为所述地面标线中的一种；
基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线；
采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，得到所述非前景区域中的黄色禁停线，其中，所述非前景区域是指所述待分类图像中所述前景区域以外的图像区域；
其中，所述采用yolo物体检测框架从所述待分类图像中提取前景区域，包括：
将所述yolo物体检测框架设置为单一检测所述黄色禁停线的检测模式；
采用所述检测模式的所述yolo物体检测框架从所述待分类图像中计算检测区域的目标置信度，其中，所述检测区域为所述待分类图像预先分割得到的图像小块，每一个所述图像小块代表一所述检测区域；
将所述目标置信度与预设的置信度阈值进行比较，根据所述目标置信度高于所述置信度阈值的所述检测区域得到所述前景区域；
所述基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线，包括：
将所述前景区域进行HSV颜色空间的转换，确定所述前景区域所在的颜色空间；
判断所述前景区域所在的颜色空间是否存在目标颜色，若存在，则基于所述前景区域中存在的所述目标颜色，采用最小二乘法在所述前景区域进行直线拟合，其中，所述目标颜色为黄色；
根据直线拟合的结果得到所述前景区域中的黄色禁停线。
2.根据权利要求1所述的方法，其特征在于，在所述采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别的步骤之前，所述方法还包括：
获取训练样本，所述训练样本包括黄色禁停线的训练图片；
初始化卷积神经网络；
将所述训练样本输入到初始化后的卷积神经网络中进行训练，得到所述卷积神经网络模型，所述卷积神经网络模型用于识别所述黄色禁停线。
3.根据权利要求1或2所述的方法，其特征在于，所述采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，包括：
采用所述卷积神经网络模型提取所述非前景区域的特征向量；
基于所述特征向量，在所述卷积神经网络模型中计算得到黄色禁停线的分类概率；
将所述黄色禁停线的分类概率大于预设分类阈值的非前景区域确定为所述黄色禁停线。
4.一种黄色禁停线识别装置，其特征在于，所述装置包括：
待分类图像获取模块，用于获取待分类图像，所述待分类图像与地面标线相关；
前景区域获取模块，用于采用yolo物体检测框架从所述待分类图像中提取前景区域，其中，所述yolo物体检测框架的检测结果以候选框的形式表示，检测结果中类别为黄色禁停线的所述候选框为所述前景区域，所述黄色禁停线为所述地面标线中的一种；
前景区域黄色禁停线获取模块，用于基于颜色空间对所述前景区域中的黄色禁停线进行识别，得到所述前景区域中的黄色禁停线；
非前景区域黄色禁停线获取模块，用于采用卷积神经网络模型对所述待分类图像中非前景区域的黄色禁停线进行识别，得到所述非前景区域中的黄色禁停线，其中，所述非前景区域是指所述待分类图像中所述前景区域以外的图像区域；
所述前景区域获取模块，包括：
检测模式转变单元，用于将所述yolo物体检测框架设置为单一检测所述黄色禁停线的检测模式；
目标置信度计算单元，用于采用所述检测模式的所述yolo物体检测框架从所述待分类图像中计算检测区域的目标置信度，其中，所述检测区域为所述待分类图像预先分割得到的图像小块，每一个所述图像小块代表一所述检测区域；
前景区域获取单元，用于将所述目标置信度与预设的置信度阈值进行比较，根据所述目标置信度高于所述置信度阈值的所述检测区域得到所述前景区域；
所述前景区域黄色禁停线获取模块，包括：
颜色空间确定单元，用于将所述前景区域进行HSV颜色空间的转换，确定所述前景区域所在的颜色空间；
目标颜色判断单元，用于判断所述前景区域所在的颜色空间是否存在目标颜色，若存在，则基于所述前景区域中存在的所述目标颜色，采用最小二乘法在所述前景区域进行直线拟合，其中，所述目标颜色为黄色；
前景区域黄色禁停线获取单元，用于根据直线拟合的结果得到所述前景区域中的黄色禁停线。
5.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述黄色禁停线识别方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述黄色禁停线识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910062723.7A CN109919002B (zh) | 2019-01-23 | 2019-01-23 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
| PCT/CN2019/115947 WO2020151299A1 (zh) | 2019-01-23 | 2019-11-06 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910062723.7A CN109919002B (zh) | 2019-01-23 | 2019-01-23 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919002A CN109919002A (zh) | 2019-06-21 |
| CN109919002B true CN109919002B (zh) | 2024-02-27 |
Family
ID=66960527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910062723.7A Active CN109919002B (zh) | 2019-01-23 | 2019-01-23 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109919002B (zh) |
| WO (1) | WO2020151299A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919002B (zh) * | 2019-01-23 | 2024-02-27 | 平安科技（深圳）有限公司 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
| CN111008672B (zh) * | 2019-12-23 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 样本提取方法、装置、计算机可读存储介质和计算机设备 |
| CN111325716B (zh) * | 2020-01-21 | 2023-09-01 | 上海万物新生环保科技集团有限公司 | 屏幕划痕碎裂检测方法及设备 |
| CN112348905B (zh) * | 2020-10-30 | 2023-12-19 | 深圳市优必选科技股份有限公司 | 一种颜色识别方法、装置、终端设备及存储介质 |
| CN112418061B (zh) * | 2020-11-19 | 2024-01-23 | 城云科技（中国）有限公司 | 一种车辆禁停区域确定方法及系统 |
| CN112613344B (zh) * | 2020-12-01 | 2024-04-16 | 浙江华锐捷技术有限公司 | 车辆占道检测方法、装置、计算机设备和可读存储介质 |
| CN113537248B (zh) * | 2021-08-13 | 2024-06-07 | 珠海格力电器股份有限公司 | 图像识别方法和装置、电子设备和存储介质 |
| CN119131736B (zh) * | 2024-11-11 | 2025-02-14 | 江西师范大学 | 一种基于聚合式提示增强的路面交通标线检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116985A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术（北京）有限公司 | 一种违章停车检测方法和装置 |
| CN107122776A (zh) * | 2017-04-14 | 2017-09-01 | 重庆邮电大学 | 一种基于卷积神经网络的交通标志检测与识别方法 |
| CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
| CN107358242A (zh) * | 2017-07-11 | 2017-11-17 | 浙江宇视科技有限公司 | 目标区域颜色识别方法、装置及监控终端 |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN107633229A (zh) * | 2017-09-21 | 2018-01-26 | 北京智芯原动科技有限公司 | 基于卷积神经网络的人脸检测方法及装置 |
| CN107679508A (zh) * | 2017-10-17 | 2018-02-09 | 广州汽车集团股份有限公司 | 交通标志检测识别方法、装置及系统 |
| JP2018092501A (ja) * | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | 車載用画像処理装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6702849B2 (ja) * | 2016-12-22 | 2020-06-03 | 株式会社Ｓｏｋｅｎ | 区画線認識装置 |
| US10242282B2 (en) * | 2017-03-20 | 2019-03-26 | Conduent Business Services, Llc | Video redaction method and system |
| CN108229421B (zh) * | 2018-01-24 | 2021-07-02 | 华中科技大学 | 一种基于深度视频信息的坠床行为实时检测方法 |
| CN109241904B (zh) * | 2018-08-31 | 2023-10-20 | 平安科技（深圳）有限公司 | 文字识别模型训练、文字识别方法、装置、设备及介质 |
| CN109919002B (zh) * | 2019-01-23 | 2024-02-27 | 平安科技（深圳）有限公司 | 黄色禁停线识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-01-23 CN CN201910062723.7A patent/CN109919002B/zh active Active
- 2019-11-06 WO PCT/CN2019/115947 patent/WO2020151299A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116985A (zh) * | 2013-01-21 | 2013-05-22 | 信帧电子技术（北京）有限公司 | 一种违章停车检测方法和装置 |
| JP2018092501A (ja) * | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | 車載用画像処理装置 |
| CN107122776A (zh) * | 2017-04-14 | 2017-09-01 | 重庆邮电大学 | 一种基于卷积神经网络的交通标志检测与识别方法 |
| CN107134144A (zh) * | 2017-04-27 | 2017-09-05 | 武汉理工大学 | 一种用于交通监控的车辆检测方法 |
| CN107358242A (zh) * | 2017-07-11 | 2017-11-17 | 浙江宇视科技有限公司 | 目标区域颜色识别方法、装置及监控终端 |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和系统、电力设备的识别方法 |
| CN107633229A (zh) * | 2017-09-21 | 2018-01-26 | 北京智芯原动科技有限公司 | 基于卷积神经网络的人脸检测方法及装置 |
| CN107679508A (zh) * | 2017-10-17 | 2018-02-09 | 广州汽车集团股份有限公司 | 交通标志检测识别方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 颜色和形态学在交通标志识别中的应用研究;姜雪宁 等;测绘与空间地理信息;20141225;第37卷(第12期);第17-21页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020151299A1 (zh) | 2020-07-30 |
| CN109919002A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919002B (zh) | 黄色禁停线识别方法、装置、计算机设备及存储介质 | |
| CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| TWI744283B (zh) | 一種單詞的分割方法和裝置 | |
| US20190279014A1 (en) | Method and apparatus for detecting object keypoint, and electronic device | |
| CN110838126B (zh) | 细胞图像分割方法、装置、计算机设备和存储介质 | |
| US20210192227A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| US8488881B2 (en) | Object segmentation at a self-checkout | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN107169985A (zh) | 一种基于对称帧间差分和背景更新的运动目标检测方法 | |
| CN106022231A (zh) | 一种基于多特征融合的行人快速检测的技术方法 | |
| CN112651953B (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN101770583B (zh) | 一种基于场景全局特征的模板匹配方法 | |
| CN104766344B (zh) | 基于运动边缘提取器的车辆检测方法 | |
| CN108846844A (zh) | 一种基于海天线的海面目标检测方法 | |
| CN114359932B (zh) | 文本检测方法、文本识别方法及装置 | |
| CN110599516A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN112749673A (zh) | 一种基于遥感影像智能提取储油罐库存的方法及装置 | |
| CN105354575A (zh) | 一种海天线检测中图像二值化阈值确定方法 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
| CN106127210A (zh) | 一种基于多特征的显著性检测方法 | |
| CN106485733A (zh) | 一种在红外图像中跟踪感兴趣目标的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |