CN113989770B - 交通道路标牌识别方法、装置、设备及存储介质 - Google Patents
交通道路标牌识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113989770B CN113989770B CN202111249974.XA CN202111249974A CN113989770B CN 113989770 B CN113989770 B CN 113989770B CN 202111249974 A CN202111249974 A CN 202111249974A CN 113989770 B CN113989770 B CN 113989770B
- Authority
- CN
- China
- Prior art keywords
- road sign
- information
- road
- recognition
- final frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 13
- 238000007689 inspection Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了交通道路标牌识别方法、装置、设备及存储介质，该方法包括：响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；根据所计算的道路标牌类型置信度，选取最终帧图像；对所述最终帧图像进行道路标牌信息识别。本发明能够降低对现场分析算力的需求，优化道路标牌的识别。
Description
技术领域
本发明涉及图像处理领域，具体地说，涉及交通道路标牌识别方法、装置、设备及存储介质。
背景技术
随着交通运输在我国的不断发展，作为交通管理重要环节的交通道路标牌的工作状态、规范性直接影响着人民出行、物流运输的体验，以及交通事故的发生率。道路管理部门需要对道路标牌进行定期巡检，但传统巡检主要采用人工方式，在效率、成本、准确性上均有待提高。
目前的交通道路标牌识别主要存在如下问题：
常规的交通道路标牌识别方法，需要持续采集路面信息，并需要大量识别计算，因此对现场智能分析算力条件要求较高。有时需要将采集的视频进行录制，返回驻地后再进行识别分析，费时费力；
由于交通道路标牌往往多道路标牌同时出现的情况，造成识别数据定位困难，数据混乱；
车辆行驶过程中，虽然能识别出道路标牌，但识别距离较远，图像像素较低造成模糊；而识别距离近时，由于道路标牌位移速度较快，也会造成图像模糊，而且会发生错过的情况；
同一块道路标牌反复识别与登记的问题；
在巡检中，同样存在持续采集路面信息，进行比对道路标牌数据，造成算力要求高，需要录制后返回驻地后再分析的情况，造成巡检问题结果不及时的情况。
由此，如何降低对现场分析算力的需求，优化道路标牌的识别是本领域技术人员亟待解决的技术问题。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供交通道路标牌识别方法、装置、设备及存储介质，克服了现有技术的困难，降低对现场分析算力的需求，优化道路标牌的识别。
本发明的实施例提供一种交通道路标牌识别方法，包括：
响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；
根据所计算的道路标牌类型置信度，选取最终帧图像；
对所述最终帧图像进行道路标牌信息识别。
在本发明的一些实施例中，所述对所述最终帧图像进行道路标牌信息识别之后还包括：
将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中。
在本发明的一些实施例中，所述道路标牌的定位信息根据如下步骤获取：
获取定位信息的时间序列；
获取所述最终帧图像的采集时间；
根据所述最终帧图像的采集时间与所述定位信息的时间序列的匹配，确定所述道路标牌的定位信息。
在本发明的一些实施例中，所述将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中还包括：
将所述道路标牌的在所述最终帧图像中的位置信息储存至道路标牌数据库中。
在本发明的一些实施例中，所述将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中之后，还包括：
在巡检阶段，于所述道路标牌数据库中的所述定位信息处采集图像；
识别所采集图像中的道路标牌的道路标牌信息；
将所述巡检阶段中，所识别的道路标牌信息与所述道路标牌数据库中的道路标牌信息进行比对；
输出比对结果。
在本发明的一些实施例中，所述根据所计算的道路标牌类型置信度，选取最终帧图像包括：
当所计算的道路标牌类型置信度大于设定阈值时，将当前图像作为所述最终帧图像。
在本发明的一些实施例中，所述对所述最终帧图像进行道路标牌信息识别之后还包括：
对连续最终帧中识别出相同道路标牌信息的道路标牌进行标注。
根据本发明的又一方面，还提供一种交通道路标牌识别装置，包括：
置信度计算模块，配置成响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；
最终帧选取模块，配置成根据所计算的道路标牌类型置信度，选取最终帧图像；
识别模块，配置成对所述最终帧图像进行道路标牌信息识别。
根据本发明的又一方面，还提供一种交通道路标牌识别出理设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行如上所述交通道路标牌识别方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述交通道路标牌识别方法的步骤。
相比现有技术，本发明的目的在于：
本发明通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的交通道路标牌识别方法的一种实施例的流程图。
图2是本发明的交通道路标牌识别方法的另一种实施例的流程图。
图3是本发明的交通道路标牌识别方法的又一种实施例的流程图。
图4是本发明的交通道路标牌识别方法的识别道路标牌的流程图。
图5是本发明的交通道路标牌识别方法的道路标牌巡检的流程图。
图6是本发明的交通道路标牌识别装置的一种实施例的模块示意图。
图7是本发明的交通道路标牌识别装置的另一种实施例的模块示意图。
图8是本发明的交通道路标牌识别系统的一种实施例的模块示意图。
图9是本发明的交通道路标牌识别设备的结构示意图。
图10是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
参见图1，图1是本发明的交通道路标牌识别方法的一种实施例的流程图。本发明的实施例提供一种交通道路标牌识别方法，包括以下步骤：
步骤S110：响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度。
具体而言，采集模块可以设置在车辆上，以进行前向(车辆行驶方向)的图像/视频采集。在一些实施例中，步骤S110可以通过对采集模块采集的图像(也可称之为图像帧)中的道路标牌的识别来实现。
具体而言，道路标牌的识别可以是道路标牌轮廓的识别。道路标牌轮廓的识别算力要求较低。由此，仅当识别到道路标牌轮廓后，才执行道路标牌类型置信度的计算。换言之，在常态下，交通道路标牌识别方法执行的是道路标牌轮廓的识别，从而能够大大降低道路标牌识别的算力需求。
具体而言，计算采集模块自当前时刻采集的图像的道路标牌类型置信度时，还一并识别道路标牌的道路标牌类型。道路标牌的道路标牌类型可以包括但不限于：警告标志、禁令标志、指示标志、指路标志、旅游标志等。道路标牌的道路标牌类型例如可以通过道路标牌的特征(诸如道路标牌的形状、颜色等)，采用卷积神经网络算法进行类型的识别，卷积神经网络算法在识别过程中，还可以一并输出该图像中的道路标牌属于所识别的道路标牌类型置信度。在一些变化例中，道路标牌类型置信度也可以通过其它算法来进行计算。
步骤S120：根据所计算的道路标牌类型置信度，选取最终帧图像。
具体而言，随着车辆前进，标识牌清晰度增加，因此其预测的置信度逐步提升。随这预测置信度达设定阈值后(可按实际调整)，则可以该帧作为该标识牌的最终帧。由此，选取最终帧可以避免了视频录制后识别分析的麻烦，并实现实时分析记录。
步骤S130：对所述最终帧图像进行道路标牌信息识别。
具体而言，步骤S130识别的道路标牌信息可以包括道路标牌含义、道路标牌文字等具体的道路标牌信息。
本发明通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
下面参见图2，图2是本发明的交通道路标牌识别方法的另一种实施例的流程图。如图2所示，该交通道路标牌识别方法，包括：
步骤S201：响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度。
步骤S202：当所计算的道路标牌类型置信度大于设定阈值时，将当前图像作为所述最终帧图像。
步骤S203：对所述最终帧图像进行道路标牌信息识别。
步骤S204：获取定位信息的时间序列。
步骤S205：获取所述最终帧图像的采集时间。
步骤S206：根据所述最终帧图像的采集时间与所述定位信息的时间序列的匹配，确定所述道路标牌的定位信息。
步骤S207：对连续最终帧中识别出相同道路标牌信息的道路标牌进行标注。
具体而言，当连续最终帧中识别出相同道路标牌信息的道路标牌时，可以选取道路标牌类型置信度最大的最终帧，并基于所选取的最终帧，保存从该最终帧中识别出的道路标牌信息(以及定位信息、所述道路标牌在所述最终帧图像中的位置信息)。
步骤S208：将所述道路标牌的道路标牌信息以及定位信息、所述道路标牌在所述最终帧图像中的位置信息储存至道路标牌数据库中。
步骤S209：在巡检阶段，于所述道路标牌数据库中的所述定位信息处采集图像。
步骤S210：识别所采集图像中的道路标牌的道路标牌信息。
步骤S211：将所述巡检阶段中，所识别的道路标牌信息与所述道路标牌数据库中的道路标牌信息进行比对。
步骤S212：输出比对结果。
下面分别结合图3至图5对本申请的具体实现方式进行描述。图3是本发明的交通道路标牌识别方法的又一种实施例的流程图。图3共示出如下步骤：
步骤S310：预设采样周期获取图像帧并进行预处理。
具体而言，步骤S310之步骤S360在车辆行进过程中执行。
图像的采集模块可安放在移动车辆的驾驶仪表台或设置在车辆车顶，便于采集前向图像。采集模块可对采集图像进行预处理，包括按预设时间周期(例如可选取2-5秒间隔，本申请并非以此为限制)进行抽帧保存处理、记录采集时间点等。采集模块输出可为视频或序列图像形态。
步骤S320：按时间序列记录道路标牌视频帧，并对应记录各帧拍摄时的卫星定位信息。
具体而言，由于本申请中各步骤可以并非是按顺序进行的，因此，步骤S320可以在确定道路标牌的最终帧后执行。
由于移动环境下，因此，是交通道路标牌由远及近的过程，同一个道路标牌信息会发生在连续的图像中，但较远的图像，道路标牌分辨率较低，而较近的图像速度较快，容易造成模糊。因此，本申请采用最终帧采集算法，在连续的图像帧中，选取质量较优的最终的图像帧进行分析入库，一方面降低每帧图像重复识别的算力要求，减少重复预测的算力浪费。其次，也提高预测准确性，选择的定位也为后续巡检数据的准确性打下基础。
步骤S330：识别拍摄视野中，是否存在道路标牌，若存在道路标牌，则启动最终帧识别方法。
步骤S340：在道路标牌序列中，基于道路标牌类型置信度选择最终帧。
步骤S350：对最终帧进行二次识别。
具体而言，上述步骤S330至步骤S350将结合图4进行具体描述。
步骤S360：将识别的道路标牌类型、道路标牌含义、道路标牌文字以及定位信息写入道路标牌数据库。
具体而言，步骤S360之后，可以进行道路标牌图像结构化数据入库处理：基于最终帧选取的方法，由于基于目标检测的道路标牌检测方法，将会实现单帧中所有道路标牌目标的检测，对应检测中的道路标牌，将返回道路标牌分类、道路标牌在图像中的位置信息、道路标牌定位信息等。因此对于同一场景下，多道路标牌将分别进行定位识别，并独立登记录入。
具体而言，在多道路标牌场景下，对于前后连续最终帧中，多幅最终帧中出现同一块道路标牌的情况，可通过对连续最终帧中出现相同信息的道路标牌进行标注，便于直接进行删除重复项，或便于人工筛查，防止重复登记。
具体而言，车辆的卫星定位系统同步输出以时间为序列的定位数据，用于形成道路标牌与地理位置的映射关系的结构化数据。相关道路标牌数据库的设计参见下表：
以上仅仅是示意性示出本申请的道路标牌的数据结构。
下面参见图4，图4是本发明的交通道路标牌识别方法的识别道路标牌的流程图。图4共示出如下步骤：
步骤S401：对采集的图像帧进行道路标牌识别(仅识别图像帧中是否存在道路标牌)。
步骤S402：步骤S401识别出道路标牌后，基于道路标牌特征对道路标牌进行编号。
步骤S403：在每个图像帧中，对每个编号的道路标牌，识别其道路标牌类型、道路标牌图案，并计算其置信度。
步骤S404：当某个图像帧的置信度达到设定阈值后，以该图像帧作为该道路标牌的最终帧。
由此，在车牌识别的常态下，通过图像分析处理系统，为降低算力的消耗，识别模块进行道路标牌轮廓的识别。识别出道路标牌后，每识别一个标识牌，基于道路标牌特征，按道路标牌类型进行编号。在同一帧如有多个标识牌，则每个标识牌分别编号，并进行道路标牌的类型、道路标牌图案识别。并计算置信度。一般而言，随着车辆前进，标识牌清晰度增加，因此其预测的置信度逐步提升。随这预测置信度达某一数值后(可按实际调整)，则可以该帧作为该标识牌的最终帧。此最终帧的选取方法，避免了视频录制后识别分析的麻烦，并实现实时分析记录。
进一步地，本申请的道路标牌识别方案中，识别共分三次进行：第一次是常态下，识别道路中的交通道路标牌；第二阶段识别，主要识别交通道路标牌类型包括：警告标志、禁令标志、指示标志、指路标志、旅游标志。交通道路标牌类型识别可以通过：道路标牌的形状、颜色等特征，采用深度学习神经网络算法进行识别，识别准确率较高；通过第二次识别，获得置信度，以获取最终帧；第三阶段识别，道路标牌图像，对于景点等类型道路标牌，可进一步文字识别(诸如OCR(Optical Character Recognition，光学字符识别))，获取景点信息等数据，用于道路标牌数据库录入。
下面参见图5，图5是本发明的交通道路标牌识别方法的道路标牌巡检的流程图。图5共示出如下步骤：
步骤S501：车辆匀速行驶中，位置定位系统判断是否到达数据库中登记的标牌定位位置。
步骤S502：到达记录的定位位置后，进行标牌拍摄。
步骤S503：对标牌图像帧进行识别，识别出标牌、数量、标牌在图像中的位置。
步骤S504：对每个识别出的标牌进行二次识别。
步骤S505：生成巡检标牌数据，与标牌数据库中，当前定位位置的所有标牌数据进行比对，生成识别置信度和准确率。
步骤S506：对低置信度和识别错误的标牌进行现场排查。
由此，通过上述步骤，在路政单位进行巡检时，采用图像采集模块，只在经过道路标牌数据库所表示(标识)的卫星定位地点进行图像采集，识别出巡检中该位置的道路标牌信息，并与原有道路标牌数据库的数据信息进行比对，如发生未识别出、或数据置信度低于某阈值等情况，则判断有道路标牌损毁或破损的情况，此时可发出告警，提醒路政人员进行人工查证并修理。
现有技术对交通牌识别采用常规单次采集识别法，对算力要求高，一般需要采集后进行分析识别。本申请通过三阶段分析，降低设备算力要求，有利于实现交通路牌巡检的实时化分析。
现有专利进行道路巡检对比分析识别过程，对设备算力要求较高。本方法基于已有定位信息，进行针对性的采集比对，降低设备算力要求。
交通路牌往往会集中进行安装，现有专利技术对同场景多路牌的识别会存在识别登记错误、重复登记等问题，本专利并提出了对同场景多路牌的处理识别方法，能够解决以上问题。
和现有技术相比，主要优势在于：可在实时采集分析的情况下，降低路牌识别系统所需要的算力要求，无需返回驻地进行回溯分析；降低多标牌场景下的错误识别和错误录入，并提供了路牌重复登记的处理办法；在巡检过程中，降低巡检识别比对系统所需要的算力要求，无需返回驻地进行回溯分析。
和现有技术相比，主要创造性在于：降低实时路牌图像识别对终端的高算力要求，利于实现实时识别登记。具体为基于三阶段进行识别分析方法，以及使用只针对于已有记录的路牌进行比对的方法，两种方法均可在前期过滤不必要的处理工作；通过最终帧的选取方法，提升道路交通标牌识别质量；设计对单一场景下多标牌识别登记录入路牌数据的方法，以及一种标注重复登记路牌信息的方法，便于自动或人工处理；进行路牌数据分析比对，以识别标牌是否有缺失和破损。
以上仅仅是示意性地描述本发明的具体实现方式，本发明并非也以此为限制，步骤的拆分、合并、执行顺序的变化、模块的拆分、合并、信息传输的变化皆在本发明的保护范围之内。
图6是本发明的交通道路标牌识别装置的一种实施例的模块示意图。本发明的交通道路标牌识别装置600，如图6所示，包括但不限于：置信度计算模块610、最终帧选取模块620以及识别模块630。
置信度计算模块610配置成响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；
最终帧选取模块620配置成根据所计算的道路标牌类型置信度，选取最终帧图像；
识别模块630配置成对所述最终帧图像进行道路标牌信息识别。
上述模块的实现原理参见交通道路标牌识别方法中的相关介绍，此处不再赘述。
本发明的交通道路标牌识别装置通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
图7是本发明的交通道路标牌识别装置的另一种实施例的模块示意图。本发明的交通道路标牌识别装置700包括但不限于：置信度计算模块701、最终帧选取模块702、识别模块703、时间序列获取模块704、采集时间获取模块705、定位信息确定模块706、标注模块707、储存模块708、巡检采集模块709、巡检识别模块710、比对模块711以及输出模块712。
置信度计算模块701，配置成响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度。
最终帧选取模块702，配置成当所计算的道路标牌类型置信度大于设定阈值时，将当前图像作为所述最终帧图像。
识别模块703，配置成对所述最终帧图像进行道路标牌信息识别。
时间序列获取模块704，配置成获取定位信息的时间序列。
采集时间获取模块705，配置成获取所述最终帧图像的采集时间。
定位信息确定模块706，配置成根据所述最终帧图像的采集时间与所述定位信息的时间序列的匹配，确定所述道路标牌的定位信息。
标注模块707，配置成对连续最终帧中识别出相同道路标牌信息的道路标牌进行标注。
储存模块708，配置成将所述道路标牌的道路标牌信息以及定位信息、所述道路标牌在所述最终帧图像中的位置信息储存至道路标牌数据库中。
巡检采集模块709，配置成在巡检阶段，于所述道路标牌数据库中的所述定位信息处采集图像。
巡检识别模块710，配置成识别所采集图像中的道路标牌的道路标牌信息。
比对模块711，配置成将所述巡检阶段中，所识别的道路标牌信息与所述道路标牌数据库中的道路标牌信息进行比对。
输出模块712，配置成输出比对结果。
上述模块的实现原理参见交通道路标牌识别方法中的相关介绍，此处不再赘述。
图6和图7仅仅是示意性的分别示出本发明提供的交通道路标牌识别装置600以及700，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。本发明提供的交通道路标牌识别装置600以及700可以由软件、硬件、固件、插件及他们之间的任意组合来实现，本发明并非以此为限。
图8是本发明的交通道路标牌识别系统的一种实施例的模块示意图。
如图8所示，交通道路标牌识别系统包括图像采集模块801、卫星定位采集模块802、识别模块804、处理模块805、道路标牌数据库807、对比模块806、巡查结果输出模块808。其中，中央处理单元803可以包括识别模块804、处理模块805以及对比模块806。
图像采集模块801以车载图像采集设备，采集车辆行进前方的图像。可对采集图像进行预处理，包括按预设时间周期(可选取2-5秒间隔)进行抽帧保存处理、记录采集时间点信息等。采集模块输出可为视频或序列图像形态。
识别模块804识别流程方法分为三阶段进行，第一阶段常态下识别道路中的交通道路标牌；第二阶段主要识别交通道路标牌类型，图像特征；第三阶段识别，对于景点等类型道路标牌，可进一步OCR识别，获取景点信息等数据，用于道路标牌数据库录入。
卫星定位采集模块802获取采集过程中的位置定位，及移动方向。
处理模块805对预测结果及相关数据以设定格式录入道路标牌数据库或输出至比对模块。
对比模块806巡检过程中，基于已有道路标牌采集位置数据，将定点巡检采集的现场数据与道路标牌数据库的数据进行比对。
巡查结果输出808将相关巡检结果输出至报表等系统。
道路标牌数据库807存储道路标牌文字、定位经纬度、方向、拍摄时间、图像等信息。
图8仅仅是示意性地示出交通道路标牌识别系统的一种实现方式，本申请并非以此为限制。
本发明实施例还提供一种交通道路标牌识别出理设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的交通道路标牌识别方法的步骤。
如上所示，该实施例本发明的交通道路标牌识别出理设备通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本发明的交通道路标牌识别出理设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同平台组件(包括存储单元920和处理单元910)的总线930、显示单元940等。
其中，存储单元存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述交通道路标牌识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元910可以执行如图1中所示的步骤。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备9001(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的交通道路标牌识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述交通道路标牌识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的用以执行交通道路标牌识别的计算机可读存储介质能够通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本申请通过响应于所述采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度，从而根据所计算的道路标牌类型置信度，选取最终帧图像，并对所述最终帧图像进行道路标牌信息识别，以实现三阶段的识别分析，一方面，无需对所有图像都进行道路标牌类型和道路标牌信息的识别，另一方面，可仅对置信度较高的最终帧图像进行道路标牌信息的识别，从而在能够准确识别出道路标牌信息的前提下，降低实时道路标牌图像识别系统对高算力的要求，优化道路标牌的识别。
进一步地，本申请可在实时采集分析的情况下，降低路牌识别系统所需要的算力要求，无需返回驻地进行回溯分析；降低多标牌场景下的错误识别和错误录入，并提供了路牌重复登记的处理办法；在巡检过程中，降低巡检识别比对系统所需要的算力要求，无需返回驻地进行回溯分析。同时，设计了对单一场景下多标牌识别登记录入路牌数据的方法，以及一种标注重复登记路牌信息的方法，便于自动或人工处理。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (8)
1.一种交通道路标牌识别方法，其特征在于，包括：
响应于采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；
根据所计算的道路标牌类型置信度，选取最终帧图像；
对所述最终帧图像进行道路标牌信息识别；
将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中；
在巡检阶段，于所述道路标牌数据库中的所述定位信息处采集图像；
识别所采集图像中的道路标牌的道路标牌信息；
将所述巡检阶段中，所识别的道路标牌信息与所述道路标牌数据库中的道路标牌信息进行比对；
输出比对结果。
2.根据权利要求1所述的交通道路标牌识别方法，其特征在于，所述道路标牌的定位信息根据如下步骤获取：
获取定位信息的时间序列；
获取所述最终帧图像的采集时间；
根据所述最终帧图像的采集时间与所述定位信息的时间序列的匹配，确定所述道路标牌的定位信息。
3.根据权利要求1所述的交通道路标牌识别方法，其特征在于，所述将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中还包括：
将所述道路标牌在所述最终帧图像中的位置信息储存至道路标牌数据库中。
4.根据权利要求1至3任一项所述的交通道路标牌识别方法，其特征在于，所述根据所计算的道路标牌类型置信度，选取最终帧图像包括：
当所计算的道路标牌类型置信度大于设定阈值时，将当前图像作为所述最终帧图像。
5.根据权利要求1至3任一项所述的交通道路标牌识别方法，其特征在于，所述对所述最终帧图像进行道路标牌信息识别之后还包括：
对连续最终帧中识别出相同道路标牌信息的道路标牌进行标注。
6.一种交通道路标牌识别装置，其特征在于，包括：
置信度计算模块，配置成响应于采集模块的采集视野中，存在道路标牌，依次计算采集模块自当前时刻采集的图像的道路标牌类型置信度；
最终帧选取模块，配置成根据所计算的道路标牌类型置信度，选取最终帧图像；
识别模块，配置成对所述最终帧图像进行道路标牌信息识别；
储存模块，配置成将所述道路标牌的道路标牌信息以及定位信息储存至道路标牌数据库中；
巡检采集模块，配置成在巡检阶段，于所述道路标牌数据库中的所述定位信息处采集图像；
巡检识别模块，配置成识别所采集图像中的道路标牌的道路标牌信息；
比对模块，配置成将所述巡检阶段中，所识别的道路标牌信息与所述道路标牌数据库中的道路标牌信息进行比对；
输出模块，配置成输出比对结果。
7.一种交通道路标牌识别出理设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至5任意一项所述交通道路标牌识别方法的步骤。
8.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至5任意一项所述交通道路标牌识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111249974.XA CN113989770B (zh) | 2021-10-26 | 2021-10-26 | 交通道路标牌识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111249974.XA CN113989770B (zh) | 2021-10-26 | 2021-10-26 | 交通道路标牌识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113989770A CN113989770A (zh) | 2022-01-28 |
| CN113989770B true CN113989770B (zh) | 2025-01-03 |
Family
ID=79741787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111249974.XA Active CN113989770B (zh) | 2021-10-26 | 2021-10-26 | 交通道路标牌识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989770B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114579549B (zh) * | 2022-03-02 | 2024-10-01 | 北京百度网讯科技有限公司 | 信息核实方法、装置、电子设备、存储介质及产品 |
| CN115272222A (zh) * | 2022-07-25 | 2022-11-01 | 中科海微(北京)科技有限公司 | 道路检测信息的处理方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106996785A (zh) * | 2016-01-25 | 2017-08-01 | 北京四维图新科技股份有限公司 | 一种对导航数据进行更新的方法及装置 |
| CN113065399A (zh) * | 2021-03-04 | 2021-07-02 | 中创未来智能技术(南京)研究院有限公司 | 基于车载平台的交通标识识别系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902610A (zh) * | 2019-02-22 | 2019-06-18 | 杭州飞步科技有限公司 | 交通标志识别方法和装置 |
| CN111775944B (zh) * | 2019-04-04 | 2021-12-28 | 富泰华工业（深圳）有限公司 | 辅助驾驶装置、方法及计算机可读存储介质 |
| CN110826544A (zh) * | 2019-12-23 | 2020-02-21 | 深圳市豪恩汽车电子装备股份有限公司 | 交通标志检测识别系统及方法 |
| CN111881741B (zh) * | 2020-06-22 | 2024-06-14 | 浙江大华技术股份有限公司 | 车牌识别方法、装置、计算机设备和计算机可读存储介质 |
| CN113076800A (zh) * | 2021-03-03 | 2021-07-06 | 惠州市博实结科技有限公司 | 一种道路标志牌检测方法及装置 |
-
2021
- 2021-10-26 CN CN202111249974.XA patent/CN113989770B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106996785A (zh) * | 2016-01-25 | 2017-08-01 | 北京四维图新科技股份有限公司 | 一种对导航数据进行更新的方法及装置 |
| CN113065399A (zh) * | 2021-03-04 | 2021-07-02 | 中创未来智能技术(南京)研究院有限公司 | 基于车载平台的交通标识识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113989770A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| CN110781711A (zh) | 目标对象识别方法、装置、电子设备及存储介质 | |
| US11990041B2 (en) | Moving body tracking system, moving body tracking method, and program | |
| CN113989770B (zh) | 交通道路标牌识别方法、装置、设备及存储介质 | |
| CN110647886A (zh) | 兴趣点标注方法、装置、计算机设备和存储介质 | |
| CN112613569B (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
| CN110348463B (zh) | 用于识别车辆的方法和装置 | |
| CN115272656A (zh) | 环境检测报警方法、装置、计算机设备及存储介质 | |
| CN111832578A (zh) | 兴趣点信息处理方法、装置、电子设备和存储介质 | |
| Almutairy et al. | Arts: Automotive repository of traffic signs for the united states | |
| CN115272222A (zh) | 道路检测信息的处理方法、装置、设备及存储介质 | |
| CN116630741A (zh) | 一种矿下电机车障碍物智能视觉检测方法 | |
| CN111121797B (zh) | 道路筛选方法、装置、服务器及存储介质 | |
| CN110427911B (zh) | 一种道路检测方法、装置、设备及存储介质 | |
| CN112232354A (zh) | 一种文字识别方法、装置、设备及存储介质 | |
| Kiew et al. | Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm | |
| CN118658065B (zh) | 一种高速公路标线提取方法、装置、设备、介质及产品 | |
| Singh et al. | Evaluating the Performance of Ensembled YOLOv8 Variants in Smart Parking Applications for Vehicle Detection and License Plate Recognition under Varying Lighting Conditions | |
| Zhang et al. | A spatiotemporal distribution identification method of vehicle weights on bridges by integrating traffic video and toll station data | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| Shameli et al. | Computer vision-based generating and updating of the public transit bus stop inventories | |
| CN113962955A (zh) | 一种从图像中识别目标对象的方法、装置及电子设备 | |
| Pham et al. | Performance review of RTI IMS software for automatic road surface damages identification | |
| CN111914830B (zh) | 一种图像中的文本行定位方法、装置、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wu Jing Inventor after: Zhuang Li Inventor after: Zhao Yinling Inventor after: Dong Jiayi Inventor before: Wu Jing Inventor before: Zhuang Li Inventor before: Zhao Yinling Inventor before: Dong Jiayi |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |