CN111967377A - 工程车辆状态识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种工程车辆状态识别方法、装置、设备及存储介质，该方法包括：获取目标区域视觉传感器采集的目标视频；根据目标视频确定目标区域对应的道路场景；若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果；根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。通过先确定道路场景是否为施工场景，然后从施工场景的目标视频中对工程车辆的状态进行识别，能够准确并且快读确定出处于施工状态的工程车辆，进而根据工程车辆的施工状态预先通知给交警部门，对交通进行管制，和/或根据工程车辆的施工状态预先通过路边电子显示屏通知前方具有施工车辆，有效防止交通拥堵和交通事故的发生。

Description

工程车辆状态识别方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种工程车辆状态识别方法、装置、设备及存储介质。

背景技术

随着社会的飞速发展，智能交通也随之得到了快速发展。智能交通是一种先进的一体化交通综合管理系统，它通过先进传感技术、先进通讯手段和计算机处理技术等共同协作作用，使交通更加安全、更有效率。

但目前的智能交通中主要对车辆拥堵情况，发生交通事故情况进行了快速识别和处理。但造成交通拥堵和不安全的另一个重要原因是在街道路口、高速公路等交通场景中具有工程车辆在施工。

而目前智能交通中并没有针对工程车辆是否在施工的识别方法，导致由于工程车辆施工造成的交通拥堵和出现事故的现象频繁发生，所以对施工工程车的状态能否进行准确高效地识别是智能交通中亟需解决的技术问题。

发明内容

本发明实施例提供一种工程车辆状态识别方法、装置、设备及存储介质，该方法解决了现有技术中并没有针对工程车辆是否在施工的识别方法，导致由于工程车辆施工造成的交通拥堵和出现事故的现象频繁发生的技术问题。

第一方面，本发明实施例提供一种工程车辆状态识别方法，包括：

获取目标区域视觉传感器采集的目标视频；

根据所述目标视频确定所述目标区域对应的道路场景；

若所述道路场景为施工场景，则根据所述目标视频对工程车辆进行识别，以获得工程车辆识别结果；

根据所述工程车辆识别结果中包括工程车辆的图像确定所述工程车辆的工作状态。

第二方面，本发明实施例提供一种工程车辆状态识别装置，包括：

视频获取模块，用于获取目标区域视觉传感器采集的目标视频；

场景确定模块，用于根据所述目标视频确定所述目标区域对应的道路场景；

车辆识别模块，用于若所述道路场景为施工场景，则根据所述目标视频对工程车辆进行识别，以获得工程车辆识别结果；

状态确定模块，用于根据所述工程车辆识别结果中包括工程车辆的图像确定所述工程车辆的工作状态。

第三方面，本发明实施例提供一种电子设备，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。

本发明实施例提供一种工程车辆状态识别方法、装置、设备及存储介质，通过获取目标区域视觉传感器采集的目标视频；根据目标视频确定目标区域对应的道路场景；若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果；根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。通过先确定道路场景是否为施工场景，然后从施工场景的目标视频中对工程车辆的状态进行识别，能够准确并且快读确定出处于施工状态的工程车辆，进而根据工程车辆的施工状态预先通知给交警部门，对交通进行管制，和/或根据工程车辆的施工状态预先通过路边电子显示屏通知前方具有施工车辆，有效防止交通拥堵和交通事故的发生。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是可以实现本发明实施例的工程车辆状态识别方法的一种应用场景图；

图2是可以实现本发明实施例的工程车辆状态识别方法的另一种应用场景图；

图3为本发明实施例一提供的工程车辆状态识别方法的流程图；

图4为本发明实施例二提供的工程车辆状态识别方法的流程图；

图5为本发明实施例二提供的工程车辆状态识别方法中步骤204的流程图；

图6为本发明实施例二提供的工程车辆状态识别方法中步骤209的流程图；

图7为本发明实施例二提供的工程车辆状态识别方法中步骤211的流程图；

图8为本发明实施例三提供的工程车辆状态识别装置的结构示意图；

图9为本发明实施例四提供的工程车辆状态识别装置的结构示意图；

图10为本发明实施例四提供的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了清楚理解本发明实施例的技术方案，首先对现有技术的方案进行详细介绍。

现有技术中，智能交通并没有针对工程车辆是否在施工的识别方法，导致由于工程车辆施工造成的交通拥堵和出现事故的现象频繁发生。

所以为了解决现有技术中存在的没有针对工程车辆是否在施工的识别方法，发明人在研究中发现，基于深度学习算法的车辆识别模型能够对车辆进行准确地识别。所以可采用基于深度学习算法的车辆识别模型对工程车辆进行识别，进而根据工程车辆在施工状态和非施工状态的特征对工程车辆的工作状态识别。通过发明人进一步研究发现，在工程车辆处于施工状态下，一般工程车辆会处于施工场景中。所以可首先获取目标区域视觉传感器采集的目标视频，根据目标视频确定目标区域对应的道路场景是否为施工场景，若是施工场景，则再对该目标视频中的工程车辆进行识别，进而根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。通过先确定道路场景是否为施工场景，然后从施工场景的目标视频中对工程车辆的状态进行识别，能够准确并且快读确定出处于施工状态的工程车辆，进而根据工程车辆的施工状态预先通知给交警部门，对交通进行管制，和/或根据工程车辆的施工状态预先通过路边电子显示屏通知前方具有施工车辆，有效防止交通拥堵和交通事故的发生。

下面对本发明实施例提供的工程车辆状态识别方法的应用场景进行介绍。如图1所示，本发明实施例提供的工程车辆状态识别方法对应的应用场景中可以包括：视觉传感器1，电子设备2及用户终端3。其中，视觉传感器1设置在目标区域。电子设备2分别与视觉传感器1和用户终端3进行通信。其中，目标区域可以为预设的街道路口，高速公路等区域。则视觉传感器可周期性采集目标区域的视频数据，该视频数据为目标视频，并将目标视频发送给电子设备2。电子设备2根据目标视频确定目标区域对应的道路场景。如图1所示，确定出目标区域对应的道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果。如图2所示，电子设备2识别出在目标视频中包括工程车辆。则根据包括工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。如在图2中确定出工程车辆的工作状态为施工状态。则电子设备2可向用户终端发送第一告警信息，在第一告警信息中可以包括；目标区域的标识，还可以包括目标视频。则用户可根据用户终端收到的第一告警信息，对目标区域的交通进行管制。其中，用户可以为交警。

可以理解的是，本发明实施例提供的工程车辆状态识别方法的应用场景还可以为其他应用场景。示例性地，如图2所示，在另一种应用场景中，还包括：电子显示屏4。电子显示屏可设置在与目标区域相距预设距离的位置。则在电子设备2确定出工程车辆的工作状态为施工状态后，除了向用户终端3发送第一告警信息后，还可以向电子显示屏4发送第二告警信息，在第二告警信息中可以包括：工程车辆与电子显示屏的距离。则电子显示屏4可将工程车辆与电子显示屏的距离进行显示，以预先通过路边电子显示屏通知其他车辆和/或行人前方具有施工车辆。

以下将参照附图来具体描述本发明的实施例。

实施例一

图3为本发明实施例一提供的工程车辆状态识别方法的流程图，如图3所示，本实施例提供的工程车辆状态识别方法执行主体为工程车辆状态识别装置，该工程车辆状态识别装置可以集成在电子设备中。该电子设备可以为计算机，笔记本电脑，服务器或服务器集群等具有独立计算和处理能力的设备。则本实施例提供的工程车辆状态识别方法包括以下几个步骤。

步骤101，获取目标区域视觉传感器采集的目标视频。

本实施例中，视觉传感器可以为线阵和面阵CCD摄像机或者TV摄像机，数字摄像机，摄像头等，本实施例中对此不作限定。

本实施例中，目标区域为需要进行工程车辆状态识别的区域，如可以为街道路口、一段高速公路对应的区域等。

本实施例中，在获取目标区域视觉传感器采集的目标视频前，首先可将视觉传感器固定设置在目标区域的路侧或道路上方，使视觉传感器的视角面对目标区域的道路。

然后建立电子设备与视觉传感器间的通信连接。其中，电子设备与视觉传感器间的通信方式可以为全球移动通讯(Global System of Mobile communication，简称GSM)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access，简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code Division Multiple Access，简称TD-SCDMA)、长期演进(Long TermEvolution，简称LTE)系统及未来的5G等。本实施例中对此不作限定。

则视觉传感器可周期性地对目标区域进行视频采集，获取目标视频并存储。可选地，电子设备可向视觉传感器发送视频获取请求，则视觉传感器根据视频获取请求获取目标视频，并将目标视频发送给电子设备。或者可选地，在视觉传感器每周期采集到视频后，主动将该视频作为目标视频发送给电子设备，使电子设备接收到视觉传感器采集的目标视频。

其中，在目标视频中包括多帧目标图像。

步骤102，根据目标视频确定目标区域对应的道路场景。

本实施例中，可首先对目标视频中物体进行识别，根据识别出的物体类型确定出目标区域对应的道路场景。

其中，道路场景可以为施工场景和非施工场景。其中，非施工场景如可以为通行场景。

示例性地，若对目标视频中的物体识别后，目标视频中的物体包括电动车、三轮车、小轿车、大客车等非工程车辆，和/或行人等，则确定该道路场景为非施工场景。若对目标视频中的物体识别后，目标视频中的物体包括：黄色路锥，警示牌，施工栅栏，施工工人等施工要素物体，则可确定该道路场景为施工场景。

步骤103，若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果。

本实施例中，若确定道路场景为施工场景，则可采用车辆识别算法对目标视频中的每帧图像进行识别，判断在目标视频中是否存在工程车辆，以获得工程车辆的识别结果。

其中，工程车辆可以为大型拖车，道路清扫车，道路清障车，混凝土泵，搅拌机，起重机等，本实施例中对工程车辆的类型不作限定。

步骤104，根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。

本实施例中，可获取包括工程车辆的图像，并可采用状态识别模型提取工程车辆的状态特征信息，并可根据状态特征信息确定工程车辆的工作状态，输出工程车辆的工作状态。

其中，工程车辆的工作状态可以为施工状态或非施工状态。

本实施例提供的工程车辆状态识别方法，通过获取目标区域视觉传感器采集的目标视频；根据目标视频确定目标区域对应的道路场景；若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果；根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。通过先确定道路场景是否为施工场景，然后从施工场景的目标视频中对工程车辆的状态进行识别，能够准确并且快读确定出处于施工状态的工程车辆，进而根据工程车辆的施工状态预先通知给交警部门，对交通进行管制，和/或根据工程车辆的施工状态预先通过路边电子显示屏通知前方具有施工车辆，有效防止交通拥堵和交通事故的发生。

实施例二

图4为本发明实施例二提供的工程车辆状态识别方法的流程图，如图4所示，本实施例提供的工程车辆状态识别方法，是在本发明实施例一提供的工程车辆状态识别方法的基础上，对步骤102-步骤103的进一步细化，则本实施例提供的工程车辆状态识别方法包括以下步骤。

步骤201，获取目标区域视觉传感器采集的目标视频。

本实施例中，步骤201的实现方式与本发明实施例一中的步骤101的实现方式类似，在此不再一一赘述。

步骤202，获取目标视频中的每帧目标图像。

本实施例中，目标视频由一组图像帧组成，所以对目标视频进行解析，获取多帧图像，每帧图像均为目标图像。

本实施例中，目标图像为彩色图像，如可以为RGB图像或其他类型的彩色图像。

步骤203，将每帧目标图像转换为灰度图像，并对灰度图像进行灰度值归一化处理；将灰度值归一化处理后的目标图像进行尺寸调整处理。

可选地，本实施例中，将每帧彩色的图标图像采用转换算法转换为灰度图像，并对灰度图像中的灰度值进行归一化处理，使灰度图像中的灰度值在统一的预设范围内。并且将灰度值归一化处理后的目标图像可采用resize函数进行尺寸调整处理，一般将灰度值归一化处理后的目标图像的尺寸调小。

本实施例提供的工程车辆状态识别方法，在获取目标视频中的每帧目标图像之后，将每帧目标图像转换为灰度图像，并对灰度图像进行灰度值归一化处理；将灰度值归一化处理后的目标图像进行尺寸调整处理，能够在根据目标图像进行道路场景和工程车辆识别时，对目标图像处理所消耗的计算资源大幅度降低，提高对道路场景和工程车辆进行识别的速度。

步骤204，对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果。

其中，施工要素物体可以包括：蓝色铁皮，黄色路锥、警示牌、施工栅栏、施工工人，砖头石子剁等。

可选地，本实施例中，如图5所示，步骤204包括以下步骤：

步骤2041，将每帧目标图像输入到第一物体识别模型中，通过第一物体识别模型对施工要素物体进行识别，并通过第一物体识别模型输出初始物体识别结果。

可选地，第一物体识别模型可以为训练至收敛的centernet模型。

本实施例中，在采用第一物体识别模型对每帧目标图像中的施工要素物体进行识别前，对第一初始物体识别模型进行训练。在对第一初始物体识别模型进行训练时，获取训练样本，第一初始物体识别模型的训练样本为包括施工要素物体的图像，并在图像中标记出施工要素物体的类型。如施工要素物体的类型可以为蓝色铁皮、黄色路锥、警示牌、施工栅栏、施工工人，砖头石子剁等。其中，该训练样本的图像的尺寸可与目标图像的尺寸相同。

然后将训练样本输入到第一初始物体识别模型中，对第一初始物体识别模型进行训练，判断是否满足预设的收敛条件，若确定满足预设的收敛条件，则将满足预设的收敛条件的第一初始物体识别模型确定为第一物体识别模型。

本实施例中，在获取到第一物体识别模型后，将每帧目标图像输入到第一物体识别模型中，第一物体识别模型对每帧目标图像进行特征提取，分类识别等处理，最终确定出每帧目标图像中是否包括施工要素物体，若确定包括施工要素物体，则输出该目标图像中包括该施工要素物体及该施工要素物体类型的初始物体识别结果，并输出该施工要素物体在对应目标图像中的位置。若确定不包括施工要素物体，则输出该目标图像中不包括施工要素物体的初始物体识别结果。

步骤2042，获取初始物体识别结果中包括施工要素物体的图像，并对包括施工要素物体的图像进行裁切处理，以获得物体裁切图像。

本实施例中，根据初始物体识别结果，获取包括施工要素物体的图像，并根据初始识别结果中施工要素物体在图像中的位置对包括施工要素物体的图像进行裁切处理，在对包括施工要素物体的图像进行裁切处理时，可裁切成预设尺寸大小，并且进行裁切处理后，将包括施工要素物体的裁切后的图像作为物体裁切图像。

步骤2043，将物体裁切图像输入到第二物体识别模型中，通过第二物体识别模型对施工要素物体再次进行识别，并通过第二物体识别模型输出最终物体识别结果。

可选地，本实施例中，第二物体识别模型可以为训练至收敛的ssd模型，或训练至收敛的yolo模型，或者训练至收敛的centernet模型等，本实施例中对此不作限定。

同理，本实施例中，在采用第二物体识别模型对物体裁切图像中的施工要素物体进行识别前，对第二初始物体识别模型进行训练。与第一初始物体识别模型进行训练时不同的是，第二初始物体识别模型的训练样本的尺寸可与物体裁切图像的尺寸相同，比第一初始物体识别模型对应的训练样本的图像的尺寸要小。

步骤2044，将最终物体识别结果确定为施工要素物体识别结果。

本实施例中，在获得第二物体识别模型后，将物体裁切图像输入到第二物体识别模型中，第二物体识别模型对物体裁切图像中的施工要素物体再次进行特征提取及分类识别处理，再次确定物体裁切图像是否包括施工要素物体，并输出是否包括施工要素物体的识别结果，该识别结果为最终物体识别结果。将该最终物体识别结果确定为施工要素物体识别结果。

本实施例提供的工程车辆状态识别方法，在对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果时，将每帧目标图像输入到第一物体识别模型中，通过第一物体识别模型对施工要素物体进行识别，并通过第一物体识别模型输出初始物体识别结果；获取初始物体识别结果中包括施工要素物体的图像，并对包括施工要素物体的图像进行裁切处理，以获得物体裁切图像；将物体裁切图像输入到第二物体识别模型中，通过第二物体识别模型对施工要素物体再次进行识别，并通过第二物体识别模型输出最终物体识别结果；将最终物体识别结果确定为施工要素物体识别结果。能够先采用第一物体识别模型对包括施工要素物体的图像进行初步筛选，然后采用第二物体识别模型对目标图像中是否包括施工要素物体进行精准识别，能够有效避免施工要素物体被漏检错检的现象发生，提高了施工要素物体识别的准确率。

步骤205，根据施工要素物体识别结果确定施工要素物体的个数。

本实施例中，在施工要素识别结果中包括每帧物体裁切图像中是否存在施工要素物体以及施工要素物体类型，所以可对存在施工要素物体的物体裁切图像中不同类型的施工要素物体个数做统计，进而确定出在施工场景中施工要素物体的个数。

步骤206，若确定施工要素物体的个数大于或等于预设个数阈值，则确定目标区域对应的道路场景为施工场景。

步骤207，若确定施工要素物体的个数小于预设个数阈值，则确定目标区域对应的道路场景为非施工场景。

可选地，本实施例中，由于在施工场景中，施工要素物体的个数一般较多，所以可根据施工场景预先设置一个个数阈值，将施工要素物体的个数与预设个数阈值进行比较，若施工要素物体的个数大于或等于预设个数阈值，则确定该目标区域对应的道路场景为施工场景，否则确定该目标区域对应的道路场景为非施工场景。

可以理解的是，若确定给出目标区域对应的道路场景为非施工场景，也可根据目标视频对工程车辆进行识别，若识别出工程车辆，可根据目标视频前后的时序信息、视频中出现人群的行为分析等判断工程车辆的工作状态。示例性地，若目标视频中的工程车辆在相邻帧之间如果存在位置偏差，则确定工程车辆处于行进状态，若施工场景中有施工工人，则再通过人体姿态判断工程车辆是否为施工状态。

步骤208，若道路场景为施工场景，则获取目标视频中的每帧目标图像。

可以理解的是，在获取目标视频中的每帧目标图像后，也将每帧目标图像转换为灰度图像，并对灰度图像进行灰度值归一化处理；将灰度值归一化处理后的目标图像进行尺寸调整处理。

步骤209，对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果。

其中，预设目标车辆为包括工程车辆在内的机动车辆，如可包括电动车，三轮车，小轿车，小客车及工程车辆等。

可选地，本实施例中，如图6所示，步骤209包括以下步骤：

步骤2091，将每帧目标图像输入到第一车辆识别模型中。

可选地，本实施例中，第一车辆识别模型可以为训练至收敛的yolo模型，由于yolo模型在进行识别时，耗时较少，所以可提高车辆识别的速度。

本实施例中，在采用第一车辆识别模型对每帧目标图像中的预设目标车辆进行识别前，对第一初始车辆识别模型进行训练。在对第一初始车辆识别模型进行训练时，获取训练样本，该训练样本为包括至少一个预设目标车辆的图像，并在图像中标记出预设目标车辆的类型。其中，该训练样本的图像的尺寸可与目标图像的尺寸相同。

然后将训练样本输入到第一初始车辆识别模型中，对第一初始车辆识别模型进行训练，判断是否满足预设的收敛条件，若确定满足预设的收敛条件，则将满足预设的收敛条件的第一初始车辆识别模型确定为第一车辆识别模型。

步骤2092，通过第一车辆识别模型对预设目标车辆进行识别，并通过第一车辆识别模型输出预设目标车辆的识别结果。

本实施例中，在获取到第一车辆识别模型后，将每帧目标图像输入到第一车辆识别模型中，第一车辆识别模型对每帧目标图像进行特征提取，分类识别等处理，最终确定出每帧目标图像中是否包括预设目标车辆，若确定包括预设目标车辆，则输出该目标图像中包括该预设目标车辆及预设目标车辆类型的识别结果，并输出该预设目标车辆在对应目标图像中的位置。若确定不包括预设目标车辆，则输出该目标图像中不包括预设目标车辆的识别结果。

步骤210，获取预设目标车辆的识别结果中包括预设目标车辆的图像，并对包括预设目标车辆的图像进行裁切处理，以获得车辆裁切图像。

本实施例中，步骤210的实现方式与步骤2042的实现方式类似，在此不再一一赘述。

步骤211，根据车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果。

可选地，本实施例中，如图7所示，步骤211包括以下步骤：

步骤2111，将车辆裁切图像输入到第二车辆识别模型中。

本实施例中，第二车辆识别模型可以为训练至收敛的yolo模型，训练至收敛的ssd模型，或者训练至收敛的centernet模型等，本实施例中对此不作限定。

步骤2112，通过第二车辆识别模型对工程车辆进行识别，并通过第二车辆识别模型输出工程车辆识别结果。

同理，本实施例中，在采用第二车辆识别模型对每帧车辆裁切图像中的工程车辆进行识别前，对第二初始车辆识别模型进行训练。在对第二初始车辆识别模型进行训练时，获取训练样本，该训练样本为包括至少一个工程车辆的图像，并在图像中标记出工程车辆。其中，该训练样本的图像的尺寸可与车辆裁切图像的尺寸相同。

其中，对第二车辆识别模型进行训练的过程与对第一车辆识别模型进行训练的过程类似，在此不再一一赘述。

本实施例中，在获取到第二车辆识别模型后，将每帧车辆裁切图像输入到第二车辆识别模型中，第二车辆识别模型对每帧车辆裁切图像进行特征提取，分类识别等处理，最终确定出每帧车辆裁切图像中是否包括工程车辆，若确定包括工程车辆，则输出该目标图像中包括该工程车辆的识别结果，并输出该工程车辆在对应车辆裁切图像中的位置。若确定不包括工程车辆，则输出该目标图像中不包括工程车辆的识别结果。

步骤212，根据包括工程车辆的图像确定工程车辆的车灯状态。

可选地，本实施例中，步骤212包括以下步骤：

步骤2121，将包括工程车辆的图像输入到车灯识别模型中。

步骤2122，通过车灯识别模型对工程车辆的车灯状态进行识别，并通过车灯识别模型输出工程车辆的车灯状态。

可选地，本实施例中，车灯识别模型为训练至收敛的车灯识别模型。将包括工程车辆的图像输入到车灯识别模型中，车灯识别模型对工程车辆的车灯特征进行提取，并分类识别，获得每帧包括工程车辆的图像中车灯的状态，并输出工程车辆车灯的状态。

其中，车灯的状态可以为亮灯状态或灭灯状态。该车灯为工程车的闪烁灯。

步骤213，根据工程车辆的车灯状态确定工程车辆的工作状态。

可选地，本实施例中，步骤213包括以下步骤：

步骤2131，若确定工程车辆的车灯状态为亮灯状态，则确定工程车辆的工作状态为施工状态。

步骤2132，若确定工程车辆的车辆状态为灭灯状态，则确定工程车辆的工作状态为疑似施工状态。

具体地，本实施例中，由于在工程车施工时，工程车辆的车灯状态为亮灯状态，所以依据工程车的车灯状态确定工程车辆的工作状态，若车灯状态为亮灯状态，则确定工程车辆的工作状态为施工状态，否则若车灯状态为灭灯状态，则确定工程车辆的工作状态为疑似施工状态。

在步骤2132之后，还包括2133。

步骤2133，向用户终端发送警示信息，警示信息中包括目标视频的标识信息，警示信息用于指示用户根据目标视频确定工程车辆的工作状态。

可选地，本实施例中，若确定车灯状态为灭灯状态，则有可能工程车辆的车灯损坏，不能亮灯，而工程车辆处于施工状态，所以本实施例中，向用户终端发送警示信息，警示信息中包括目标视频的标识信息，以使用户根据用户终端获取的目标视频的标识信息，获取目标视频，由用户根据目标视频人工协助确定工程车辆的工作状态。

本实施例提供的工程车辆状态识别方法，在根据所述目标视频对工程车辆进行识别，以获得工程车辆识别结果时，获取所述目标视频中的每帧目标图像；对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果；获取所述预设目标车辆的识别结果中包括预设目标车辆的图像，并对所述包括预设目标车辆的图像进行裁切处理，以获得车辆裁切图像；根据所述车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果。能够先识别出预设目标车辆，然后从包括预设目标车辆的图像中识别出工程车辆，能够有效避免工程车辆被漏检的现象发生，提高了工程车辆识别的准确率。

实施例三

图8为本发明实施例三提供的工程车辆状态识别装置的结构示意图，如图8所示，本实施例提供的工程车辆状态识别装置30集成在电子设备中。则本实施例提供的工程车辆状态识别装置包括：视频获取模块31，场景确定模块32，车辆识别模块33及状态确定模块34。

其中，视频获取模块31，用于获取目标区域视觉传感器采集的目标视频。场景确定模块32，用于根据目标视频确定目标区域对应的道路场景。车辆识别模块33，用于若道路场景为施工场景，则根据目标视频对工程车辆进行识别，以获得工程车辆识别结果。状态确定模块34，用于根据工程车辆识别结果中包括工程车辆的图像确定工程车辆的工作状态。

本实施例提供的工程车辆状态识别装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例四

图9为本发明实施例四提供的工程车辆状态识别装置的结构示意图，如图9所示，本实施例提供的工程车辆状态识别装置40在本发明实施例三提供的工程车辆状态识别装置30的基础上，进一步地，还包括：图像预处理模块41和信息发送模块42。

可选地，场景确定模块32，具体用于：

获取目标视频中的每帧目标图像；对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果；根据施工要素物体识别结果确定施工要素物体的个数；若确定施工要素物体的个数大于或等于预设个数阈值，则确定目标区域对应的道路场景为施工场景；若确定施工要素物体的个数小于预设个数阈值，则确定目标区域对应的道路场景为非施工场景。

可选地，场景确定模块32，在对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果时，具体用于：

将每帧目标图像输入到第一物体识别模型中，通过第一物体识别模型对施工要素物体进行识别，并通过第一物体识别模型输出初始物体识别结果；获取初始物体识别结果中包括施工要素物体的图像，并对包括施工要素物体的图像进行裁切处理，以获得物体裁切图像；将物体裁切图像输入到第二物体识别模型中，通过第二物体识别模型对施工要素物体再次进行识别，并通过第二物体识别模型输出最终物体识别结果；将最终物体识别结果确定为施工要素物体识别结果。

可选地，车辆识别模块33，具体用于：

获取目标视频中的每帧目标图像；对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果；获取预设目标车辆的识别结果中包括预设目标车辆的图像，并对包括预设目标车辆的图像进行裁切处理，以获得车辆裁切图像；根据车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果。

可选地，车辆识别模块33，在对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果时，具体用于：

将每帧目标图像输入到第一车辆识别模型中；通过第一车辆识别模型对预设目标车辆进行识别，并通过第一车辆识别模型输出预设目标车辆的识别结果。

可选地，车辆识别模块33，在根据车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果时，具体用于：

将车辆裁切图像输入到第二车辆识别模型中；通过第二车辆识别模型对工程车辆进行识别，并通过第二车辆识别模型输出工程车辆识别结果。

可选地，图像预处理模块41，用于将每帧目标图像转换为灰度图像，并对灰度图像进行灰度值归一化处理；将灰度值归一化处理后的目标图像进行尺寸调整处理。

可选地，状态确定模块34，具体用于：

根据包括工程车辆的图像确定工程车辆的车灯状态；根据工程车辆的车灯状态确定工程车辆的工作状态。

可选地，状态确定模块34，在根据包括工程车辆的图像确定工程车辆的车灯状态时，具体用于：

将包括工程车辆的图像输入到车灯识别模型中；通过车灯识别模型对工程车辆的车灯状态进行识别，并通过车灯识别模型输出工程车辆的车灯状态。

可选地，状态确定模块34，在根据工程车辆的车灯状态确定工程车辆的工作状态时，具体用于：

若确定工程车辆的车灯状态为亮灯状态，则确定工程车辆的工作状态为施工状态；若确定工程车辆的车辆状态为灭灯状态，则确定工程车辆的工作状态为疑似施工状态。

可选地，信息发送模块42，用于向用户终端发送警示信息，警示信息中包括目标视频的标识信息，警示信息用于指示用户根据目标视频确定工程车辆的工作状态。

本实施例提供的工程车辆状态识别装置可以执行图4-图7所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例五

图10为本发明实施例五提供的电子设备的结构示意图，如图10所示，该电子设备50包括：存储器51，处理器52以及计算机程序。

其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以实现本发明实施例一或实施例二提供的工程车辆状态识别方法。相关说明可以对应参见图1至图7所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本实施例中，存储器51和处理器52通过总线53连接。

实施例六

本发明实施例六提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明实施例一或实施例二提供的工程车辆状态识别方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种工程车辆状态识别方法，其特征在于，包括：

获取目标区域视觉传感器采集的目标视频；

根据所述目标视频确定所述目标区域对应的道路场景；

若所述道路场景为施工场景，则根据所述目标视频对工程车辆进行识别，以获得工程车辆识别结果；

根据所述工程车辆识别结果中包括工程车辆的图像确定所述工程车辆的工作状态。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频确定所述目标区域对应的道路场景，包括：

获取所述目标视频中的每帧目标图像；

对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果；

根据所述施工要素物体识别结果确定所述施工要素物体的个数；

若确定所述施工要素物体的个数大于或等于预设个数阈值，则确定所述目标区域对应的道路场景为施工场景；

若确定所述施工要素物体的个数小于预设个数阈值，则确定所述目标区域对应的道路场景为非施工场景。

3.根据权利要求2所述的方法，其特征在于，所述对每帧目标图像中的施工要素物体进行识别，以获得施工要素物体识别结果，包括：

将所述每帧目标图像输入到第一物体识别模型中，通过所述第一物体识别模型对所述施工要素物体进行识别，并通过所述第一物体识别模型输出初始物体识别结果；

获取所述初始物体识别结果中包括施工要素物体的图像，并对所述包括施工要素物体的图像进行裁切处理，以获得物体裁切图像；

将所述物体裁切图像输入到第二物体识别模型中，通过所述第二物体识别模型对所述施工要素物体再次进行识别，并通过所述第二物体识别模型输出最终物体识别结果；

将所述最终物体识别结果确定为所述施工要素物体识别结果。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标视频对工程车辆进行识别，以获得工程车辆识别结果，包括：

获取所述目标视频中的每帧目标图像；

对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果；

获取所述预设目标车辆的识别结果中包括预设目标车辆的图像，并对所述包括预设目标车辆的图像进行裁切处理，以获得车辆裁切图像；

根据所述车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果。

5.根据权利要求4所述的方法，其特征在于，所述对每帧目标图像进行预设目标车辆的识别，以获得预设目标车辆的识别结果，包括：

将所述每帧目标图像输入到第一车辆识别模型中；

通过所述第一车辆识别模型对预设目标车辆进行识别，并通过所述第一车辆识别模型输出预设目标车辆的识别结果。

6.根据权利要求4所述的方法，其特征在于，所述根据所述车辆裁切图像对工程车辆进行识别，以获得工程车辆识别结果，包括：

将所述车辆裁切图像输入到第二车辆识别模型中；

通过所述第二车辆识别模型对所述工程车辆进行识别，并通过所述第二车辆识别模型输出工程车辆识别结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述工程车辆识别结果中包括工程车辆的图像确定所述工程车辆的工作状态，包括：

根据所述包括工程车辆的图像确定所述工程车辆的车灯状态；

根据所述工程车辆的车灯状态确定所述工程车辆的工作状态。

8.根据权利要求7所述的方法，其特征在于，所述根据所述包括工程车辆的图像确定所述工程车辆的车灯状态，包括：

将所述包括工程车辆的图像输入到车灯识别模型中；

通过所述车灯识别模型对所述工程车辆的车灯状态进行识别，并通过所述车灯识别模型输出所述工程车辆的车灯状态。

9.一种电子设备，其特征在于，包括：

存储器，处理器以及计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-8中任一项所述的方法。

Images