CN114387533A - 道路违规识别的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种道路违规识别的方法、装置、电子设备及存储介质。其中，所述方法包括：获取无人机巡航道路时抓取的第一图像；处理所述第一图像形成道路数据和位于道路的对象的信息；根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；根据所述第二图像获取所述对象的标识。

Description

道路违规识别的方法、装置、电子设备及存储介质

技术领域

本申请涉及智能交通监控技术领域，尤其涉及一种道路违规识别的方法、装置、电子设备及存储介质。

背景技术

现有技术对道路违规的取证一般采用在道路两侧安装固定摄像头，通过摄像头进行违规取证的方法，也有采用人力值守对道路违规车辆进行拍照取证的方法。在道路两侧安装固定摄像头，通过摄像头拍摄道路上过往车辆照片，并对拍摄道路过往车辆照片进行违章识别，来判定车辆是否违规是现如今对道路违规取证最为有效便捷的方法。通过安装摄像头对道路违规取证或者采用人力资源对道路违规取证的方法，能够使用户在驾驶车辆过程中，可以按照道路规则安全驾驶，对不遵守道路规则的人也能起到警示作用。

在实现现有技术的过程中，发明人发现：

在道路两侧安装摄像头对道路违规的车主进行取证的方法仅限于摄像头拍摄单个车道或者同向行驶车辆范围内，在拍摄范围以外同样存在道路违规的驾驶行为，这种违规行为是摄像头拍摄不到的，在拍摄不到的路段很难对其进行道路违规取证。

因此，需要提供一种可以对所有车道区域进行道路违规取证的技术方案。

发明内容

本申请实施例提供一种道路违规识别的技术方案，用以解决现有技术中通过安装摄像头对道路违规或者采用人力资源对道路违规取证的范围有限的问题。

具体的，一种道路违规识别的方法，包括以下步骤：获取无人机巡航道路时抓取的第一图像；处理所述第一图像形成道路数据和位于道路的对象的信；根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；

当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；根据所述第二图像获取所述对象的标识。

本申请实施例还提供一种道路违规识别的装置，包括：获取模块，用于获取无人机巡航道路时抓取的第一图像；处理模块，用于处理所述第一图像形成道路数据和位于道路的对象的信息；匹配模块，用于根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；控制模块，用于当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；识别模块，用于根据所述第二图像获取所述对象的标识。

本申请实施例还提供一种电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行道路违规识别的方法中任意一种实现方式。

本申请实施例还提供一种存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行道路违规识别的方法中任意一种实现方式。

本申请实施例提供的技术方案，至少具有如下有益效果：通过道路违规识别的技术方案，可以对无人机拍摄的道路全部范围内的车辆进行道路违规取证，当有车辆存在违规驾驶行为时，无人机通过吊舱的摄像头对其跟踪拍摄，进而对违规车辆的车辆信息进行取证。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的道路违规识别的结构框图；

图2为本申请实施例提供的一种道路违规识别的方法的流程图；

图3为本申请实施例提供的一种使用无人机抓取的图像的示意图；

图4为图3所示的示意图对应的道路数据的示意图；

图5为本申请实施例提供的一种道路违规识别的装置的结构示意图；

图6为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明实施例提供了一种道路违规识别的方法，该方法可以由任意的具有计算能力的装置执行，例如，终端或服务器。本发明实施例中，以无人机为执行主体进行说明，无人机内部设置有对图像进行处理、计算的处理模块，一般为TX2模块，无人机设置有吊舱，吊舱内安装有摄像头。图1为本申请实施例提供的无人机的结构框图，当无人机在巡航道路时，吊舱抓取到第一图像，并将该第一图像发送给TX2模块，TX2模块获取到无人机巡航道路时抓取的视频中的第一图像。TX2模块处理所述第一图像形成道路数据和位于道路的对象，根据所述对象、道路数据，匹配违规约束信息，并获取到匹配结果，当根据所述匹配结果确定所述对象违规时，TX2模块获取到所述对象的坐标以及第二变焦倍数，并将所述坐标以及第二变焦倍数发送至所述吊舱。吊舱根据所述像素坐标调整所述吊舱的姿态角，使所述对象处于所述视频中央，并从第一变焦倍数匀速变焦至第二变焦倍数，然后拍摄第二图像，并将第二图像发送至TX2模块，TX2模块根据该第二图像获取到对象的标识。

请参照图2，为本申请实施例提供的一种道路违规识别的方法的流程图，至少包括以下步骤：

S210:获取无人机巡航道路时抓取的第一图像。

具体的，无人机在按巡航路径执行巡航任务时，拍摄巡航道路视频获取第一图像。第一图像可以是无人机巡航道路时拍摄的视频中的一帧图像，也可以是周期性提取的多帧图像。

可以理解的是，无人机进行道路巡航时，首先需要从所处的起飞点成功起飞，并飞行至能够获取待巡航道路图像的上空区域。之后，无人机将在待巡航道路上空展开巡航、拍摄工作。其中，所述待巡航道路为无人机巡航的目标道路。当巡航任务结束，无人机将返航并降落至指定的回收点或停靠点。但是，无人机续航能力有限，这将直接影响无人机的总飞行时间或总飞行里程，进而会影响到无人机的道路巡航里程。而无人机的道路巡航里程又将直接影响道路违规行为识别的区域大小。因此，需要提前规划无人机的巡航工作内容，以保证无人机能够在有限的续航能力下高效工作。其中，所述无人机巡航工作内容包括无人机从起飞至返航降落期间的所有与飞行以及巡航相关的工作内容。这里所述提前规划的无人机的巡航工作内容即为对无人机预先设置的巡航策略。这样，无人机能够在不影响正常返航的情况下，执行更长里程的巡航任务。当巡航策略设置完毕，无人机将按照巡航策略进行道路巡航。

本发明实施例中，巡航策略为预先设置巡航路线、巡航速度、巡航方向中至少一种。

本发明实施例中，巡航路线为无人机在巡航过程中的飞行路径，至少包括了无人机巡航道路时的起始点、终止点。通过制定巡航路线能够有效避免同一时刻多架无人机对同一道路重复巡航现象的发生，以及提升巡航道路的效率。

需要指出的是，巡航路线是对多段道路的巡航的总巡航路径，该巡航路线应至少包括对每一段道路巡航的起始点、终止点。此时，该巡航路线还可以包括无人机在相邻段道路之间转移的飞行路径。通过设置该巡航路线，无人机可按照相邻段道路之间转移的飞行路径转移至下一段道路，避免了无人机绕路现象的发生，能够使得无人机按照最优的巡航路径工作，降低了无人机巡航转移的时间，提升了无人机巡航效率。

本发明实施例中，巡航速度为无人机进行巡航道路时的飞行速度。若无人机飞行速度过快，会使得飞行稳定性较差，机身易晃动。这样，无人机拍摄角度随之变动，从而导致无法获取到稳定的视频，不利于对道路全部区域的监控，并影响了道路违规识别结果的准确度。若无人机飞行速度过慢，由于无人机续航能力有限，这使得无人机巡航道路里程减小，巡航效率低。这时，不利于无人机进行长道路范围的巡航。因此，为了保证无人机拍摄稳定度，又兼顾巡航效率，需要设计无人机的巡航速度。

本发明实施例中，还可以规划无人机的巡航方向。无人机巡航道路时，无人机的巡航方向将直接影响所得到的图像中道路数据的呈现范围。若无人机巡航方向与沿道路延伸的方向保持，根据拍摄得到的图像能够得到较多的道路数据。若无人机巡航方向与道路延伸的方向之间存在一定的角度，根据拍摄得到的图像仅能够得到较少的道路数据，这是因为由于拍摄角度的原因，所得到的图像中存在道路区域被遮挡物覆盖的问题，即存在视觉盲区，不利于对道路进行全面监控，而通过对无人机的巡航方向规划，可以减少无人机拍摄的图像中存在盲区，实现对道路的全面监控，提升识别道路违规的效率。本发明实施例中，规划无人机的巡航方向与道路某一通行方向保持一致。例如，若巡航目标段道路为单向通行道路，巡航方向与通行方向保持一致。若巡航目标段道路为双向通行道路，根据所设定的巡航方向，与道路中某一通行方向保持一致。

获取无人机巡航道路时抓取的第一图像，可以是实时获取无人机抓取的视频中每一帧第一图像，也可以是间隔n秒后获取无人机抓取的视频中每一帧作为第一图像。可以理解的是，无人机获取巡航道路时抓取的第一图像的具体的间隔时间，显然不构成对本申请保护范围的限制。

根据本发明实施例，获取无人机巡航道路时抓取的视频中的第一图像，可以根据无人机的飞行高度，控制无人机的吊舱的对地俯仰角为目标俯仰角，以及控制无人机的吊舱的变焦倍数为第一变焦倍数；保持所述目标俯仰角以及所述第一变焦倍数，获取无人机巡航道路时抓取的视频中的第一图像；其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

可以理解的是，该第一的图像的清晰度要求可以在无人机中预先设置。该第一图像通过用户对其要求可设置为不同分辨率以满足获取到道路数据以及道路目标信息的同时，不占用过多的无人机的存储。

可以理解的是，无人机进行抓取，主要是通过固定安装于无人机吊舱的摄像头。其中，所述摄像头初始朝向默认为平行于无人机的尾部或头部的方向，即，朝向无人机航向的方向或朝向背离无人机航向的方向。通过调整吊舱的朝向，摄像头的抓取角度随之发生变化。无人机吊舱应与地面之间存在一定的夹角，以保证无人机能够在空中抓取到地面的道路详情。

具体的，根据无人机的飞行高度，控制无人机的吊舱的对地俯仰角为目标俯仰角。吊舱的对地俯仰角即吊舱内摄像头方向与地面水平方向的角度。由于无人机在按巡航道路抓取视频时，无人机的巡航道路的飞行高度是不确定的，所以在无人机按巡航道路巡航时，可根据无人机飞行高度，控制无人机的吊舱的对地俯仰角。在本申请提供的具体实施方式中，所述目标俯仰角的范围为-20°至-40°。

可以理解的是，若吊舱俯仰角较小，可获取到较远处道路的图像。但由于空气中存在灰尘颗粒、大气折射以及路面反光等原因，导致此时所得到的第一图像中的道路信息误差较大。例如，较远区域的道路分布线无法准确识别，这时，根据所获取的图像进行道路违规识别的识别准确率较低。若吊舱俯仰角较大，则只能够获取到较近区域的道路图像。在无人机有限的续航里程内，将使得无人机的道路巡航总里程变小，进而影响了无人机的巡航效率。因此，目标俯仰角角度的设置范围为-20°至-40°，即俯20°至俯40°。无人机在巡航道路时，吊舱的俯仰角角度为所述目标俯仰角角度设置范围之间的某一值。可以理解的是，这里所述吊舱的俯仰角角度在所述目标俯仰角角度设置范围内的具体数值，显然不构成对本申请保护范围的限制。

需要指出的是，吊舱的横滚角和航向角一般无需调节，即保持初始角度。根据无人机的飞行高度，控制无人机的吊舱的变焦倍数为第一变焦倍数。吊舱的变焦倍数即吊舱内摄像头的变焦倍数，其中，第一变焦倍数在2倍变焦至10倍变焦之间。由于无人机在按巡航路径抓取视频时，无人机的巡航路径的飞行高度是不确定的，所以无人机在按巡航路径巡航时，可根据无人机飞行高度，控制无人机吊舱的变焦倍数。变焦倍数越大，可抓取的场景越远。无人机进行道路巡航时，若始终保持低变焦倍数，能够获取到尽可能大范围的道路图像。但是，这样会导致获取的图像中道路区域所占比例变小，从而导致图像道路识别准确率降低。若始终保持低变焦倍数，无人机视角变窄，摄像头视野受限。因此，设置所述第一变焦倍数值时，需充分考虑无人机飞行高度以及吊舱俯仰角的大小的影响。这样，得到的图像中道路区域比例适中，至少包括单条道路的图像。在根据无人机的飞行高度控制无人机的吊舱的目标俯仰角以及无人机的吊舱的第一变焦倍数后，无人机将保持所述目标俯仰角以及第一变焦倍数，获取无人机巡航道路时抓取的视频中的第一图像。在本申请提供的一种优选实施例中，无人机的TX2模块根据无人机飞行高度，确定吊舱内的俯仰角的度数以及第一变焦倍数。

S220:处理所述第一图像形成道路数据和位于道路的对象的信息。

在本申请提供的一种优选的实施方式中，处理第一图像形成道路数据时，可以确定第一图像中的车道线以及各车道线的顶点，根据所述车道线、所述各车道线的顶点、第一图像对应的道路分布使用数据生成道路数据。其中，所述道路数据至少包括道路中的车道分布信息以及组成道路的各车道线的信息。

可以理解的是，所述道路数据是指与道路分布相关的信息，道路数据至少包括车道分布情况以及组成道路的各车道线的信息。其中的车道分布情况，例如高速公路上的应急车道、超车道、公交车专用道等，又例如，城市道路上的机动车道、非机动车道、人行道的分布详情；组成道路的各车道的信息可以包括组成各道路的车道线的坐标以及车道线是虚线还是实线。需要指出的是，道路数据还可以包括：第一图像中道路所处的地理位置信息以及第一图像中道路的延伸方向信息等等。

本发明实施例中，在确定第一图像中的车道线以及各车道线的顶点时，可以根据颜色掩模和直线检测的车道线检测以及基于滑动窗口的车道线检测等识别算法确定第一图像中的车道线以及各车道线的顶点，即各个车道线的虚实信息以及顶点的坐标。但本发明并不限于此，例如还可以通过人工标注。

例如，车道线以及各车道线的顶点可以如下：

line1:顶点坐标:[(x1,y1),(x2,y2)，实线]；

line2:顶点坐标:[(x3,y3),(x4,y4)，实线]。

需要注意的是，实际中可能会存在车道线部分为实线，部分为虚线的情况，此时确定的车道线的虚实情况以及各车道线的顶点中可以包括虚线以及实线的交接处的坐标，例如：

line1:顶点坐标:[(x1,y1),(x2,y2)，虚/实线(xn,yn)]；

其中，(xn,yn)可以为虚线与实线的交接处，且虚/实线表示接近(x1,y1)的部分为虚线，接近(x2,y2)的部分为实线。

还需要指出的是，在确定第一图像中的车道线以及各车道线的顶点时，还可以预分配车道，如下：

第一车道：

line1:顶点坐标:[(x1,y1),(x2,y2)，实线]；

line2:顶点坐标:[(x3,y3),(x4,y4)，实线]。

需要指出的是，顶点的位置坐标是指图像中的车道线的边界点的位置坐标，即像素坐标，而非实际道路的起始点或终止点。而每一条车道需由两条车道线划定，因此每一条道路的道路数据由相邻两车道线的边界点共同构成。这样，使得第一图像中的每一条道路具有明确的地理坐标。由此可知，根据无人机抓取的第一图像，能够得到包括车道线，各车道线的顶点以及各车道线的虚实信息。

本发明实施例中，在获取到无人机巡航道路时抓取的第一图像后，可以根据预先设置的巡航策略中的巡航路线和/或该抓取的图像识别出的对应的实际道路，从已有的地图数据中获取到第一图像对应的道路分布使用数据。例如，第一图像为某高速公路的路段的抓取画面，则可以从地图数据中获取到该路段所对应的道路分布使用数据。但本发明并不限于此，还可以预设置道路分布使用数据，利用该预设置的道路分布使用数据与获取到的车道线以及各车道线的顶点进行匹配，从而得到道路数据。

本发明实施例中，道路分布使用数据可以包括各个道路的分布情况以及使用规则，例如，如图3所示的某高速公路上，最内侧车道(一般为最左侧)是最高速车道，最外侧(一般为最右侧)为应急车道。道路使用规则可以包括各个车道的限速区间，以及公交车专用道的使用规则等，例如，设置工作日的7-9点以及17-19点，最内侧车道为公交车专用道等。

本发明实施例中，在得到车道线、车道线的顶点以及道路分布使用数据后，将车道线、车道线的顶点与道路分布使用数据进行匹配，生成道路数据。在进行匹配时，根据各车道线的顶点的位置坐标与道路分布使用数据中各道路的分布情况进行匹配，从而确定道路数据，道路数据至少包括道路中的车道分布信息以及组成道路的各车道的信息。

例如，对图3所示的图像进行处理后，形成如图4所示的道路数据。在图4中，每一车道线在图像中最上方以及最下方的均存在边界点(图4中仅以line1和line2为例，其他车道线的顶点未示出)，即顶点。从图像中确定各个车道线以及各个车道线均为实线以及各个车道线的顶点。例如，得到line1:[(x1,y1),(x2,y2)，实线]；其中，(x1,y1)为Line 1在图像中最下方的边界点位置信息，(x2,y2)为Line 1在图像中最上方的边界点位置信息；得到Line2，[(x3,y3),(x4,y4)，实线]。而道路分布使用数据中表明该道路的分布情况从右至左分别为：应急车道、最低速车道、超车道以及最高速车道，则根据图4所示的Line 1和Line2的顶点坐标，将其与该图像对应的道路分布使用数据匹配，可以得到如图4所示的道路数据的示意图，其中，Line 1和Line 2组成的道路为应急车道。同理，对图3中的车道线以及各车道线的顶点与对应的道路分布使用数据，可以得到各个车道分布信息。如，应急车道的顶点位置坐标表示为Line 1：(x1,y1),(x2,y2)，实线；Line 2：(x3,y3),(x4,y4)，实线。即：

应急车道：

line1：[(x1,y1),(x2,y2)，实线]；

line2：[(x3,y3),(x4,y4)，实线]。

需要说明的是，相邻两条道路共用位于中间的车道线，因此与应急车道相邻的最低速车道的顶点位置坐标也包含车道线Line 2的位置信息。

可以理解的是，若得到预分配车道、车道线以及各车道线的顶点如下：

第一车道：

line1:顶点坐标:[(x1,y1),(x2,y2)，实线]；

line2:顶点坐标:[(x3,y3),(x4,y4)，实线]。

将其与道路分布使用数据进行匹配，得到的道路数据为：

应急车道：

Line 1：(x1,y1),(x2,y2)，实线；

Line 2：(x3,y3),(x4,y4)，实线。

即识别出第一车道即为应急车道。

本发明实施例中，处理所述图像形成位于道路的对象的信息，具体包括：处理所述图像形成位于道路的对象的类别属性信息以及位置坐标。即对象的信息可以包括：位于道路上的对象的类别属性以及位置坐标。例如，位于道路上的对象的类型为公交车，以及该公交车的位置坐标。

需要说明的是，由于不同类别的机动车车辆适用的交通法规不同，例如，小汽车、卡车、公交车适用的交通法规均不相同。因此相较于行人以及非机动车车辆的道路违规行为识别，机动车车辆的道路违规行为识别更为复杂。因此，道路数据应至少包括道路中的车道分布信息以及组成道路的各车道的信息。对象的信息需要包括位于道路上的对象的类别属性以及位置坐标。

本发明实施例中，对象的位置坐标是指对象在图像上的像素坐标，对象的类别属性，例如，行人，非机动车辆以及机动车辆的类型等。其中，不同类别的机动车车辆适用的交通法规不同，例如，小汽车、卡车、公交车适用的交通法规均不相同。因此相较于行人以及非机动车车辆的道路违规行为识别，机动车车辆的道路违规行为识别更为复杂。因此，在进行道路违规行为识别时，需确定图像内位于道路中的对象的类别属性。

具体的，确定第一图像中对象的位置坐标可以通过对图像进行Bounding Box回归处理得到。第一图像中对象的位置坐标对应标记为(x，y，w，h)。式中，x、y为对象所处四边形的中心点坐标；w、h分别为对象所处四边形的宽度和高度。然后，通过已训练完成的分类检测模型确定第一图像中物体的疑似类别以及各疑似类别的置信度。其中，所述类别至少包括小汽车、卡车、重型机械车、公交车等。最后，在各疑似类别对应的置信度中，选取最大置信度所对应的类别，作为第一图像中位于道路的对象的信息的类别属性。这样，得到了第一图像中对象的类别属性。

本发明实施例中，分类检测模型可通过对神经网络负反馈优化训练得到。进行分类检测模型的负反馈优化，需要用到训练用公开图像集。其中，所述训练用公开图像集至少包括若干小汽车图像元素、若干卡车图像元素、若干重型机械车图像元素、若干公交车图像元素等具有不同类别属性的图像元素。这样，经负反馈优化得到的分类检测模型至少能够识别出图像中小汽车、卡车、重型机械车、公交车等具有不同类别属性的对象。此外，还可以包括若干行人图像元素、若干非机动车图像元素、若干特殊任务车辆元素等。相应的，经负反馈优化得到的分类检测模型还能够识别出图像中行人、非机动车车辆、特殊任务车辆等具有不同类别属性的对象。其中，所述特殊任务车辆为执行任务的消防车、救护车、警车等车辆。可以理解的是，这里所述分类检测模型能够识别出的对象的具体属性类别，显然不构成对本申请具体保护范围的限制。

S230:根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果。

具体的，在处理第一图像后，将所生成的道路上的交通工具、道路上的行人等多种对象以及道路信息与违规约束信息进行匹配。违规约束信息即道路上的车辆违反道路行驶规则或者道路上的行人违反道路行驶规则。在具体实际应用场景中违规约束信息可以表现为：大型车辆占用超车道规则、车辆占用应急车道规则、车辆占用公交车专用道规则、车辆超高速或超低速规则、行人在机动车道行驶规则。相反的，与违规约束信息对应的违规约束信息即道路上行驶的车辆遵守行驶规则或者道路上行驶的行人遵守行驶规则。可以理解的是，对象匹配违规约束信息所表现的具体形态，显然不构成对本申请保护范围的限制。

需要指出的是，在确定对象为执行任务的消防车、救护车、警车等特殊车辆时，不进行根据所述对象的信息以及道路数据，匹配违规约束信息的步骤，或者，在确定对象为执行任务的消防车、救护车、警车等特殊车辆时，设置根据所述对象的信息以及道路数据，匹配违规约束信息，获取到不匹配的匹配结果。

本发明实施例中，违规约束信息为违反道路交通法规的相关道路行为的信息，可以包括大型车辆占用超车道约束信息、车辆占用应急车道约束信息、车辆占用公交车专用道约束信息、压实线约束信息以及车辆超高速和超低速约束信息中的至少一种。其中，上述大型车辆可以包括卡车、重型机械车等车辆。

本发明实施例中，在制定违规约束信息时，需充分考虑机动车车辆的道路违规行为，根据位于道路的对象的类别属性、位置坐标以及道路数据匹配违规约束信息，能够保证机动车车辆道路违规行为识别的准确度。

由于不同种类的机动车车辆适用的道路规则不同，且不同行车道适用的道路规则也不同。例如，小汽车、卡车、公交车适用的道路规则均不相同，应急车道、与应急车道相邻的第一车道适用的道路规则也不相同，因此，需要确定对象所在的车道，以便于确定对象所位于的车道的违规约束信息，从而根据第一图像所记录的道路的信息以及对象数据，与对象所位于的车道的违规约束信息相匹配，得到匹配结果。

本发明实施例中，可以根据对象的信息以及道路数据，确定对象所在的车道，根据所述对象所在的车道，匹配违规约束信息，获取匹配结果。

根据所得到第一图像中的道路数据以及对象的信息，即可确定对象所在的车道，从而得到第一图像所对应的道路中所有对象的道路行为，将对象所在的车道的道路行为与违规约束信息相匹配，可得到对象的道路行为是否与违规约束信息一致的匹配结果。若存在满足违规约束信息的道路行为，即可获取到与相应违规约束信息是否匹配的匹配结果。若不存在满足违规约束信息的道路行为，则获取到与违规约束信息不一致的匹配结果，即第一图像中不存在违反道路交通法规的相关道路行为。

本发明实施例中，根据所述对象的信息以及道路数据，确定所述对象所在的车道，可以通过判断点是否在多边形内的算法来确定。其中，所述判断点是否在多边形内的算法可以为Crossing Number交叉数算法，或Winding Number环绕数算法等。

本发明实施例中，将各个车道对应的每一车道线以及第一图像的边界所围成的区域作为多边形，将对象的中心点作为判断点是否在多边形内的点，通过判断对象的中心点是否在多边形内，即可确定对象所位于的车道。例如，当通过Crossing Number交叉数算法判断对象所位于的车道时，对应会得到每一对象与由道路数据定义的每一多边形的交叉点数计算结果。当对象与某一多边形的交叉数计算结果为奇数时，说明对象位于该多边形内。即，对象位于该多边形所代表的车道内。同样的，当通过Winding Number环绕数算法判断对象所位于的车道时，对应会得到对象与由道路数据定义的每一多边形的环绕圈数计算结果。当某一多边形相对于对象的环绕数计算结果为非0的数值时，说明对象位于该多边形内。即，对象位于该多边形所代表的车道内。

需要指出的是，除了将对象的中心点作为判断点是否在多边形的点，还可以将对象所处四边形的每一个顶点作为判断点是否在多边形内的算法中的点。此时，只有对象所处四边形的所有顶点在同一多边形内时，方可判断对象在某一车道内。这里的对象所处的四边形为无人机图像经Bounding Box回归处理得到的、用于标识道路对象的四边形。即，用于框选对象的四边形，用以代表道路中的对象。

本发明实施例中，一般采用以对象的中心点坐标作为判断点是否在多边形内的算法中的点，因为这种方法相比于将对象所处四边形的每一个顶点作为判断点是否在多边形内的算法中的点更为准确。一般情况下，用于框选对象的四边形所覆盖的范围要远大于对象的实际范围，因此，可能存在四边形的某个顶点不在某个车道对应的多边形内，但是该四边形框选的对象实际是在该车道对应的多边形内的情况。

需要指出的是，判断点是否在多边形内，通常有3种结果：点在多边形内，点在多边形外以及点在多边形上，其中点在的多边形上包括点所在多边形的具体的边。

根据本发明实施例，当违规约束信息为车辆超高速和超低速约束信息时，可以根据若干连续帧图像形成的对象的信息以及道路数据，计算所述对象的移动速度，根据所述对象的信息以及道路数据，确定所述对象所在的车道，将所述对象的移动速度与所述车道的限速值区间进行匹配，获取匹配结果。

本发明实施例中，超高速可理解为高于对应行车道规定行驶速度的最高限速值，超低速为低于对应行车道规定行驶速度的最低限速值。此时，根据第一图像中的对象的信息以及道路数据，与对象所在车道的超高速和超低速的违规约束信息匹配，可与获取到车辆超高速和超低速约束信息是否匹配的匹配结果。

可以理解的是，车辆在行车道内处于移动状态，仅根据获取的单张图像一般无法确定图像中对象的移动速度。因此，当违规约束信息为车辆超高速和超低速约束信息时，在进行匹配前，在需要确定第一图像中对象的移动速度时，首先需获取无人机抓取的连续若干帧图像。这样，能够确定图像中对象在不同时刻所处的位置。根据获取的连续若干帧图像，并通过多目标跟踪，即可确定各个目标车辆的像素的变化。之后，基于无人机的速度、相机内参、相机姿态和变焦倍数，即可将像素的变化转换为目标车辆的实际速度。在确定对象所在的车道后，将对象移动速度与其所位于车道的限速值区间进行匹配，即可获取到车辆超高速或超低速违规约束信息的匹配结果。当对象移动速度高于所位于车道的最高限速值时，可获取到与车辆超高速违规约束信息匹配的匹配结果。当对象移动速度低于所位于车道的最低限速值时，可获取到与车辆超低速违规约束信息匹配的匹配结果。

需要说明的是，本发明实施例中，连续若干图像帧的帧数的设定，实际应取决于几个因素：执行识别道路违规的装置的实际运行性能、无人机抓取视频流的帧率以及车辆在图像内平均留存帧数。

例如，道路违规识别的装置每100ms可以处理完一帧，原始视频流为30Hz，车辆在图像内可以留存90帧，那么理论上可以在3秒内的图像中看到该车辆，最多可以要求3000/100＝30帧连续判定。但是考虑到以下两个因素：车辆在刚刚进入图像边缘和离开图像边缘时，识别效果不稳定，以及识别结束后，还需要对车辆进行抓拍、留存证据等操作，应该将该帧数减半，即15帧作为一个比较合理的参数。

本发明实施例中，还可以在确定所述对象所在的车道后，与违规约束信息中的大型车辆占用超车道约束信息、车辆占用应急车道约束信息、车辆占用公交车专用道约束信息以及压实线约束信息进行匹配，以获取与这些违规约束信息的匹配结果。

本发明实施例中，大型车辆占用超车道是指大型车辆在超车道连续行驶的时间超过预设时间。大型车辆占用超车道约束信息是指若车辆类型为大型车辆，车辆所在车道为超车道，以及车辆在该超车道行驶时间满足预设时间。在与大型车辆占用超车道约束信息匹配时，若对象为大型车辆，确定其所在车道为超车道，且确定其占用超车道的时间满足大型车辆占用超车道的预设时间，则确定与大型车辆占用超车道约束信息相匹配。需要指出的是，可以根据若干连续帧图像来确定大型车辆占用超车道的时间。需要说明的是，该若干连续帧图像为与第一图像相邻的若干帧图像，可以包括该第一图像。

本发明实施例中，车辆占用应急车道是指非特殊车辆(例如警车、救护车等)占用应急车道行驶。占用应急车道可以理解为道路对象违规在应急车道内行驶。在紧急的情况下，车辆可以在应急车道上行驶或者停车。但道路对象无特殊原因在应急车道行驶时，即可视为占用应急车道的道路行为。车辆占用应急车道约束信息是指非特殊车辆在应急车道行驶的约束信息。在与车辆占用应急车道约束信息匹配时，若对象为小汽车，确定其所在车道为应急车道，且所述对象在所述应急车道上行驶，则确定与车辆占用应急车道约束信息相匹配。需要指出的是，本发明实施例中可以根据若干连续帧图像来确定对象是否在应急车道上行驶还是停靠。

本发明实施例中，压实线为车辆在行驶过程中存在轮胎压车道线中的实线部分的驾驶行为。这里的实线可以理解为道路中车道线的实线部分。值得注意的是，本发明实施例中的实线并不包括单向允许变道线中的实线。单向允许变道线由一组平行的虚线和实线组成，车辆在单向允许变道线上行驶，允许在短时间内压单向允许变道线的行为。压实线约束信息是指非特殊车辆压实线的约束信息。在与压实线约束信息匹配时，若对象为小汽车，且确定该小汽车在某条车道线上，即点在该车道线组成的多边形上，若该车道线为实线，则与压实线约束信息相匹配。若该车道线为虚线，则与压实线约束信息不匹配。

本发明实施例中，车辆占用公交车道约束信息是指非公交车在公交车道内行驶的约束信息，在与车辆占用公交车专用道约束信息匹配时，若对象为小汽车，确定其所在车道在为公交车道，且满足公交车道的使用时间，则确定与车辆占用公交车专用道约束信息相匹配。

根据本发明实施例，根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果，还可以包括：根据所述对象的信息以及道路数据，确定所述对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离；根据所述对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离匹配违规约束信息，获取匹配结果。

可以理解的是，当车辆距离车道线较近时，无法准确判定车辆在车道中的实际驾驶情形。例如，当车辆距离车道线距离较近，此时车辆的中心点位于车道内，但是实际上该车辆可能在压(车道)线行驶。此时，仅根据道路对象所在的车道进行违规约束信息的匹配，会存在一些道路行为无法进行检测，从而降低了道路违规检测的准确性以及实用性。而确定所述对象所在的车道，并确定与所述对象距离最近的车道线以及两者之间的距离之后再进行违规约束信息匹配，便于根据道路对象的实际道路违规行为进行违规约束信息的匹配，增加道路违规约束信息匹配结果的准确度，防止了漏匹配现象的发生。

在本发明实施例中，根据对象的信息以及道路数据，通过判断点是否在多边形内的算法确定所述对象所在的车道之前或之后，还可以进一步的根据对象的位置信息以及其所在车道的车道线的位置信息确定与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离。其中，该对象的位置坐标可以为该对象的中心点坐标，即通过对第一图像进行Bounding Box回归处理得到的位置坐标(x，y，w，h)式中的x、y。对象所在车道的车道线的位置信息是指组成该车道的车道线的顶点位置坐标。

例如，某一对象的中心点坐标为(x，y)，检测到其所在车道对应的车道线分别为line1:顶点坐标:[(x1,y1),(x2,y2)，实线]；line2:顶点坐标:[(x3,y3),(x4,y4)，实线]，则通过计算点到直线的距离，可以分别得到该对象距离line1和line2的距离，从两者中选择距离的最小的，作为与该对象距离最近的车道线，该最小的距离则为对象和该距离最近的车道线之间的距离。

本发明实施例中，根据所述对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离，可以与违规约束信息中的大型车辆占用超车道约束信息、车辆占用应急车道约束信息、车辆占用公交车专用道约束信息以及车辆超高速和超低速约束信息进行匹配，以获取与这些违规约束信息的匹配结果。

根据本发明实施例，当违规约束信息为压实线约束信息时，若与对象距离最近的车道线为实线，且该对象和距离最近的车道线之间的距离在第一预设范围之内，获取匹配结果为匹配成功。

可以理解的是，这里的第一预设范围可以理解为压实线约束信息中预设的、道路对象与最近车道线之间的允许间隔距离。若道路对象(对象的中心点)与距离最近的车道线之间的距离在所述第一预设范围之内，说明道路对象处于压实线驾驶的状态。这时，获取与压实线约束信息匹配成功的匹配结果。若道路对象与车道线之间的距离在所述第一预设范围之外，说明道路对象距车道线的距离较远，即处于非压实线的驾驶状态。这时，获取到与压实线约束信息不匹配或匹配失败的匹配结果。另外，当道路对象与车道线之间的距离在所述第一预设范围之外，虽然道路对象处于非压实线的驾驶状态，但并不能够说明道路对象未违反压实线之外的其它道路行为。

值得注意的是，在根据道路对象的道路行为进行压实线约束信息的匹配时，首先需要确定道路中车辆所在道路对应的车道线是否为实线。即，处理图像所形成的道路数据中的各车道线的信息。车道线除了实线部分，还存在虚线的部分。道路中的对象在虚线区域可以进行相应的变道，这时，道路中对象的驾驶行为是不违反道路交通法规的。

可以理解的是，确定图像中对象的位置坐标即为对象的中心点的坐标，其可以通过对图像进行Bounding Box回归处理得到的(x，y，w，h)式中的x、y，其中w、h分别为对象所处四边形的宽度和高度。对象所处四边形为无人机图像经Bounding Box处理得到的、标识道路对象所处区域的四边形。即，用于框选对象的四边形。

本发明实施例中，第一预设范围可以根据获取的对象的坐标中的宽度获取，即(x，y，w，h)式中的w，第一预设范围可以设置为不超过对象的中心点与框选的四边形在横向上的宽度w/2。

本发明实施例中，第一预设范围还可以根据获取的道路对象的类别属性获取。由于各种类别车辆的宽度不同，可以预先设置针对各种类别的车辆与第一预设范围的对应关系，当获取到对象的类型后，从对应关系中查找到该类型对应的第一预设范围。例如，若获取的对象的类型为公交车，从对应关系中获取到其对应的第一预设范围为L₀₁，若获取的对象的类型为小轿车，从对应关系中获取到其对应的第一预设范围为L₀₂，L₀₁大于L₀₂。

本发明实施例中，第一预设范围还可以由人工设置。

根据本发明实施例，当违规约束信息为车辆占用应急车道约束信息时，若获取到所述对象位于车道之外，与应急车道的内侧车道线距离最近，且与所述应急车道的内侧车道线距离在第二预设范围之内，获取匹配结果为匹配成功。

可以理解的是，在确定的对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离中的对象所在的车道后，既可以根据对象所在的车道与车辆占用应急车道约束信息相匹配，获取与车辆占用应急车道约束信息的匹配结果。若确定对象所在车道为应急车道时，获取到与车辆占用应急车道约束信息匹配成功的匹配结果。

在实际应用中，由于应急车道最外侧(远离车辆行驶车道一侧)没有明显的边界线，或其边界线被隔音墙、栏杆等物品遮挡，会导致根据无人机抓取的图像无法得到应急车道外侧边界信息。即，无法确定车辆是否在应急车道内行驶。因此，当无人机获取的图像中应急车道边界线被遮挡而无法确定车道类型，进行车辆占用应急车道约束信息的匹配时，应急车道内侧的车道线可作为判定标准。若获取到所述对象位于车道之外，且通过计算车辆与应急车道内侧的车道线的距离，并判断其是否在第二预设范围之内，即可确定车辆的实际道路行为是否与车辆占用应急车道约束信息一致。

这里的第二预设范围可以理解为预设的车辆占用应急车道判定区间。第二预设范围的取值区间可根据实际情况进行设置，例如，设置第二预设范围为应急车道的宽度。若获取到所述对象位于车道之外，且图像中的车辆与应急车道内侧的车道线的距离在第二预设范围之内时，说明车辆在应急车道内行驶，此时，获取到车辆占用应急车道的违规约束信息匹配结果，并可确定对象违规，即，判定车辆占用应急车道。

具体的，通过判断点是否在多边形内的算法，能够确定第一图像中对象所位于的具体行车道，从而判断对象是否位于车道之外。当对象位于车道之外时，计算得到的图像中的车辆与应急车道内侧的车道线的距离。通过比较该距离与第二预设范围的大小，能够判断对象是否占用应急车道。

需要指出的是，根据道路数据中的车道分布信息以及各车道线的信息，能够确定最外车道是否为应急车道，若最外侧车道为应急车道，且对象位于车道之外，即车辆不位于任意一条车道内以及车道上，且通过计算车辆与应急车道内侧的车道线的距离在第二预设范围之内，则与车辆占用应急车道约束信息相匹配。

S240:当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像。

具体的，当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像。其中，匹配到违规约束信息的车辆，即该车辆在道路行驶过程中行驶的速度、行驶的车道道路与违规约束信息中设定的相匹配。匹配到违规约束信息的行人，即该行人在非行人道路上行驶则认定为匹配。经匹配，判定图像中的对象违规时，控制吊舱跟踪所述对象并拍摄第二图像。

应当指出的是，控制吊舱跟踪所述对象并拍摄第二图像，可通对吊舱进行姿态角以及变焦倍数值的调整，也可通过对无人机的飞行姿态以及吊舱的变焦倍数进行调整。在本申请具体的实际应用场景中，优先选择通过对吊舱的姿态角以及变焦倍数值的调整来控制吊舱跟踪所述对象并拍摄第二图像，而不会改变无人机巡航道路时的飞行姿态。还应当指出的是，控制吊舱跟踪所述对象并拍摄第二图像中对吊舱的姿态角以及摄像头变焦倍数值的调整可以实现跟踪所述对象并拍摄第二图像，选择对无人机的飞行姿态以及摄像头变焦倍数值进行调整也可以跟踪所述对象并拍摄第二图像。当然，无人机飞行姿态与吊舱姿态角结合与摄像头的变焦倍数值得调整也可以跟踪所述对象并拍摄第二图像。

在本申请的实际应用场景中，无人机按照巡航策略(其原路径)进行道路巡航时，当获取的第一图像中存在道路违规的车辆时，无人机进行吊舱的姿态角以及摄像头变焦倍数值的调整，进而拍摄车辆的第二图像。若该车辆减速，则无人机的吊舱调整姿态角和变焦倍数，以保证该车辆始终位于视野范围内。若该车辆改变移动轨迹掉头或转弯，则无人机的吊舱进行姿态角角度旋转继续拍摄。可以理解的是，这里所述无人机跟踪违规对象的具体实施方式，显然不构成对本申请保护范围的限制。

可以理解的是，考虑到该第二图像为道路违规识别中所要识别的信息，所以第二图像的清晰度应远比于第一图像的清晰度高。还可以理解的是，在控制吊舱跟踪所述对象并拍摄第二图像中，无人机依然按照巡航策略(其原路径)进行道路巡航，以便无人机可以在每次执行巡航任务时，都可以有类似的巡航电力的消耗，方便无人机的管理。

进一步的，在本申请提供的具体实施方式中，所述控制吊舱跟踪所述对象并拍摄第二图像，具体包括：控制吊舱锁定所述对象，以使所述对象处于视频中央；控制吊舱的变焦倍数从第一变焦倍数变焦到第二变焦倍数；控制无人机在所述第二变焦倍数下拍摄第二图像；其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

在控制吊舱锁定所述对象，以使所述对象处于视频中央时，可以实时获取到所述对象的像素坐标，并将所述像素坐标发送至所述吊舱，以使所述吊舱根据所述像素坐标调整所述吊舱的姿态角，使所述对象处于所述视频中央。

具体的，TX2模块在确定对象违规时，第一次获取到对象的像素坐标，然后无人机在按原始路径继续巡航时，无人机吊舱中的摄像头对道路违规的对象的图像进行实时拍摄，TX2模块实时计算出拍摄的视频帧中该对象的像素坐标，并将每一视频帧中的像素坐标实时发送至吊舱，吊舱调整其姿态角，以使违规对象处于视频中央。

当TX2模块匹配到有违规对象时，将确定对象违规时经Bounding Box回归处理得到的道路对象的位置坐标(x，y，w，h)的坐标发送到吊舱，主要是利用其中的(x，y)坐标。吊舱可通过调整吊舱的姿态来控制吊舱内设置的镜头的中心，当接收到TX2模块发送的位置坐标后，会根据该位置坐标调整自身的姿态，以将镜头中心移动到该位置坐标处。

需要指出的是，吊舱可以通过控制其姿态角实现对其拍摄的视频中的图像的镜头中心(画面中心)的调整，吊舱在接收到TX2模块实时发送的对象的像素坐标后，计算出当前姿态下的镜头中心与该像素坐标的坐标差值，然后根据该坐标差值调整吊舱姿态角，以将镜头中心调整到该像素坐标处。

本发明实施例中，当TX2模块判断出第一图像中存在违规的对象时，实时确定的对象在每一帧图像中的像素坐标，然后将确定的对象的每一个像素坐标发送给吊舱，吊舱通过调整自己的姿态角使所述对象处于所述视频中央(其实就是将画面中心调整到对象的像素坐标处)。这里吊舱需要调整的姿态角不仅包括俯仰角，还可以包括航向角，由于在获取第一图像时，第一变焦倍数比较小，因此能够拍摄到很全面的道路图像，也不要求对象处于画面中央，因此仅调节俯仰角至目标俯仰角即可，而在拍摄第二图像时，需要对象处于画面中央，仅调节俯仰角可能达不到该效果，因此，拍摄第二图像时调整的是姿态角，不仅包括俯仰角，还可以包括航向角。例如，画面中心坐标为(100，100)，TX2模块确定的对象A在第一图像帧中的像素坐标为(101,102)，则将该像素坐标发给吊舱，此时，吊舱调整姿态角，将第一图像的画面中心向对象A移动，从而使该对象处于画面中央。此时，吊舱一直持续不断的将拍摄的图像发给TX2模块，TX2模块在每一帧中确定对象A的像素坐标后，将其发给吊舱，从而吊舱持续的调整姿态角，使对象A一直处于画面中央。

需要指出的是，实际上吊舱在将第一图像发送给TX2模块后，再接收到TX2模块返回的像素坐标时，其拍摄的是与第一图像存在一定延迟的图像，根据第一图像中确定的对象的像素坐标，将当前图像的画面中心坐标调整到该像素坐标处，并将当前图像发送到TX2模块，从而实现TX2模块控制吊舱实时锁定对象，使对象处于吊舱拍摄的视频中央。

还需要说明的是，在获取第一图形以及第二图形时，吊舱的横滚角始终不变，保持初始时的横滚角。

可以理解的是，在无人机控制吊舱锁定所述对象，以使所述对象处于所述视频中央的期间，无人机依然按原路径继续行驶，仅通过控制吊舱使对象处于视频中央。当然无人机在控制吊舱锁定所述对象，以使所述对象处于所述视频中央中，也可通过对无人机的飞行姿态以及吊舱的姿态同时调整，进而实现吊舱锁定对象，并使所述对象处于视频中央。还可以理解的是，无人机飞行姿态的调整即无人机巡航策略的调整，在本申请提供的一种优选实施方式中，优先采用无人机控制吊舱调整吊舱的姿态角实现锁定所述对象处于视频中央的方法。

本发明实施例中，在控制吊舱锁定所述对象，以使所述对象处于视频中央时，还可以获取第二变焦倍数，并将所述第二变焦倍数发送至所述吊舱，以使所述吊舱从第一变焦倍数匀速变焦至第二变焦倍数。

本发明实施例中，第二变焦倍数的范围为20至60倍。在所述第二变焦倍数范围内，能够得到视野清晰、违规对象占用比例适中的第二图像。

应当指出的是，TX2模块获取的第二变焦倍数可以综合分析无人机飞行高度以及无人机与违规对象之间的距离进行设置，例如，当无人机飞行高度越高，以及无人机与违规对象之间的距离越远，则设置的第二变焦倍数应越大。当该第二变焦倍数是预设置的固定值，当TX2模块检测到对象违规时，就将该固定值发送给吊舱，以使吊舱从第一变焦倍数匀速变焦至第二变焦倍数。另外，还可以预先设置对象尺寸(即确定对象违规时经BoundingBox回归处理得到的道路对象的位置坐标(x，y，w，h)中的(w，h))以及图像尺寸与变焦倍数的对应关系，从而根据确定的对象尺寸确定其对应的变焦倍数。

本发明实施例中，可以设置

需要指出的是，TX2模块只向吊舱发送一次第二变焦倍数即可，无需像确定的对象的像素坐标一样实时发送。

需要说明的是，控制所述吊舱从第一变焦倍数匀速变焦至第二变焦倍数，是为了避免吊舱的变焦倍数突变造成跟踪丢失，而且能够提升吊舱调整其姿态角使对象处于视频中央时的稳定性和精准性。摄像头的匀速变焦是在无人机按巡航路径巡航过程中执行的，所以即要保证无人机按巡航路径、巡航速度、巡航方向行驶，同样摄像头匀速变焦过程也被考虑。当无人机巡航的速度过快时，摄像头匀速变焦至预设第二变焦倍数的过程设定为较快匀速变焦。相反的，摄像头匀速变焦至预设第二变焦倍数的过程设定为较慢匀速变焦。摄像头匀速变焦至预设第二变焦倍数的过程设定为较慢或者较快同样是考虑到在对道路违规对象进行拍摄时，违规对象有可能丢失在摄像头视野范围内的问题。

应当指出的是，在控制所述吊舱从第一变焦倍数匀速变焦至第二变焦倍数的过程中，该变焦动作由吊舱执行，无人机只需按巡航路径继续巡航即可。

还应当指出的是，吊舱从第一变焦倍数匀速变焦至第二变焦倍数的过程中，其匀速变焦的变焦值根据实际应用场景设定，如无人机的飞行高度为距离地面50米时，其匀速变焦的变焦值设为第一变焦倍数的1-3倍。可以理解的是，摄像头从第一变焦倍数匀速变焦至预设第一变焦倍数的过程中，匀速变焦的倍数值，显然不构成对本申请具体保护范围的限制。

本发明实施例中，优选吊舱先根据像素坐标调整姿态角，使对象处于视频中央，然后再调整变焦倍数，以防止在变焦过程中的跟踪丢失。即，在变焦的过程中，须保持目标对象在视频的中心，在变焦至第二变焦倍数时，执行拍摄第二图像。其中，所述第一变焦倍数小于第二变焦倍数。

需要指出的是，在执行完第二图像的拍摄后，无人机控制吊舱的姿态角返回目标俯仰角，吊舱的变焦倍数由第二变焦倍数调整到第一变焦倍数，以实现无人机按照其原始的飞行路径继续巡航。

S250：根据所述第二图像获取所述对象的标识。

可以理解的是，无人机拍摄的第二图像为针对违规对象的图像。这样，根据所述第二图像，能够确定违规对象的相关信息。例如，违规对象类别属性信息、违规对象特征信息、违规对象所位于道路信息、违规对象位置信息等等。本发明实施例中主要获取对象的标识信息，即对象的具体区别性信息。例如，车辆车牌号、行人的面部图像等。

需要指出的是，虽然，根据无人机拍摄的第一图像，也可能确定违规对象的标识。但由于无人机拍摄第一图像的变焦倍数低于拍摄第二图像的变焦倍数，且第二图像中违规对象的拍摄角度较好，这使得第二图像中违规对象的标识更为准确以及容易获取，因此，通过第二图像获取对象的标识。

进一步的，在本申请提供的一种优选的实施方式中，根据所述第二图像获取所述对象的标识，具体包括：根据多类检测模型，从第二图像中检测出所述对象图像；根据车牌检测模型，从对象图像中检测出车牌图像；利用光学字符识别OCR算法从所述车牌图像中获取所述对象的标识。

具体的，无人机在跟踪违规对象时，由于违规对象处于不断移动的过程中，存在跟踪对象丢失的情况，这使得所拍摄的第二图像中可能不包含违规对象，还可能违规对象在第二图像中的占比过小，还有可能第二图像中包括多个对象，因此，直接对第二图像进行识别会导致车牌不能识别或者识别不准确。因此，根据第二图像获取违规对象的标识，首先需要根据多类检测模型，从第二图像中检测出所述对象图像，利用该对象图像进行识别，从而增加车牌被识别到的可能性，提升识别的准确性。其中，所述多类检测模型用于从第二图像检测出对象图像。所述多类检测模型可通过神经网络负反馈优化得到。进行多类检测模型的负反馈优化，需要用到训练用公开图像集。其中，所述训练用公开图像集至少包括若干未标注分类结果的含有违规对象的图像元素。这样，经负反馈优化得到的分类检测模型能够识别出第二图像中是否含有违规对象。其中，所述违规对象的类别属性可以为机动车车辆、非机动车车辆、行人等。

得到对象图像之后，由于无人机拍摄角度问题，有些对象图像中可能不包括车牌图像，或者车牌图像在对象图像中的占比过小，因此，需要对对象图像中检测出车牌图像检测。本发明实施例中，可通过车牌检测模型从对象图像中进一步的检测出车牌图像，以增加车牌被识别到的可能性，提升识别的准确性。通过车牌检测模型进行违规对象标识的检测，主要是在对象图像中进行车牌位置区域的检测，以得到第二图像中的车牌位置区域的图像信息。所述车牌检测模型可通过神经网络负反馈优化得到。进行车牌检测模型的负反馈优化，需要用到训练用公开图像集。其中，所述训练用公开图像集至少包括若干已标注车牌位置的图像元素。这样，经负反馈优化得到的车牌检测模型能够检测出含有违规对象的第二图像中的车牌位置。其中，所述若干已标注车牌位置的图像元素可以为若干已标注车牌位置的机动车图像元素、若干已标注车牌位置的非机动车图像元素等。

可以理解的是，车牌检测模型对于所属技术人员来讲，大多是针对停车场中的车牌进行的车牌检测，而此处所述的车牌检测模型则是针对在道路中行驶的目标对象的牌照进行的车牌检测。该车牌检测模型通过无人机在飞行状态下检测多个车牌图像进行训练得出，然后训练出初始的车牌检测模型。通过初始的车检测模型，识别车牌的位置。

还应当指出的是，车牌检测模型是通过算法模型得出的，算法模型中包括两部分，一部分是网络结构，具体指卷积层、池化层中的矩阵计算；另一部分是权重文件，可以理解为由很多个浮点数组成的数组。还应当考虑的是，在本申请提供的一种优选实施例中，算法模型通过图形处理器(Graphics Processing Unit)加速算法模型的计算，即GPU加速算法模型的计算。由于图形处理器可以同时处理多项任务计算，相比于现有的处理器而言，其突出性计算的优点，可使得车牌监测模型所采用的算法模型由原来300ms的耗时降低至10ms。

检测出车牌位于第二图像中的区域之后，即可进行车牌信息的识别。具体的，利用光学字符识别OCR算法。通过对车牌位置区域的图像进行OCR识别，即可得到车牌中的车牌号信息。所述OCR算法可通过神经网络负反馈优化得到。进行OCR算法的负反馈优化，需要用到训练用公开图像集。其中，所述训练用公开图像集至少包括若干已标注车牌信息的车牌图像元素。这样，经负反馈优化得到的OCR算法能够检测出第二图像中的车牌信息。其中，所述若干已标注车牌位置的图像元素可以为若干已标注车牌位置的机动车图像元素、若干已标注车牌位置的非机动车图像元素等。

还可以理解的是，车牌检测模型在本申请实施例中主要采用卷积神经网络中的目标检测技术，OCR算法用的是图像分类技术。车牌检测模型在检测完后生成车牌的4个坐标点(左上角、左下角、右上角、右下角)。OCR算法则输出一维向量，对应于车牌字符列表中的数字、字母或者汉字。

进一步的，在本申请提供的具体实施方式中，根据所述第二图像获取所述对象的标识，具体包括：在第二变焦倍数下，周期性拍摄多个第二图像；根据多类检测模型，从每一第二图像中检测出对象图像；根据车牌检测模型，从每一对象图像中检测出车牌图像；利用光学字符识别OCR算法，识别每一车牌图像的车牌标识；根据所述多个第二图像的车牌标识，计算每一车牌标识的重复率；比较所述重复率与设定阈值；将所述重复率超过设定阈值且重复率最高的车牌标识确定为所述对象的标识。

具体的，在第二变焦倍数下，获取多张第二图像即周期性拍摄多个第二图像。第二图像用于检测出违规车辆信息的标识信息，所以应尽可能拍摄多张第二图像以确认违规车辆的信息。

应当指出的是，获取多张第二图像可以是连续若干帧拍摄，也可以是间隔拍摄。在进行若干帧连续拍摄过程中，需根据无人机实际拍摄性能进行设置。例如，无人机中道路识别算法需100ms可以处理完一帧，原始视频流为30Hz，车辆在图像内可以留下90帧，即可呈现3秒内的图像车辆。而在实际场景中，考虑到违规取证的充分性，通常可设置帧数为15帧，即呈现6秒的图像车辆。

可以理解的是，周期性拍摄多个第二图像可以是在拍摄单张图像后，经过多类检测模型、车牌检测模型未得到车辆的具体信息后，则启动周期性拍摄多个第二图像。周期性拍摄多个第二图像可通过每间隔1秒拍摄一次图像，通过对多个图像进行的多类检测模型、车牌检测模型检测到的车辆信息，并进行光学字符识别OCR算法，对生成的车牌信息重复率大的标识进行选择，进而生成车辆的具体信息。

可以理解的是，将所述重复率超过设定阈值且重复率最高的车牌标识确定为所述对象的标识，即在拍摄了多种照片后，对重复率超过预定的阈值的标识进行选择。例如，周期性拍摄6张图像，其中有3张以上的车牌信息重复，则选择3张以上一样的车牌信息进行选择。可以理解的是，周期性拍摄图像的时间，重复率的值、预定的阈值以及对标识选择的方法，显然不构成对本申请保护范围的限制。

进一步的，在本申请提供的具体实施方式中，还可以将所述第一图像作为证据保存。

可以理解的是，根据无人机拍摄的第一图像，能够确定图像中的道路相关信息以及位于道路中的对象信息。其中，所述道路相关信息是指与道路分布相关的信息。例如，道路中机动车道、非机动车道、人行道的分布详情，或机动车道中各车道的分布详情，或图像中每一条道路的具体位置坐标等。所述对象信息为图像中位于道路内的对象。例如，位于人行道的行人，或位于非机动车道的非机动车辆，或位于机动车道的机动车辆，或分别位于每一条道路中不同对象的类别属性等。根据所述道路相关信息以及位于道路中的对象信息，并与违规约束信息匹配，能够识别出违规对象。但是，会存在误判的可能性。因此，需第一图像作为证据保存。这样，可根据所保存的证据，进行可能误判的道路行为进行二次识别，从而增加了道路识别的准确率。

需要指出的是，还可以将第二图像也作为证据保存，以进一步的保存包含有违规对象的车牌信息，使证据更为完整，清晰。

请参照图5，本申请公开一种道路违规识别的装置20，可以用于执行本申请上述实施例中的识别道路违规的方法。该装置20包括：

获取模块21，用于获取无人机巡航道路时抓取的第一图像；

处理模块22，用于处理所述第一图像形成道路数据和位于道路的对象的信息；

匹配模块23，用于根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；

控制模块24，用于当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；

识别模块25，用于根据所述第二图像获取所述对象的标识。

根据本发明实施例，所述获取模块21，配置为根据无人机的飞行高度，控制无人机的吊舱的对地俯仰角为目标俯仰角，以及控制无人机的吊舱的变焦倍数为第一变焦倍数；保持所述目标俯仰角以及所述第一变焦倍数，获取无人机巡航道路时拍摄的视频中的第一图像；其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

根据本发明实施例，所述获取模块21，配置为获取无人机按照预先设置的巡航策略巡航道路时抓取的图像；所述预先设置的巡航策略包括预先设置巡航路线、巡航速度、巡航方向中至少一种。

根据本发明实施例，所述目标俯仰角的范围为-20°至-40°。

根据本发明实施例，所述处理模块22，配置为确定所述图像中的车道线以及各车道线的顶点；根据所述车道线、所述各车道线的顶点以及所述图像对应的道路分布使用数据生成道路数据；其中，所述道路数据至少包括道路中的车道分布信息以及组成道路的各车道线的信息。

根据本发明实施例，所述处理模块22，配置为处理所述图像形成位于道路的对象的类别属性以及位置坐标。

根据本发明实施例，所述违规约束信息包括大型车辆占用超车道约束信息、车辆占用应急车道约束信息、车辆占用公交车专用道约束信息、压实线约束信息以及车辆超高速和超低速约束信息中至少一种。

根据本发明实施例，所述匹配模块23，配置为根据所述对象的信息以及道路数据，确定所述对象所在的车道；根据所述对象所在的车道，匹配违规约束信息，获取匹配结果。

根据本发明实施例，当所述违规约束信息为车辆超高速和超低速约束信息时，所述匹配模块23，配置为根据若干连续帧图像形成的对象的信息以及道路数据，计算所述对象的移动速度；根据所述对象的信息以及道路数据，确定所述对象所在的车道；将所述对象的移动速度与所述车道的限速值区间进行匹配，获取匹配结果。

根据本发明实施例，所述匹配模块23，配置为根据所述对象的信息以及道路数据，确定所述对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离；根据所述对象所在的车道、与所述对象距离最近的车道线以及所述对象和所述距离最近的车道线之间的距离匹配违规约束信息，获取匹配结果。

根据本发明实施例，当所述违规约束信息为压实线约束信息时，所述匹配模块23，配置为若与所述对象距离最近的车道线为实线，且所述对象和所述距离最近的车道线之间的距离在第一预设范围之内，获取匹配结果为匹配成功。

根据本发明实施例，当所述违规约束信息为车辆占用应急车道约束信息时，所述匹配模块23，配置为若获取到所述对象位于车道之外，与应急车道的内侧车道线距离最近，且与所述应急车道的内侧车道线距离在第二预设范围之内，获取匹配结果为匹配成功。

根据本发明实施例，所述控制模块24，配置为控制吊舱锁定所述对象，以使所述对象处于视频中央；控制吊舱的变焦倍数从第一变焦倍数变焦到第二变焦倍数；控制无人机在所述第二变焦倍数下拍摄第二图像；其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

根据本发明实施例，实时获取到所述对象的像素坐标，并将所述像素坐标发送至所述吊舱，以使所述吊舱根据所述像素坐标调整所述吊舱的姿态角，使所述对象处于所述视频中央。

根据本发明实施例，获取第二变焦倍数，并将所述第二变焦倍数发送至所述吊舱，以使所述吊舱从第一变焦倍数匀速变焦至第二变焦倍数。

根据本发明实施例，所述第二变焦倍数的范围为20至60倍。

根据本发明实施例，所述识别模块25，配置为根据多类检测模型，从第二图像中检测出所述对象图像；根据车牌检测模型，从对象图像中检测出车牌图像；利用光学字符识别OCR算法从所述车牌图像中获取所述对象的标识。

根据本发明实施例，所述识别模块25，在第二变焦倍数下，周期性拍摄多个第二图像；根据多类检测模型，从每一第二图像中检测出对象图像；根据车牌检测模型，从每一对象图像中检测出车牌图像；利用光学字符识别OCR算法，识别每一车牌图像的车牌标识；根据所述多个第二图像的车牌标识，计算每一车牌标识的重复率；比较所述重复率与设定阈值；将所述重复率超过设定阈值且重复率最高的车牌标识确定为所述对象的标识。

本发明实施例中，通过获取无人机巡航道路时抓取的第一图像；处理所述第一图像形成道路数据和位于道路的对象的信息；根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；根据所述第二图像获取所述对象的标识，可以灵活、实时地监控无人机巡航路线范围内连续道路的通行情况，并识别出所监控区域是否存在道路违规行为，扩大了道路违规驾驶行为的识别区域，并对存在道路违规行为的对象进行取证。

如图6所示，为描述根据本申请实施例的电子设备30。图6显示的电子设备30仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，电子设备30以通用计算设备的形式表现。电子设备30的组件可以包括但不限于：上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图1中所示的各个步骤。

存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(ROM)3203。

存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备30交互的设备通信，和/或与使得该电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。输入/输出(I/O)接口350与显示单元340相连。并且，电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器360通过总线330与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。

在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。

根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种道路违规识别的方法，其特征在于，包括以下步骤：

获取无人机巡航道路时抓取的第一图像；

处理所述第一图像形成道路数据和位于道路的对象的信息；

根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；

当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；

根据所述第二图像获取所述对象的标识。

2.如权利要求1所述的方法，其特征在于，所述获取无人机巡航道路时抓取的第一图像，具体包括：

根据无人机的飞行高度，控制无人机的吊舱的对地俯仰角为目标俯仰角，以及控制无人机的吊舱的变焦倍数为第一变焦倍数；

保持所述目标俯仰角以及所述第一变焦倍数，获取无人机巡航道路时抓取的视频中的第一图像；

其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

3.如权利要求2所述的方法，其特征在于，所述目标俯仰角的范围为-20°至-40°。

4.如权利要求1所述的方法，其特征在于，所述控制吊舱跟踪所述对象并拍摄第二图像，具体包括：

控制吊舱锁定所述对象，以使所述对象处于视频中央；

控制吊舱的变焦倍数从第一变焦倍数变焦到第二变焦倍数；

控制无人机在所述第二变焦倍数下拍摄第二图像；

其中，无人机的吊舱中设置有沿无人机航向或背离所述无人机航向的摄像头。

5.如权利要求4所述的方法，其特征在于，控制吊舱锁定所述对象，以使所述对象处于所述视频中央，具体包括：

实时获取到所述对象的像素坐标，并将所述像素坐标发送至所述吊舱，以使所述吊舱根据所述像素坐标调整所述吊舱的姿态角，使所述对象处于所述视频中央。

6.如权利要求4所述的方法，其特征在于，所述控制吊舱的变焦倍数从第一变焦倍数变焦到第二变焦倍数，具体包括：

获取第二变焦倍数，并将所述第二变焦倍数发送至所述吊舱，以使所述吊舱从第一变焦倍数匀速变焦至第二变焦倍数。

7.如权利要求4所述的方法，其特征在于，所述第二变焦倍数的范围为20至60倍。

8.如权利要求1所述的方法，其特征在于，根据所述第二图像获取所述对象的标识，具体包括：

根据多类检测模型，从第二图像中检测出所述对象图像；

根据车牌检测模型，从对象图像中检测出车牌图像；

利用光学字符识别OCR算法从所述车牌图像中获取所述对象的标识。

9.如权利要求1所述的方法，其特征在于，根据所述第二图像获取所述对象的标识，具体包括：

在第二变焦倍数下，周期性拍摄多个第二图像；

根据多类检测模型，从每一第二图像中检测出对象图像；

根据车牌检测模型，从每一对象图像中检测出车牌图像；

利用光学字符识别OCR算法，识别每一车牌图像的车牌标识；

根据所述多个第二图像的车牌标识，计算每一车牌标识的重复率；

比较所述重复率与设定阈值；

将所述重复率超过设定阈值且重复率最高的车牌标识确定为所述对象的标识。

10.一种道路违规识别的装置，其特征在于，包括：

获取模块，用于获取无人机巡航道路时抓取的第一图像；

处理模块，用于处理所述第一图像形成道路数据和位于道路的对象的信息；

匹配模块，用于根据所述对象的信息以及道路数据，匹配违规约束信息，并获取到匹配结果；

控制模块，用于当根据所述匹配结果确定所述对象违规时，控制吊舱跟踪所述对象并拍摄第二图像；

识别模块，用于根据所述第二图像获取所述对象的标识。

11.一种电子设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-10中的任一个所述的方法。

12.一种存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-10中的任一项所述的方法。

Images