CN114627394B - 一种基于无人机的渣土车套牌识别方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于无人机的渣土车套牌识别方法及系统，通过对无人机反馈的航拍监控视频按照航拍监控图像帧的时间顺序依次获取航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧；然后，获取至少一个待识别渣土车对应的显著性标识信息，显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息；最后，根据显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断无人机当前监控的渣土车场景中是否存在套牌渣土车。如此，结合无人机实现套牌渣土车的自动识别。

Description

一种基于无人机的渣土车套牌识别方法及系统

技术领域

本发明涉及无人机及车辆监控技术领域，具体而言，涉及一种基于无人机的渣土车套牌识别方法及系统。

背景技术

渣土车，也称拉土车、运渣车，如常见的有运送砂石等渣土材料的大型翻斗车、卡车等，一般为大型载重卡车。

随着无人机技术的不断发展以及较大范围的推广应用，无人机在城市管理中的各个领域被逐渐应用及推广，并在各种场景下的监控和应用极大的提高了相关的监控效果。基于此，在一些特别的渣土车场景中，如何有效利用无人机实现渣土车的监管（如渣土车套牌行为识别）是本领域正在研究的一项重要性课题。

发明内容

鉴于上述提及的问题，本发明实施例提供一种基于无人机的渣土车套牌识别方法，应用于与无人机通信连接的渣土车监控中心，所述方法包括：

获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧；

获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息；

根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

进一步地，所述根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车，包括：

根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征，所述第一关键可视化特征至少用于表征所述当前监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度，所述第二关键可视化特征至少用于表征所述融合监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度；

对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征；

将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

进一步地，所述将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车，包括：

将所述关键可视化组合特征与所述数据库中存储的与所述显著性标识信息对应的标准可视化特征进行匹配度分析，当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征匹配时，则判断所述无人机当前监控的渣土车场景中不存在套牌渣土车；

当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征不匹配时，则判断所述无人机当前监控的渣土车场景中存在套牌渣土车；

所述方法还包括：

当判断所述无人机当前监控的渣土车场景中存在套牌渣土车时，向设定的预警设备发送渣土车套牌预警信息，所述渣土车套牌预警信息包括所述无人机当前所监控场景的位置信息以及疑似套牌的目标渣土车的相关车辆信息，以通知相关人员到现场进行处理。

进一步地，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征，包括：

对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量；

对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息；

基于所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息，确定所述两个或两个以上感兴趣区域的区域关联等级，其中，所述感兴趣区域的区域关联等级表征所述感兴趣区域与所述显著性标识信息之间的特征关联度；

基于所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征；

其中，所述基于所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息，确定所述两个或两个以上感兴趣区域的区域关联等级，包括：

分别获取所述标识特征向量与两个或两个以上兴趣区域关键信息之间的第一相关性参数；

对获取到的两个或两个以上第一相关性参数进行参数等级映射，得到所述两个或两个以上感兴趣区域的区域关联等级。

进一步地，所述融合监控图像帧包括两个或两个以上，所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征，包括：

根据所述第一关键可视化特征与两个或两个以上第二关键可视化特征之间的第二相关性参数，从所述两个或两个以上融合监控图像帧中获取最大的第二相关性参数对应的所述融合监控图像帧，所述第二相关性参数至少用于表征所述融合监控图像帧所包括的可视化特征与所述当前监控图像帧所包括的可视化特征之间的特征差异度；

将所述第一关键可视化特征和获取的所述融合监控图像帧的第二关键可视化特征进行组合，得到所述关键可视化组合特征；

其中，所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征之后，所述方法还包括：

对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标；

如果所述关联度指标大于关联度指标阈值，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域，所述显著性标识信息与所述图像区域关联是指所述图像区域所包括的可视化特征与所述显著性标识信息关联；

所述如果所述关联度指标大于关联度指标阈值，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域，包括：

如果所述关联度指标大于所述关联度指标阈值，根据所述当前监控图像帧中两个或两个以上感兴趣区域的区域关联等级，从所述当前监控图像帧中选取对应的区域关联等级大于预设区域关联等级的两个或两个以上目标感兴趣区域，其中，所述感兴趣区域的区域关联等级表征所述感兴趣区域与所述显著性标识信息之间的特征关联度；

确定所述两个或两个以上目标感兴趣区域在所述当前监控图像帧中的各个不同的目标定位框；

基于所述两个或两个以上目标感兴趣区域的各个不同的目标定位框，从所述当前监控图像帧中获取包括至少两个目标感兴趣区域的图像区域；

其中，如果所述关联度指标小于或等于所述关联度指标阈值，所述方法还包括：

获取下一个显著性标识信息，回到根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车的步骤，以进行下一个套牌渣土车的识别流程。

进一步地，所述根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征，包括：

基于图像处理AI网络的关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述第一关键可视化特征和所述第二关键可视化特征；

所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征，包括：

基于所述图像处理AI网络的多模态特征融合单元，对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征；

其中，所述图像处理AI网络通过预先采集的样本训练数据进行训练而得到。

进一步地，所述关键信息采集单元包括第一特征提取层、第二特征提取层和关键信息处理层，其中，基于所述关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述第一关键可视化特征，包括：

基于所述第一特征提取层，对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量；

基于所述第二特征提取层，对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息；

基于所述关键信息处理层，对所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息进行处理，确定所述两个或两个以上感兴趣区域的区域关联等级，其中，所述感兴趣区域的区域关联等级表示所述感兴趣区域与所述显著性标识信息之间的特征关联度；

基于所述关键信息处理层，按照所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征。

进一步地，所述方法还包括对所述图像处理AI网络进行模型训练的步骤，具体包括：

获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本和所述第一航拍监控图像样本对应的显著性标识信息样本，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联；

基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征；

基于所述推定关键可视化特征和所述显著性标识信息样本之间的特征关联度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络。

进一步地，所述获取与所述显著性标识信息关联的图像区域，还包括：

基于图像区域分析网络的特征归类单元，对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标；

在所述关联度指标大于关联度指标阈值时，基于所述图像区域分析网络的区域采集单元，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域；

其中，所述方法还包括对所述图像处理AI网络和所述图像区域分析网络进行模型进行联合训练的步骤，具体包括：

获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本、所述第一航拍监控图像样本对应的显著性标识信息样本、以及所述第一航拍监控图像样本中的标定参考图像区域，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联；

基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征；

基于所述图像区域分析网络，对所述推定关键可视化特征、所述第一航拍监控图像样本和所述显著性标识信息样本进行处理，得到推定图像区域；

根据所述推定图像区域和所述标定参考图像区域的区域相似度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络以及所述图像区域分析网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络和所述图像区域分析网络。

进一步地，本发明实施例还提供一种基于无人机的渣土车套牌识别系统，包括渣土车监控中心以及与所述渣土车监控中心通信连接的无人机，所述渣土车监控中心包括处理器、机器可读存储介质，所述机器可读存储介质和所述处理器连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以实现上述的方法。

综上所述，本发明实施例提供的基于无人机的渣土车套牌识别方法及系统，通过获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧，并按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧；然后，获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息；最后，根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

如此，通过结合无人机实现渣土车场景中的套牌渣土车的自动识别。同时，通过依次获取的航拍监控视频中的当前监控图像帧和之后的融合监控图像帧进行融合分析的方法可以提升套牌渣土车的识别精确度。

此外，在具体实施的过程中，进一步将当前监控图像帧之后的融合监控图像帧的第二关键可视化特征，融合到当前监控图像帧的第一关键可视化特征中，使得到的当前监控图像帧的关键可视化组合特征中既包含当前监控图像帧所包括的可视化特征，又包含之后的融合监控图像帧所包括的可视化特征，该关键可视化组合特征能够更加全面的对当前监控视频的可视化特征进行表达，进而使得根据关键可视化组合特征对当前监控的渣土车的相关图像特征进行更准确的表达，使后续的渣土车套牌识别结果的精准性更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，针对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的基于无人机的渣土车套牌识别方法的流程示意图。

图2是用于实现所述基于无人机的渣土车套牌识别方法的渣土车套牌识别系统的系统架构示意图。

图3是渣土车监控中心的示意图。

图4是步骤S40的子步骤流程示意图。

图5是步骤S41的子步骤流程示意图。

图6是渣土车套牌识别装置的功能模块示意图。

具体实施方式

请参阅图1，是本发明实施例提供的基于无人机的渣土车套牌识别方法的流程示意图。首先，先对实现所述基于无人机的渣土车套牌识别方法的硬件环境进行说明。

如图2所示，所述方法可以由用于管理并调度无人机10的渣土车监控中心20执行并实现。本实施例中，所述渣土车监控中心20可以是基于智慧城市而设立的用于与预设管控区域内的多个无人机10进行远程通信以对无人机10进行远程控制和调度的一个服务平台。示例性地，所述渣土车监控中心20可以是，但不限于，具有通信控制能力及大数据分析能力的计算机设备、服务器、计算机设备、云服务中心、机房控制中心、云平台等设备。优选地，本实施例以所述渣土车监控中心20为服务器为例，该服务器可以是一个独立的服务器，也可以是由两个或两个以上服务器构成的服务器集群、云服务器、远端服务器中心等。

进一步地，参照图3所示，所述渣土车监控中心20可以包括机器可读介质21、处理器22、通信总线23和渣土车套牌识别装置24。本实施例中，所述机器可读介质21、处理器22和通信总线23彼此之间可以直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条所述通信总线23实现电性连接。所述机器可读介质21可以是任何类型的存储单元，例如，本实施例优选为一种非易失性的机器可读存储介质。所述机器可读介质21中存储用于存储各种类型的程序、指令或可执行代码，例如所述渣土车套牌识别装置24所包括的各种软件功能模块对应的软件程序部分。其中，所述渣土车套牌识别装置24可以包括至少一个以软件或固件（firmware）的形式储存于所述机器可读介质21中的软件功能模块，所述处理器22通过运行存储在机器可读介质21内的软件程序以及模块，例如本申请实施例中的渣土车套牌识别装置24中的软件程序以及模块，从而实现所述渣土车监控中心20的各种功能应用以及数据处理，例如实现本申请实施例中的业务画像分析方法。

其中，所述机器可读介质21可以是，但不限于，随机存取存储器（Random AccessMemory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（ProgrammableRead-Only Memory，PROM），可擦除只读存储器（Erasable Programmable Read-OnlyMemory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-OnlyMemory，EEPROM）等。所述处理器22可能是一种集成电路芯片，具有数据的处理能力。上述的处理器22可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器 (Network Processor，NP)等，用于实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。

进一步地，所述通信总线23可用于实现渣土车监控中心20各组件相互之间的通信连接，也可以实现渣土车监控中心20内部的各通信组件与外部通信设备之间的通信连接，进而实现网络信号及数据的传输。

下面对图1所示的基于无人机的渣土车套牌识别方法所包括的各个步骤通过示例的方式进行详细的介绍。可选地，所述方法可以包括下述S10-S40所述的各步骤，具体介绍如下。

步骤S10，获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧。

步骤S20，按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧。

作为一种可替代的示例，所述航拍监控视频包括的各个航拍监控图像帧可以表示为：Frame_1、Frame_2、Frame_3、....、Frame_n、....Frame_m。那么，所述航拍监控视频可以包括Frame_1至Frame_n等多个航拍监控图像帧。那么，在第一次进行图像帧获取时，可以将Frame_1作为当前监控图像帧，Frame_2作为融合监控图像帧。在第二次进行图像帧获取时，可以将Frame_2作为当前监控图像帧，将Frame_3作为融合监控图像帧；在第n次进行图像帧获取时，可以将Frame_n作为当前监控图像帧，将Frame_n+1作为融合监控图像帧，如此反复进行。

又例如，所述融合监控图像帧也可以是两个或两个以上，例如，以每次获取两个融合监控图像帧为例，在第一次进行图像帧获取时，可以将Frame_1作为当前监控图像帧，Frame_2以及Frame_3作为融合监控图像帧；在第二次进行图像帧获取时，可以将Frame_2作为当前监控图像帧，将Frame_3以及Frame_4作为融合监控图像帧；在第n次进行图像帧获取时，可以将Frame_n作为当前监控图像帧，将Frame_n+1以及Frame_n+2作为融合监控图像帧，如此反复进行。

如此，根据显著性标识信息对当前监控图像帧进行关键信息采集，采集得到的第一关键可视化特征中具有显著性标识信息的标识特征向量，然后根据显著性标识信息对融合监控图像帧进行关键信息采集，且得到的第二关键可视化特征中也具有显著性标识信息的标识特征向量。

步骤S30，获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息。

本实施例中，在上述内容的基础上，所述显著性标识信息例如可以至少包括车牌号特征与渣土车品牌特征、车身可视化特征（如颜色、长宽高）中的任意一个或两个或两个以上的组合，以通过这些特征首先识别出可以包括这些基本特征的监控图像帧，并通过相应的监控图像帧获取相应的特征进行组合后发送到渣土车监控中心进行精准识别。例如，通过两个或两个以上不同的图像帧进行特征组合后，可以得到渣土车在不同视觉下（如不同车辆姿态）的特征组合，进而可以提升后续进行渣土车套牌识别的精准性。示例性地，所述显著性标识信息例如可以是通过安装在无人机上的车牌识别模块、车辆品牌logo识别模块等在设定的位置（如目标监控路口、车场入口等）进行初步识别而得到，然后在反馈对应车辆的航拍监控视频时一同发送给渣土车监控中心。所述显著性标识信息可以用于后续在监控图像帧的分析时作为判断相应的监控图像帧的可用性（如监控车辆的关联程度）的依据，例如后续的航拍监控图像帧至少要包含所述显著性标识信息的至少部分以用于进行特征的比对和分析。

步骤S40，根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

进一步地，在一种可能的实施方式中，在上述步骤S40中，如图4所示，可以通过以下S41-S43的步骤具体实现，详细介绍如下。

步骤S41，根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征。

本实施例中，所述第一关键可视化特征至少用于表征所述当前监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度，所述第二关键可视化特征至少用于表征所述融合监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度。例如，可以通过第一关键可视化特征和所述第二关键可视化特征分别与所述显著性标识信息所包括的至少一种显著性特征之间的相似性确定相应的特征关联度。基于特征关联度，可以提取得到鱼所述显著性标识信息有关的相关特征用于表征当前所监控的渣土车的可视化信息，以用于后续的渣土车套牌识别。

步骤S42，对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征。

在一种可能的实施方式中，可以通过特征拼接、特征融合等方式实现所述第一关键可视化特征和所述第二关键可视化特征之间的特征组合。

详细地，为了使第一关键可视化特征中具有更多的可描述可视化特征的相关特征内容，可以将第一关键可视化特征与第二关键可视化特征进行组合，得到当前监控图像帧的关键可视化组合特征，该关键可视化组合特征中不仅包括当前监控图像帧所包括的可视化特征，还包括该融合监控图像帧中所包括的可视化特征。

如此，将当前监控图像帧之后的融合监控图像帧的第二关键可视化特征，融合到当前监控图像帧的第一关键可视化特征中，使得到的当前监控图像帧的关键可视化组合特征中既包含当前监控图像帧所包括的可视化特征，又包含之后的融合监控图像帧所包括的可视化特征，该关键可视化组合特征能够更加全面的对当前监控视频的可视化特征进行表达，进而使得根据关键可视化组合特征对当前监控的渣土车的相关图像特征进行更准确的表达，使后续的渣土车套牌识别结果的精准性更好。并且，由于关键可视化特征是根据显著性标识信息进行采集的，该关键可视化特征还能够体现航拍监控图像帧中所包括的可视化特征与显著性标识信息所表征的可视化特征的特征关联度。

进一步地，在一种可替代的实现方式中，所述融合监控图像帧可以包括两个或两个以上。基于此，在上述步骤S42中，对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征时，可首先根据所述第一关键可视化特征与两个或两个以上第二关键可视化特征之间的第二相关性参数，从所述两个或两个以上融合监控图像帧中获取最大的第二相关性参数对应的所述融合监控图像帧，然后将所述第一关键可视化特征和获取的所述融合监控图像帧的第二关键可视化特征进行组合，得到所述关键可视化组合特征。其中，所述第二相关性参数至少用于表征所述融合监控图像帧所包括的可视化特征与所述当前监控图像帧所包括的可视化特征之间的特征差异度。

其中，所述第二相关性参数至少用于表征融合监控图像帧所包括的可视化特征与当前监控图像帧所包括的可视化特征之间的特征差异度。融合监控图像帧与当前监控图像帧所包括的可视化特征差异越小，则第二相关性参数越大。例如，两个航拍监控图像帧都是描述“车身颜色”这一可视化特征的，则这两个航拍监控图像帧之间的第二相关性参数会较大。又例如，若一个航拍监控图像帧是描述“车身颜色”这一可视化特征的，而另一个航拍监控图像帧是描述“车身姿态”这一可视化特征的，则这两个航拍监控图像帧之间的第二相关性参数会较小。

此外，在此之后，本实施例的方法还可以对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标； 如果所述关联度指标大于关联度指标阈值，则从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域。其中，所述显著性标识信息与所述图像区域关联是指所述图像区域所包括的可视化特征与所述显著性标识信息关联。

例如，首先，如果所述关联度指标大于所述关联度指标阈值，则可根据所述当前监控图像帧中两个或两个以上感兴趣区域的区域关联等级，从所述当前监控图像帧中选取对应的区域关联等级大于预设区域关联等级的两个或两个以上目标感兴趣区域，其中，所述感兴趣区域的区域关联等级表征所述感兴趣区域与所述显著性标识信息之间的特征关联度；

然后，确定所述两个或两个以上目标感兴趣区域在所述当前监控图像帧中的各个不同的目标定位框；

最后，基于所述两个或两个以上目标感兴趣区域的各个不同的目标定位框，从所述当前监控图像帧中获取包括至少两个目标感兴趣区域的图像区域。如此，可以获取包括至少两个目标定位框的对应目标感兴趣区域的图像区域，通过至少两个目标感兴趣区域可以获得至少两个兴趣特征用于进行特征识别。

其中，如果所述关联度指标小于或等于所述关联度指标阈值，所述方法还包括：

获取下一个显著性标识信息，回到根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车的步骤，以进行下一个套牌渣土车的识别流程。如此，当所述关联度指标小于或等于所述关联度指标阈值时，说明当前获取的航拍监控图像帧中无法完整的体现所述显著性标识信息中的相关车辆特征，可进入到下一个套牌渣土车的识别流程中。

步骤S43，将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

例如，在一种可能的实施方式中，可以将所述关键可视化组合特征与所述数据库中存储的与所述显著性标识信息对应的标准可视化特征进行匹配度分析，当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征匹配时，则判断所述无人机当前监控的渣土车场景中不存在套牌渣土车；

相应地，当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征不匹配时（如匹配度低于设定阈值，如90%或95%），则判断所述无人机当前监控的渣土车场景中存在套牌渣土车。

基于此，该方法还包括，当判断所述无人机当前监控的渣土车场景中存在套牌渣土车，向设定的预警设备发送渣土车套牌预警信息，所述渣土车套牌预警信息包括所述无人机当前所监控场景的位置信息以及疑似套牌的目标渣土车的相关车辆信息（如套牌车牌号），以通知相关人员到现场进行处理。

进一步地，在本实施例中，如图5所示，在上述步骤S41中，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征，可以包括以下S411-S414的步骤，详细介绍如下。

步骤S411，对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量。

步骤S412，对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息。

其中，所述感兴趣区域可以是与相应的车辆的显著性特征相关的图像区域，具体可以根据现有的图像兴趣区域分析方法进行分析而得到。

步骤S413，基于所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息，确定所述两个或两个以上感兴趣区域的区域关联等级。

其中，本实施例中，所述感兴趣区域的区域关联等级可以用于表征所述感兴趣区域与所述显著性标识信息之间的特征关联度。

本实施例中，感兴趣区域的区域关联等级表示感兴趣区域与显著性标识信息之间的特征关联度，感兴趣区域与显著性标识信息特征关联度越高则该感兴趣区域的区域关联等级越高，该感兴趣区域在航拍监控图像帧中对所包括的可视化特征的重要程度越高，感兴趣区域与显著性标识信息关联度越低则该感兴趣区域的区域关联等级越低，该感兴趣区域在航拍监控图像帧中对所包括的可视化特征的重要程度也相应越低。

步骤S414，基于所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征。

示例性地，可对两个或两个以上感兴趣区域的兴趣区域关键信息进行关键信息加权融合的方式，得到关键可视化特征。

进一步地，在另一种可替代的实施方式中，在步骤S41中，本实施例还可以通过人工智能模型得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征。示例性地，本实施例中，所述人工智能模型在本实施例中为通过预先采集的样本训练数据进行模型训练而得到图像处理AI网络，其包括关键信息采集单元以及多模态特征融合单元。基于此，所述步骤S41中，可首先基于所述图像处理AI网络的关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述第一关键可视化特征和所述第二关键可视化特征。

然后，基于所述图像处理AI网络的多模态特征融合单元，对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征。

其中，所述关键信息采集单元可以是一种卷积神经网络单元，其可以包括第一特征提取层、第二特征提取层和关键信息处理层。基于此，所述基于所述关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述第一关键可视化特征，可以包括以下内容：

首先，基于所述第一特征提取层，对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量；

其次，基于所述第二特征提取层，对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息；

然后， 基于所述关键信息处理层，对所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息进行处理，确定所述两个或两个以上感兴趣区域的区域关联等级。其中，所述感兴趣区域的区域关联等级表示所述感兴趣区域与所述显著性标识信息之间的特征关联度；

最后，基于所述关键信息处理层，按照所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征。

进一步地，本实施例中，所述方法还包括对所述图像处理AI网络进行模型训练的步骤，具体包括以下内容。

（1）获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧。

（2）按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本和所述第一航拍监控图像样本对应的显著性标识信息样本，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联。

（3）基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征。

（4）基于所述推定关键可视化特征和所述显著性标识信息样本之间的特征关联度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络。

进一步地，在本实施例中，在上述步骤S42中，获取与所述显著性标识信息关联的图像区域的方式也可以通过人工智能模型的方式实现，例如本实施例可以通过预先训练得到的图像区域分析网络实现，所述图像区域分析网络可以包括特征归类单元以及区域采集单元。基于此，获取与所述显著性标识信息关联的图像区域的方式详细介绍如下。

首先，基于所述特征归类单元，对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标；

然后，基于所述区域采集单元，如果所述关联度指标大于关联度指标阈值，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域。

在上述内容的基础上，本实施例还可以提供一种针对所述图像处理AI网络和所述图像区域分析网络进行联合训练的方法， 具体介绍如下。

（11）获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧。

（12）按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本、所述第一航拍监控图像样本对应的显著性标识信息样本、以及所述第一航拍监控图像样本中的标定参考图像区域。其中，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联。

（13）基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征。

（14）基于所述图像区域分析网络，对所述推定关键可视化特征、所述第一航拍监控图像样本和所述显著性标识信息样本进行处理，得到推定图像区域。

（15）根据所述推定图像区域和所述标定参考图像区域的区域相似度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络以及所述图像区域分析网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络和所述图像区域分析网络。

如图6所示，渣土车套牌识别装置24所包括的功能模块示意图。在一些其他可能的实施方式中，所述渣土车套牌识别装置24可以是所述渣土车监控中心20本身，也可以是所述渣土车监控中心20的处理器22，又或者可以是独立于所述渣土车监控中心20以及所述处理器22的外部组件，本实施例对此不进行限定。

优选地，在本实施例中，所述渣土车套牌识别装置24可以包括监控图像获取模块241、监控图像融合模块242、显著标识获取模块243以及特征比对分析模块244。

所述监控图像获取模块241，用于获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧。

所述监控图像融合模块242，用于按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧。

所述显著标识获取模块243，用于获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息。

所述特征比对分析模块244，用于根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

所述特征比对分析模块244具体用于：

根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征，所述第一关键可视化特征至少用于表征所述当前监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度，所述第二关键可视化特征至少用于表征所述融合监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度；

对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征；

将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

其中，将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车，包括：

将所述关键可视化组合特征与所述数据库中存储的与所述显著性标识信息对应的标准可视化特征进行匹配度分析，当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征匹配时，则判断所述无人机当前监控的渣土车场景中不存在套牌渣土车；

当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征不匹配时，则判断所述无人机当前监控的渣土车场景中存在套牌渣土车。

进一步地，当判断所述无人机当前监控的渣土车场景中存在套牌渣土车时，向设定的预警设备发送渣土车套牌预警信息，所述渣土车套牌预警信息包括所述无人机当前所监控场景的位置信息以及疑似套牌的目标渣土车的相关车辆信息，以通知相关人员到现场进行处理。

综上所述，本发明实施例提供的基于无人机的渣土车套牌识别方法及系统，通过获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧，并按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧；然后，获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息；最后，根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车。

如此，通过结合无人机实现渣土车场景中的套牌渣土车的自动识别。同时，通过依次获取的航拍监控视频中的当前监控图像帧和之后的融合监控图像帧进行融合分析的方法可以提升套牌渣土车的识别精确度。

此外，在具体实施的过程中，进一步将当前监控图像帧之后的融合监控图像帧的第二关键可视化特征，融合到当前监控图像帧的第一关键可视化特征中，使得到的当前监控图像帧的关键可视化组合特征中既包含当前监控图像帧所包括的可视化特征，又包含之后的融合监控图像帧所包括的可视化特征，该关键可视化组合特征能够更加全面的对当前监控视频的可视化特征进行表达，进而使得根据关键可视化组合特征对当前监控的渣土车的相关图像特征进行更准确的表达，使后续的渣土车套牌识别结果的精准性更好。

以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围，而仅仅是表示本发明的选定实施例。因此，本发明的保护范围应以权利要求的保护范围为准。此外，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本发明保护的范围。

Claims (8)

1.一种基于无人机的渣土车套牌识别方法，其特征在于，应用于与无人机通信连接的渣土车监控中心，所述方法包括：

获取无人机针对待监控的渣土车场景进行航拍监控反馈的航拍监控视频，所述航拍监控视频包括针对渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次获取所述航拍监控视频中的一个航拍监控图像帧作为当前监控图像帧以及所述当前监控图像帧之后的至少一个航拍监控图像帧作为融合监控图像帧；

获取至少一个待识别渣土车对应的显著性标识信息，所述显著性标识信息包括针对相应的待识别渣土车的至少一种显著性特征，所述显著性特征包括与待识别渣土车的可视化特征对应的特征标识信息；

根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车；

所述根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车，包括：

根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征，所述第一关键可视化特征至少用于表征所述当前监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度，所述第二关键可视化特征至少用于表征所述融合监控图像帧所包括的可视化特征与所述显著性标识信息之间的特征关联度；

对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征；

将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车；

所述融合监控图像帧包括两个或两个以上，所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征，包括：

根据所述第一关键可视化特征与两个或两个以上第二关键可视化特征之间的第二相关性参数，从所述两个或两个以上融合监控图像帧中获取最大的第二相关性参数对应的所述融合监控图像帧，所述第二相关性参数至少用于表征所述融合监控图像帧所包括的可视化特征与所述当前监控图像帧所包括的可视化特征之间的特征差异度；

将所述第一关键可视化特征和获取的所述融合监控图像帧的第二关键可视化特征进行组合，得到所述关键可视化组合特征；

其中，所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征之后，所述方法还包括：

对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标；

如果所述关联度指标大于关联度指标阈值，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域，所述显著性标识信息与所述图像区域关联是指所述图像区域所包括的可视化特征与所述显著性标识信息关联；

所述如果所述关联度指标大于关联度指标阈值，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域，包括：

如果所述关联度指标大于所述关联度指标阈值，根据所述当前监控图像帧中两个或两个以上感兴趣区域的区域关联等级，从所述当前监控图像帧中选取对应的区域关联等级大于预设区域关联等级的两个或两个以上目标感兴趣区域，其中，所述感兴趣区域的区域关联等级表征所述感兴趣区域与所述显著性标识信息之间的特征关联度；

确定所述两个或两个以上目标感兴趣区域在所述当前监控图像帧中的各个不同的目标定位框；

基于所述两个或两个以上目标感兴趣区域的各个不同的目标定位框，从所述当前监控图像帧中获取包括至少两个目标感兴趣区域的图像区域；

其中，如果所述关联度指标小于或等于所述关联度指标阈值，所述方法还包括：

获取下一个显著性标识信息，回到根据所述显著性标识信息以及每次采集得到的当前监控图像帧以及融合监控图像帧进行特征分析，以判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车的步骤，以进行下一个套牌渣土车的识别流程。

2.根据权利要求1所述的方法，其特征在于，所述将所述关键可视化组合特征与预先建立在所述渣土车监控中心的数据库中存储的与所述显著性标识信息对应的标准可视化特征进行比对分析，判断所述无人机当前监控的渣土车场景中是否存在套牌渣土车，包括：

将所述关键可视化组合特征与所述数据库中存储的与所述显著性标识信息对应的标准可视化特征进行匹配度分析，当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征匹配时，则判断所述无人机当前监控的渣土车场景中不存在套牌渣土车；

当所述数据库中存储的与所述显著性标识信息对应的标准可视化特征和所述关键可视化组合特征不匹配时，则判断所述无人机当前监控的渣土车场景中存在套牌渣土车；

所述方法还包括：

当判断所述无人机当前监控的渣土车场景中存在套牌渣土车时，向设定的预警设备发送渣土车套牌预警信息，所述渣土车套牌预警信息包括所述无人机当前所监控场景的位置信息以及疑似套牌的目标渣土车的相关车辆信息，以通知相关人员到现场进行处理。

3.根据权利要求1所述的方法，其特征在于，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征，包括：

对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量；

对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息；

基于所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息，确定所述两个或两个以上感兴趣区域的区域关联等级，其中，所述感兴趣区域的区域关联等级表征所述感兴趣区域与所述显著性标识信息之间的特征关联度；

基于所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征；

其中，所述基于所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息，确定所述两个或两个以上感兴趣区域的区域关联等级，包括：

分别获取所述标识特征向量与两个或两个以上兴趣区域关键信息之间的第一相关性参数；

对获取到的两个或两个以上第一相关性参数进行参数等级映射，得到所述两个或两个以上感兴趣区域的区域关联等级。

4.根据权利要求1所述的方法，其特征在于，所述根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述当前监控图像帧的第一关键可视化特征和所述融合监控图像帧的第二关键可视化特征，包括：

基于图像处理AI网络的关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧和所述融合监控图像帧分别进行关键信息采集，得到所述第一关键可视化特征和所述第二关键可视化特征；

所述对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征，包括：

基于所述图像处理AI网络的多模态特征融合单元，对所述第一关键可视化特征和所述第二关键可视化特征进行组合，得到所述当前监控图像帧的关键可视化组合特征；

其中，所述图像处理AI网络通过预先采集的样本训练数据进行训练而得到。

5.根据权利要求4所述的方法，其特征在于，所述关键信息采集单元包括第一特征提取层、第二特征提取层和关键信息处理层，其中，基于所述关键信息采集单元，根据所述显著性标识信息，对所述当前监控图像帧进行关键信息采集，得到所述第一关键可视化特征，包括：

基于所述第一特征提取层，对所述显著性标识信息进行关键信息采集，得到所述显著性标识信息的标识特征向量；

基于所述第二特征提取层，对所述当前监控图像帧中的两个或两个以上感兴趣区域进行关键信息采集，得到所述两个或两个以上感兴趣区域的兴趣区域关键信息；

基于所述关键信息处理层，对所述标识特征向量和所述两个或两个以上感兴趣区域的兴趣区域关键信息进行处理，确定所述两个或两个以上感兴趣区域的区域关联等级，其中，所述感兴趣区域的区域关联等级表示所述感兴趣区域与所述显著性标识信息之间的特征关联度；

基于所述关键信息处理层，按照所述两个或两个以上感兴趣区域的区域关联等级，对所述两个或两个以上感兴趣区域的兴趣区域关键信息进行信息融合，得到所述第一关键可视化特征。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括对所述图像处理AI网络进行模型训练的步骤，具体包括：

获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本和所述第一航拍监控图像样本对应的显著性标识信息样本，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联；

基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征；

基于所述推定关键可视化特征和所述显著性标识信息样本之间的特征关联度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络。

7.根据权利要求6所述的方法，其特征在于，所述获取与所述显著性标识信息关联的图像区域，还包括：

基于图像区域分析网络的特征归类单元，对所述关键可视化组合特征进行特征归类，得到所述当前监控图像帧与所述显著性标识信息之间的关联度指标；

在所述关联度指标大于关联度指标阈值时，基于所述图像区域分析网络的区域采集单元，从所述当前监控图像帧中，获取与所述显著性标识信息关联的图像区域；

其中，所述方法还包括对所述图像处理AI网络和所述图像区域分析网络进行模型进行联合训练的步骤，具体包括：

获取预先采集的航拍监控视频样本，所述航拍监控视频样本包括针对选定渣土车进行拍摄得到的两个或两个以上航拍监控图像帧；

按照所述航拍监控图像帧的时间顺序依次从所述航拍监控图像获取第一航拍监控图像样本、第二航拍监控图像样本、所述第一航拍监控图像样本对应的显著性标识信息样本、以及所述第一航拍监控图像样本中的标定参考图像区域，所述第二航拍监控图像样本为所述第一航拍监控图像样本之后获取的航拍监控图像帧，所述第一航拍监控图像样本所包括的可视化特征与所述显著性标识信息样本关联；

基于所述图像处理AI网络，对所述第一航拍监控图像样本、所述第二航拍监控图像样本和所述显著性标识信息样本进行处理，得到所述第一航拍监控图像样本的推定关键可视化特征；

基于所述图像区域分析网络，对所述推定关键可视化特征、所述第一航拍监控图像样本和所述显著性标识信息样本进行处理，得到推定图像区域；

根据所述推定图像区域和所述标定参考图像区域的区域相似度计算得到损失函数值，并根据所述损失函数值对所述图像处理AI网络以及所述图像区域分析网络的网络参数进行迭代更新，直到满足训练终止条件，得到训练后的所述图像处理AI网络和所述图像区域分析网络。

8.一种基于无人机的渣土车套牌识别系统，其特征在于，包括渣土车监控中心以及与所述渣土车监控中心通信连接的无人机，所述渣土车监控中心包括处理器、机器可读存储介质，所述机器可读存储介质和所述处理器连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以实现权利要求1-7任意一项所述的方法。

Images