CN114429616B - 基于计算机视觉的箱体异常状态识别方法 - Google Patents

Abstract

本发明涉及视频监控技术领域，具体公开了基于计算机视觉的箱体异常状态识别方法，包括如下步骤：S1、获取预设格式的视频数据并解码；S2、对解码后的视频数据进行分帧，生成若干图片，S3、对图片进行预处理，并分类标记，构建训练图片集；标记包括开门和未开门；S4、将训练图片集输入神经网络模型进行训练；S5、利用训练完成的神经网络模型进行判断，输出判断结果；S6、当判断结果为开门时，基于操作日志判断是否为异常开门，若是，生成报警信息。采用本发明的技术方案能够对异常开门进行自动识别。

Description

基于计算机视觉的箱体异常状态识别方法

技术领域

本发明涉及视频监控技术领域，特别涉及基于计算机视觉的箱体异常状态识别方法。

背景技术

在智慧城市建设中，部分危险区域和重要场所是不允许普通人员进入的，例如带有高压电的箱式变压站、部署重要设备的微机房等，为了避免发生箱体异常开门导致的人员安全事故或者公共设备遗失，需要对箱体的异常开门状态进行实时监测和报警。

国内外现有箱体异常开门监测常用的方案是使用门磁传感器，该监测方案只能实现对箱体门开合状态的监测，无法实现对开门场景的实时分析，具有很大的局限性。例如，箱体可能并不具备门磁安装条件，或者门磁数据无法上传到远程控制中心；不能对场景进行智能识别，无法识别是正常打开和异常打开；门磁元件易损坏导致无法正常监测箱体开门等。

在其他的方案中，会进行视频设备联动，同时安装视频监控设备对箱体进行24小时不间断监测，当门磁传感器监测到箱体异常打开时推送报警消息，然后由管理人员打开对应视频监控设备实时浏览或者回放历史视频数据，但是该监测方法需要人工处理，工作效率较低。

因此，需要一种能够进行自动识别的基于计算机视觉的箱体异常状态识别方法。

发明内容

本发明提供了基于计算机视觉的箱体异常状态识别方法，能够对异常开门进行自动识别。

为了解决上述技术问题，本申请提供如下技术方案：

基于计算机视觉的箱体异常状态识别方法，包括如下步骤：

S1、获取预设格式的视频数据并解码；

S2、对解码后的视频数据进行分帧，生成若干图片，

S3、对图片进行预处理，并分类标记，构建训练图片集；标记包括开门和未开门；

S4、将训练图片集输入神经网络模型进行训练；

S5、利用训练完成的神经网络模型进行判断，输出判断结果；

S6、当判断结果为开门时，基于操作日志判断是否为异常开门，若是，生成报警信息。

基础方案原理及有益效果如下：

由于视频数据为了减小视频的体积，会进行编码压缩，本方案通过对视频数据进行解码，可以还原视频数据中的每一帧，便于后续的分帧。通过分帧，可以获得大量的图片，保证训练图片集的样本丰富度。通过对图片进行预处理，达到优化样本的目的，可以提高神经网络模型识别的训练效果。在神经网络模型训练成功后，可以实时的判断箱体是否开门。当开门时，再结合操作日志，可以准确的判断是否为异常开门。

综上，本方案能够实现箱体异常状态的自动识别。

进一步，所述S2中，按照第一预设规则对解码后的视频数据进行分帧；第一预设规则包括处理帧的间隔、图片的尺寸和图片的存放路径。

通过设置处理帧的间隔，可以对生成的图片数量进行调整。

进一步，所述S3中，预处理时，将图像转换为灰度图像，对灰度图像进行八位平面分解，提取其中一位平面图像分类标记。

通过转换为灰度图像，以及进行八位平面分解，可以过滤掉部分信息，避免过多的信息对训练产生干扰。

进一步，所述S5中，实时获取预设格式的视频数据并解码；按照第二预设规则对解码后的视频数据进行分帧生成若干图片，对图片进行预处理后输入训练完成的神经网络模型。

由于实际运行时与训练相比，不需要过多的图片，通过设置第二预设规则，可以根据实际情况调整生成图片的数量。

进一步，所述S6中，获取开门的时间，判断操作日志中是否记载有对应时间的开门计划，若没有，判断为异常开门。

在工作人员正常的巡检或维修时，其开门计划会记录在操作日志中。当操作日志中没有对应时间的开门计划时，表明非工作人员的正常操作，故可以判断为异常开门。

进一步，所述S3中，对灰度图像进行八位平面分解后，按照预设标准舍弃若干位平面图像，从剩余位平面图像中，随机提取其中一位平面图像进行分类标记。

按照预设标准舍弃若干位平面图像，可以将未包含有效信息的位平面图像去掉，避免进行无效训练。

进一步，所述S1中，预设格式为H.264格式。

采用H.264格式压缩率高，可以减小视频数据的体积。

进一步，所述S1中，通过FFMpeg进行解码。

FFmpeg是一套可以用来转换数字视频，并能将其转化为流的开源计算机程序，其包含有丰富的视频解码库。

进一步，所述S4中，神经网络模型为卷积神经网络模型。

在图像识别中，相比与其他神经网络，卷积神经网络模型具有较高的准确性。

附图说明

图1为实施例一基于计算机视觉的箱体异常状态识别方法的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，本实施例的基于计算机视觉的箱体异常状态识别方法，包括如下步骤：

S1、获取预设格式的视频数据并解码。本实施例中预设格式为H.264格式，通过FFMpeg进行解码。为了减少视频的体积，减少传输时带宽的占用，会对视频进行编码压缩，以减小体积。在H.264格式中，编码算法就是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法，其中，I帧为关键帧，P帧记录的信息为该帧与之前的一个关键帧(或P帧)的差别，B帧是双向差别帧，记录信息为该帧与前后帧的差别。故需要进行解码后才能还原视频数据中的每一帧。

S2、按照第一预设规则对解码后的视频数据进行分帧，生成若干图片。本实施例中，分帧采用的是OpenCV中的分割组件。本实施例中，第一预设规则包括处理帧的间隔、图片的尺寸和图片的存放路径。处理帧的间隔，即多少帧提取一次图片。例如帧率为25fps，处理帧的间隔为25，即1秒生成1张图片。

S3、对图片进行预处理，并分类标记，构建训练图片集；标记包括开门和未开门。其中，预处理时，将图像转换为灰度图像，对灰度图像进行八位平面分解，提取其中一位平面图像分类标记。灰度图像，即8位256颜色的图像。通过将图像的每一位分别提取，即可将一幅图像分解形成8幅图像。

本实施例中，预处理时，对灰度图像进行八位平面分解后，按照预设标准舍弃若干位平面图像，从剩余位平面图像中，随机提取其中一位平面图像进行分类标记。预设的标准为舍弃未包含有效信息的位平面图像。例如，分解形成的8位平面图分别记为位平面图1、位平面图2、位平面图3、位平面图4……位平面图8，根据经验，位平面图1和位平面图2通常包含足以进行训练的有效信息，故预设标准为舍弃位平面图3至位平面图8，随机提取位平面图像1或位平面图像2进行分类标记。

S4、将训练图片集输入神经网络模型进行训练；神经网络模型为卷积神经网络模型。本实施例中，卷积神经网络模型采用的是OpenCV中的卷积神经网络模型组件。

S5、利用训练完成的神经网络模型进行判断，输出判断结果。具体的，实时获取预设格式的视频数据并解码；按照第二预设规则对解码后的视频数据进行分帧生成若干图片，对图片进行预处理后输入训练完成的神经网络模型。本实施例中，第二预设规则与第一预设规则的区别在于处理帧的间隔，即识别与训练相比，不再需要大量的图片，通过提高处理帧的间隔，可与减少生成图片的量。

S6、当判断结果为开门时，基于操作日志判断是否为异常开门，若是，生成报警信息。具体的，获取开门的时间，判断操作日志中是否记载有对应时间的开门计划，若没有，判断为异常开门。本实施例中，工作人员在进行巡检、维修等操作前，会有相应的巡检计划表或者维修计划表，其中涉及到进入箱体的内容可以提取出来作为开门计划添加到操作日志中，作为判断的依据。

实施例二

本实施例与实施例一的区别在于，本实施例的S5中，还通过人脸识别模块判断监控区域内是否有人员；在监控区域内有人员时，进行人脸识别，判断人员是否备案，如果未备案，将对应视频数据标记为高优先级视频数据，如果已备案，将对应视频数据标记为低优先级视频数据。分帧处理时，对预设区域的摄像头对应的高优先级视频数据优先进行分帧处理。

当监控区域内没有人员时，出现箱门异常打开的可能性较小，每隔预设时间，提取图片，并将图片输入神经网络模型中进行判断，而不是实时对图片进行判断，可以降低神经网络模型处理的压力。通过提前采集工作人员的人脸数据，通过人脸识别可以准确的将工作人员识别出来。当工作人员出现在监控区域内，即出现在箱体附近时，维修或巡视的可能性高，将对应视频数据标记为低优先级视频数据，在分帧模块处理繁忙时，不需要立即进行处理。

实施例三

本实施例与实施例一的区别在于，本实施例中的S5中，在监控区域内没有人员时，每隔预设时间，提取图片，并将图片输入训练完成的神经网络模型中进行判断，本实施例中，提取1张图片。

在监控区域内有人员时，根据高优先级视频数据和低优先级视频数据确定输入神经网络模型的预设图片数量，优先将高优先级视频数据对应的图片输入神经网络模型中进行判断。其中，高优先级视频数据对应的预设图片数量大于低优先级对应的预设图片数量。本实施例中，分析模块将图片输入神经网络模型时，每间隔预设张数抽取一张图片输入神经网络模型，直到输入的图片数量等于预设图片数量或神经网络模型的判断结果为开门。

例如高优先级视频数据对应的预设图片数量为20张，每间隔5张抽取一张图片输入神经网络模型。

可以确保在箱体附近出现在非工作人员时，进行充分的识别判断。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.基于计算机视觉的箱体异常状态识别方法，其特征在于，包括如下步骤：

S1、获取预设格式的视频数据并解码；

S2、对解码后的视频数据进行分帧，生成若干图片，

S3、对图片进行预处理，并分类标记，构建训练图片集；标记包括开门和未开门；

S4、将训练图片集输入神经网络模型进行训练；

S5、利用训练完成的神经网络模型进行判断，输出判断结果；

S6、当判断结果为开门时，基于操作日志判断是否为异常开门，若是，生成报警信息；

其中，S5还通过人脸识别模块判断监控区域内是否有人员，若监控区域内没有人员时，预设间隔时间提取图片输入神经网络模型；

若监控区域内有人员时，进行人脸识别并判断人员是否备案，若人员未备案，则将对应视频数据标记为高优先级视频数据，若人员已备案，则将对应视频数据标记为低优先级视频数据，根据优先级确定视频数据输入神经网络的预设图片数量，高优先级视频数据的预设图片数量大于低优先级视频数据的预设图片数量，优先对高优先级视频数据进行分帧处理和输入神经网络模型中进行判断，

若监控区域内有人员时，将图片输入神经网络模型时，每间隔预设张数抽取一张图片输入神经网络模型，直到输入的图片数量等于预设图片数量或神经网络模型的判断结果为开门。

2.根据权利要求1所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S2中，按照第一预设规则对解码后的视频数据进行分帧；第一预设规则包括处理帧的间隔、图片的尺寸和图片的存放路径。

3.根据权利要求2所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S3中，预处理时，将图像转换为灰度图像，对灰度图像进行八位平面分解，提取其中一位平面图像分类标记。

4.根据权利要求3所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S5中，实时获取预设格式的视频数据并解码；按照第二预设规则对解码后的视频数据进行分帧生成若干图片，对图片进行预处理后输入训练完成的神经网络模型。

5.根据权利要求4所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S6中，获取开门的时间，判断操作日志中是否记载有对应时间的开门计划，若没有，判断为异常开门。

6.根据权利要求5所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S3中，对灰度图像进行八位平面分解后，按照预设标准舍弃六位平面图像，从剩余位平面图像中，随机提取其中一位平面图像进行分类标记。

7.根据权利要求6所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S1中，预设格式为H.264格式。

8.根据权利要求7所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S1中，通过FFMpeg进行解码。

9.根据权利要求8所述的基于计算机视觉的箱体异常状态识别方法，其特征在于：所述S4中，神经网络模型为卷积神经网络模型。