CN113392678A

CN113392678A - 行人检测方法、设备和存储介质

Info

Publication number: CN113392678A
Application number: CN202010171902.7A
Authority: CN
Inventors: 王�琦
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2021-09-14

Abstract

本申请提供一种行人检测方法、设备和存储介质。该方法包括：获取监控区域的图像；对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标的图像信息；确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标。本申请实施例的行人检测方法能够减少误报，提高检测准确性。

Description

行人检测方法、设备和存储介质

技术领域

本申请涉及行人检测技术领域，尤其涉及一种行人检测方法、设备和存储介质。

背景技术

目前，视频监控系统已经被广泛安装在各种公共场所中，这些场所包括但不限于广场、户外公园道路、住宅楼入口等处，图像中行人检测一直是近年来研究的热点。

在对图像中的行人进行检测时，图像中的景物会干扰行人检测算法的精度(例如树木的枝干或树叶相互组合形成与行人非常相似的非行人目标，或者人形广告牌，容易被行人检测算法误检为行人)，因此常常出现误报(即把非人的图像区域识别成了人)的情形。相关技术中，通过计算场景复杂度自动调整行人检测的阈值，可以将检测得分较低的非行人目标区分剔除，但是对于与行人目标高度相似的人形广告牌的误检，无法有效去除。

发明内容

本申请提供一种行人检测方法、设备和存储介质，以减少行人检测的误报。

第一方面，本申请提供一种行人检测方法，包括：

获取监控区域的图像；

对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标；

确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；

针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标。

在一种可能的实现方式中，对所述图像中的行人目标进行检测，得到检测结果，包括：

根据预先训练得到的目标检测模型，对所述图像中的行人目标进行检测，得到所述检测结果。

在一种可能的实现方式中，所述确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度，包括：

针对任一所述行人目标，提取所述行人目标的图像信息中的深度特征信息；

确定所述行人目标的深度特征信息与各个所述误报目标的深度特征信息的相似度。

在一种可能的实现方式中，所述检测结果包括各个所述行人目标的位置信息；

若所述图像的数量为至少两个，则所述对所述图像中的行人目标进行检测之后，还包括：

根据各个所述行人目标的位置信息，对至少两个所述图像中的各个所述行人目标进行跟踪，得到各个所述行人目标的运动轨迹信息，并获取各个所述行人目标的抓拍图像。

在一种可能的实现方式中，所述从所述检测结果中删除所述行人目标之后，还包括：

将处理后的检测结果输出，所述处理后的检测结果包括：各个所述行人目标的运动轨迹信息以及各个所述行人目标的抓拍图像。

在一种可能的实现方式中，所述至少一个误报目标设置在白名单中。

在一种可能的实现方式中，还包括：

根据所述监控区域的场景变化情况，对所述白名单进行更新。

第二方面，本申请提供一种行人检测装置，包括：

获取模块，用于获取监控区域的图像；

目标检测模块，用于对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标；

确定模块，用于确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；

处理模块，用于针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标。

在一种可能的实现方式中，所述确定模块，用于：

若所述图像的数量为至少两个，则处理模块还用于：

在一种可能的实现方式中，处理模块还用于：

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

第四方面，本申请实施例提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。

本申请实施例提供的行人检测方法、设备和存储介质，获取监控区域的图像；对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标的图像信息；确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标，通过将检测到的与误报目标相似的行人目标去除，能减少行人检测的误报，提高了行人检测的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请一实施例提供的应用场景图；

图2是本申请提供的行人检测方法一实施例的流程示意图；

图3是本申请提供的行人检测方法一实施例的原理示意图；

图4是本申请提供的行人检测装置一实施例的结构示意图；

图5是本申请提供的电子设备实施例的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本申请提供的方法之前，首先结合附图1对本申请实施例的应用场景进行介绍。图1为本申请实施例提供的应用场景架构图。可选的，如图1所示，该应用场景中包括视频采集设备11和电子设备12；该视频采集设备11例如可以包括监控摄像头，例如为枪机摄像头。其中，视频采集设备11和电子设备12之间可以通过网络连接。

本申请实施例提供的方法，应用于行人检测的场景中，例如道路监控中对行人的检测，以提高检测的准确性，减少误检。

行人检测(Pedestrian Detection)是利用计算机视觉技术判断图像或者视频中是否存在行人并给予精确定位。可应用于人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域。

本申请实施例的方法，通过将检测到的与预先获取的误报目标相似的行人目标去除，能减少行人检测的误报，提高了行人检测的准确性。

本申请提供的方法可由电子设备如处理器执行相应的软件代码实现，也可由该电子设备在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，如服务器执行部分操作，来控制电子设备执行上述方法。

下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2是本申请提供的行人检测方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：

步骤101、获取监控区域的图像；

对特定场景的监控区域进行监控，获取该监控区域的一张或多张图像；监控区域例如地铁站、火车站、商场等。

步骤102、对图像中的行人目标进行检测，得到检测结果；检测结果包括：至少一个行人目标的图像信息；

其中，检测结果还可以包括各个行人目标的位置信息；

若图像的数量为至少两个，则对图像中的行人目标进行检测之后，还包括：

根据各个行人目标的位置信息，对至少两个图像中的各个行人目标进行跟踪，得到各个行人目标的运动轨迹信息，并获取各个行人目标的抓拍图像。

在一实施例中，可以根据预先训练得到的目标检测模型，对所述图像中的行人目标进行检测，得到所述检测结果。

具体的，利用目标检测模型对图像进行检测，得到行人目标的检测结果，根据检测到的行人目标的位置信息对该些行人目标进行跟踪，获取行人目标在多个图像中连续的运动轨迹信息，并对行人目标进行抓拍，得到抓拍图像，并输出该行人目标的信息。

其中，目标检测模型可以基于预先建立的深度学习算法(例如神经网络算法)训练得到，例如采集训练数据，训练数据包括多个图像，多个图像中包括行人目标的信息，对预先建立的深度学习模型进行训练得到用于行人目标检测的目标检测模型。训练数据例如包含：夜晚/白天，卡口的车辆/人员，室内/室外，晴天/雨天/雾天等多样化场景的已标定的图像数据。其中，目标检测模型例如是基于yoloV3的框架的检测模型。

为了兼容不同视角大小下目标尺度的多样性，尤其是部分交通场景下存在超大的目标，因此在目标检测模型中增加降采样的处理，提升大目标的检测性能。

步骤103、确定各个行人目标分别与预先获取的至少一个误报目标的相似度；

在一种实现方式中，针对任一行人目标，提取行人目标的图像信息中的深度特征信息；

确定行人目标的深度特征信息与各个误报目标的深度特征信息的相似度。

相似度例如包括以下至少一项：颜色相似度、纹理相似度、结构相似度，或者颜色相似度、纹理相似度、结构相似度中至少两项的加权值。

具体的，在确定相似度之前可以提取行人目标图像信息中的深度特征信息，以及误报目标的深度特征信息，确定行人目标的深度特征信息与各个误报目标的深度特征信息的相似度，例如计算行人目标的深度特征信息与各个误报目标的深度特征信息的欧式距离、余弦距离等，从而得到行人目标与各个误报目标的相似度。

其中，可以通过对采集的图像序列中行人目标从出现到消失的整个过程中的跟踪，抓拍行人目标的人脸和人体的图像信息。通过预先训练得到的深度特征提取模型对抓拍的图像信息生成深度特征信息。

深度特征提取模型的基础训练集可以是现有的行人检测的公开数据集，或者可以是其他道路监控场景中的数据。在数据集中，同一行人可以有多角度、多尺度的多张样本，训练得到的深度特征提取模型，使得对同一行人的多个样本所提取的深度特征信息的距离较小，而与其他样本的距离较大。

在一种实现方式中，还可以统计行人目标与误报目标的图像中匹配的特征点数，如果匹配的特征点数大于某一预设值，则认为相似度大于预设阈值。特征点例如通过sift特征点，LK光流法中的角点等描述。

其中，误报目标例如包括与行人目标高度相似的人形广告牌等类型的目标。

步骤104、针对任一行人目标，若存在至少一个误报目标与行人目标的相似度大于预设阈值，则从检测结果中删除行人目标。

若确定该行人目标与某一误报目标的相似度较大，大于预设阈值，则认为该行人目标是误报，将该行人目标从检测结果中删除。

在一实施例中，可以将删除误报的行人目标后得到的检测结果输出。该检测结果包括：各个行人目标的信息，例如包括位置信息和运动轨迹信息，进一步还可以包括各个行人目标的抓拍图像。

进一步的，还可以对处理后的检测结果进行报警，即对经过误报筛查后的行人目标的相关信息和抓拍图像进行报警输出，以供后续处理。

本实施例的方法，获取监控区域的图像；对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标；确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标，通过将检测到的与误报目标相似的行人目标去除，能减少行人检测的误报，提高了行人检测的准确性。

在上述实施例的基础上，进一步的，预先获取的至少一个误报目标设置在白名单中。

在一种实现方式中，本实施例的方法，还包括：

根据监控区域的场景变化情况，对白名单进行更新。

具体的，可以预先设置一个白名单，该白名单中包括预先获取的多个误报目标的信息，例如误报目标的标识信息、地理位置信息、图像信息等。

若监控到场景变化情况，例如该监控区域新增容易影响行人检测结果的物体，或之前的广告牌等更换，则对白名单进行更新。

进一步，基于更新后的白名单，对监控区域的图像中的行人目标进行检测，得到检测结果；检测结果包括：至少一个行人目标；

进而，确定各个行人目标分别与白名单中误报目标的相似度；

在一种实现方式中，在确定相似度之前可以提取行人目标的特征信息，以及白名单中误报目标的特征信息，确定行人目标的特征信息与白名单中误报目标的特征信息的相似度，例如计算行人目标的特征信息与各个误报目标的特征信息的欧式距离、余弦距离等，从而得到行人目标与白名单中误报目标的相似度。

进一步，针对任一行人目标，若白名单中存在至少一个误报目标与行人目标的相似度大于预设阈值，则从检测结果中删除行人目标。

即若确定该行人目标与白名单中某一误报目标的相似度较大，大于预设阈值，则认为该行人目标是误报，将该行人目标从检测结果中删除。

若监控区域的场景变动不频繁，则可定期根据场景观察及行人目标检测的误报情况对白名单进行更新维护，在增加有限的复杂度的前提下提高行人检测的准确性。

本实施例的方法，通过对实时抓拍的行人目标与建立的白名单中误报目标进行特征比对，去除与行人目标高度相似的人形广告牌类型的误报，提高了行人检测的准确性。

在上述实施例的基础上，示例性的，如图3所示，通过视频采集单元采集监控区域的图像；行人检测单元例如通过目标检测算法检测行人目标，并获得行人目标在图像中的位置信息；行人跟踪单元根据行人目标在图像中的位置信息，利用采集的监控视频，对行人目标进行跟踪，得到行人目标的运动轨迹信息；行人抓拍单元获取行人目标的抓拍图像。

进一步，通过机器学习模型等算法提取行人目标的特征信息，与白名单中的误报目标的特征信息进行相似度比对，确定是否为误报，若时，则将行人目标从检测结果中删除，进而输出检测结果。

本实施例中，获取监控区域的图像；对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标；确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标，通过将检测到的与误报目标相似的行人目标去除，能减少行人检测的误报，提高了行人检测的准确性。

图4为本申请提供的行人检测装置一实施例的结构示意图，如图4所示，本实施例的行人检测装置，包括：

获取模块401，用于获取监控区域的图像；

目标检测模块402，用于对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标的图像信息；

确定模块403，用于确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度；

处理模块404，用于针对任一所述行人目标，若存在至少一个误报目标与所述行人目标的相似度大于预设阈值，则从所述检测结果中删除所述行人目标

在一种可能的实现方式中，目标检测模块402，用于：

根据预先训练得到的目标检测模型，对所述图像中的行人目标进行检测，得到检测结果。

在一种可能的实现方式中，所述确定模块403，用于：

若所述图像的数量为至少两个，则处理模块404还用于：

在一种可能的实现方式中，处理模块404还用于：

本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本申请提供的电子设备实施例的结构图，如图5所示，该电子设备包括：

处理器501，以及，用于存储处理器501的可执行指令的存储器502。

可选的，还可以包括：通信接口503，用于与其他设备进行通信。

上述部件可以通过一条或多条总线进行通信。

其中，处理器501配置为经由执行所述可执行指令来执行：

获取监控区域的图像；

在一种实现方式中，所述至少一个误报目标设置在白名单中。

在一种实现方式中，处理器501配置为：

本实施例的设备用于执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims

1.一种行人检测方法，其特征在于，包括：

获取监控区域的图像；

对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标的图像信息；

2.根据权利要求1所述的方法，其特征在于，所述对所述图像中的行人目标进行检测，得到检测结果，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述确定各个所述行人目标分别与预先获取的至少一个误报目标的相似度，包括：

4.根据权利要求1或2所述的方法，其特征在于，所述检测结果包括各个所述行人目标的位置信息；

5.根据权利要求4所述的方法，其特征在于，所述从所述检测结果中删除所述行人目标之后，还包括：

6.根据权利要求1或2所述的方法，其特征在于，所述至少一个误报目标设置在白名单中。

7.根据权利要求6所述的方法，其特征在于，还包括：

8.一种行人检测装置，其特征在于，包括：

获取模块，用于获取监控区域的图像；

目标检测模块，用于对所述图像中的行人目标进行检测，得到检测结果；所述检测结果包括：至少一个行人目标的图像信息；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。