CN110427815A

CN110427815A - 实现门禁有效内容截取的视频处理方法及装置

Info

Publication number: CN110427815A
Application number: CN201910551347.8A
Authority: CN
Inventors: 谢超
Original assignee: Terminus Beijing Technology Co Ltd
Current assignee: Terminus Beijing Technology Co Ltd
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2019-11-08
Anticipated expiration: 2039-06-24
Also published as: CN110427815B

Abstract

本发明公开了实现门禁有效内容截取的视频处理方法，包括以下步骤：首先对采集的视频画面进行运动目标检测，以识别出包含有运动目标区域的视频画面，然后判断包含运动目标区域的视频画面中相应的运动目标是否属于人体目标，之后检测包含人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像，最后对包含有效人脸图像的视频画面进行保存和上传。该方法只对包含有有效人脸图像的视频图像进行保存和上传，而无需将所有采集到的监控视频图像全部进行保存和上传，在数据存储方面降低了对数据存储空间的要求，降低了数据存储成本，同时也在上传视频画面数据方面降低了网络传输数据量和传输成本。

Description

实现门禁有效内容截取的视频处理方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种实现门禁有效内容截取的视频处理方法，以及一种实现门禁有效内容截取的视频处理装置。

背景技术

目前越来越多的社区、建筑物采用视频门禁系统取代传统的刷卡门禁系统。视频门禁系统用摄像头拍摄前方一定空间范围的视频画面，从中识别出人物面部区域，并从人物面部区域提取人脸特征，将提取的人脸特征与事先登记在数据库中的登记人脸特征进行比对，通过识别人物身份的方式来判断其是否具有门禁通行权，如具有则打开门禁放行，否则拒绝放行。对于不具有门禁通行权的人物，则可以根据该人物提供的目标房间号，将视频画面或者人物面部区域传输给该目标房间，进行人工验证。

除了门禁通行控制的基本功能以外，视频门禁还可以保存上述视频画面，或者将视频画面的数据通过网络上传到后台服务器进行保存，作为人物进入社区或者建筑物的存档，实现入场记录、安保记录、事后追查等用途。

但是，对于视频门禁来说，其拍摄的大部分视频画面不含有有效的人物面部区域。例如：无人通行时拍摄出的画面为无人视频画面，有人通行时由于任务距离较远、人物正面朝向不正(例如背向摄像头)等因素导致人脸无法被有效辨识的视频画面，这些视频画面都不包含有效的人物面部区域，不属于有效视频画面，因此这些视频画面对于门禁系统的记录存档来说没有保存的必要。而对这些不含有有效的人物面部区域的视频画面进行保存，会浪费存储容量，提高数据存储成本，同时也会增大网络传输数据量，提高数据传输成本。

发明内容

(一)发明目的

基于此，为了便于社区和建筑物的监控系统以更低的数据存储成本和传输成本完成对视频监控区域内采集的人脸图像的识别和留存记录，在保证留存记录能够准确反映出人脸信息的前提下，降低监控运营成本，本发明公开了以下技术方案。

(二)技术方案

作为本发明的第一方面，本发明公开了实现门禁有效内容截取的视频处理方法，包括：

对采集的视频画面进行运动目标检测，以识别出包含有运动目标区域的视频画面；

判断包含所述运动目标区域的视频画面中相应的运动目标是否属于人体目标；

检测包含所述人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像；

对包含所述有效人脸图像的视频画面进行保存和/或上传。

在一种可能的实施方式中，所述对采集的视频画面进行运动目标检测包括：

使用背景减除法从所述采集的视频画面中识别出前景区域，并将得到的所述前景区域作为所述运动目标区域；

其中，所述背景减除法采用的背景模型为混合高斯模型或像素灰度均值模型。

在一种可能的实施方式中，采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别包括：

将视频画面中的每个像素点与优先级从高到低排序的每个高斯模型进行顺序匹配，判断与所述像素点匹配的高斯模型；

对与所述像素点匹配的高斯模型进行参数更新；

将更新后的高斯模型中优先级最高的并且权值的和大于背景权值阈值的多个高斯模型作为背景；

将各所述像素点与优先级从高到低排序的多个背景高斯模型进行顺序匹配，确定出属于前景的像素点，得到前景区域。

在一种可能的实施方式中，在判断与所述像素点匹配的高斯模型时，在任一高斯模型均与所述像素点不匹配的情况下：选择权值最小的高斯模型作为与所述像素点匹配的高斯模型。

在一种可能的实施方式中，采用像素灰度均值模型作为背景模型对采集的视频画面进行前景区域的识别包括：

将转换为灰度图像的训练图像中对应像素的均值作为背景像素值，得到背景模型；

利用当前帧的视频图像对所述得到的背景模型进行更新，得到新的背景模型；

算出转换为灰度图像的待检测视频画面与所述新的背景模型的灰度差分，依据所述灰度差分得到前景像素概率分布；

依据所述前景像素概率分布得到前景区域。

在一种可能的实施方式中，所述依据所述前景像素概率分布得到前景区域包括：

依据所述前景像素概率分布将所述前景像素划分为多个网格，统计各所述网格内像素前景概率的累加和；

以网格为单位依据各所述网格的累加在相应网格内面积的占比判断各网格是否属于前景网格，进而得到由所述前景网格组成的前景区域。

在一种可能的实施方式中，所述判断包含所述运动目标区域的视频画面中相应的运动目标是否属于人体目标包括：

将所述运动目标区域向坐标轴投影，得到所述运动目标区域在各像素行标下的像素数；

依据所述各像素行标像素数的特征，确定出与人体的至少三个目标部位对应的相应数量的像素行标；

判断各所述与人体目标部位对应的像素行标在坐标轴上互相之间距离的距离比是否在相应的人体部位距离比范围内，若在预设的人体部位距离比范围内则判定所述运动目标区域中的运动目标属于人体目标。

在一种可能的实施方式中，所述检测包含所述人体目标区域的视频画面中所包含的人体目标区域是否包含有效人脸图像包括：

通过分类器判断所述包含运动目标区域的视频画面内的搜索窗口覆盖的画面区域是否属于人脸区域；

通过在所述包含运动目标区域的视频画面内移动所述搜索窗口实现视频画面的遍历；

确定所述人脸区域中包含的人脸器官的位置和尺寸；

基于所述人脸器官的位置关系判定所述人脸区域是否属于有效人脸图像。

在一种可能的实施方式中，所述对包含所述有效人脸图像的视频画面进行保存和/或上传包括：

从所述包含所述有效人脸图像的视频画面中提取至少包含人脸部分的画面区域进行保存和/或上传。

在一种可能的实施方式中，在检测出包含所述人体目标的视频画面中所包含的人体目标区域包含有有效人脸图像的情况下，在所述对包含所述有效人脸图像的视频画面进行保存和/或上传之前：

将当前帧视频画面包含的有效人脸图像与前一帧视频画面进行比对，并在前一帧视频画面中包含有当前帧视频画面包含的所有人体目标的人脸图像时，取消对当前帧视频画面的保存和上传。

作为本发明的第二方面，本发明还公开了实现门禁有效内容截取的视频处理装置，包括：

运动目标检测模块，用于对视频采集设备采集的视频画面进行运动目标检测，以识别出包含有运动目标区域的视频画面；

人体目标判断模块，用于判断所述运动目标检测模块识别出的包含所述运动目标区域的视频画面中相应的运动目标是否属于人体目标；

人脸信息检测模块，用于检测所述人体目标判断模块判定的包含所述人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像；

视频画面留存模块，用于对所述人脸信息检测模块检测出的包含所述有效人脸图像的视频画面进行保存和/或上传。

在一种可能的实施方式中，所述运动目标检测模块使用背景减除法从所述采集的视频画面中识别出前景区域，并将得到的所述前景区域作为所述运动目标区域；

在一种可能的实施方式中，所述运动目标检测模块包括第一目标检测子模块，用于采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别；

所述第一目标检测子模块包括：

模型匹配单元，用于将视频画面中的每个像素点与优先级从高到低排序的每个高斯模型进行顺序匹配，判断与所述像素点匹配的高斯模型；

参数更新单元，用于对所述模型匹配单元匹配出的与所述像素点匹配的高斯模型进行参数更新；

背景选择单元，用于将所述参数更新单元进行更新后的高斯模型中优先级最高的并且权值的和大于背景权值阈值的多个高斯模型作为背景；

第一前景获取单元，用于将各所述像素点与优先级从高到低排序的多个所述背景选择单元选择出背景高斯模型进行顺序匹配，确定出属于前景的像素点，得到前景区域。

在一种可能的实施方式中，在所述模型匹配单元判断与所述像素点匹配的高斯模型时，在任一高斯模型均与所述像素点不匹配的情况下：所述模型匹配单元选择权值最小的高斯模型作为与所述像素点匹配的高斯模型。

在一种可能的实施方式中，所述运动目标检测模块包括第二目标检测子模块，用于采用像素灰度均值模型作为背景模型对采集的视频画面进行前景区域的识别；

所述第二目标检测子模块包括：

背景获取单元，用于将转换为灰度图像的训练图像中对应像素的均值作为背景像素值，得到背景模型；

背景更新单元，用于利用当前帧的视频图像对所述背景获取单元得到的背景模型进行更新，得到新的背景模型；

概率计算单元，用于算出转换为灰度图像的待检测视频画面与所述背景更新单元更新后的背景模型的灰度差分，依据所述灰度差分得到前景像素概率分布；

第二前景获取单元，用于依据所述概率计算单元算出的前景像素概率分布得到前景区域。

在一种可能的实施方式中，所述第二前景获取单元包括：

累加统计子单元，用于依据所述前景像素概率分布将所述前景像素划分为多个网格，统计各所述网格内像素前景概率的累加和；

占比判断子单元，用于以网格为单位依据各所述网格的累加在相应网格内面积的占比判断各网格是否属于前景网格，进而得到由所述前景网格组成的前景区域。

在一种可能的实施方式中，所述人体目标判断模块包括：

行像素数统计单元，用于将所述运动目标区域向坐标轴投影，得到所述运动目标区域在各像素行标下的像素数；

目标部位匹配单元，用于依据所述行像素数统计单元统计出的各像素行标像素数的特征，确定出与人体的至少三个目标部位对应的相应数量的像素行标；

距离比判断单元，用于判断所述目标部位匹配单元确定出的各与人体的目标部位对应的像素行标在坐标轴上互相之间距离的两两之比是否在相应的人体部位距离比范围内，若在预设的人体部位距离比范围内则判定所述运动目标区域中的运动目标属于人体目标。

在一种可能的实施方式中，所述人脸信息检测模块包括：

人脸区域搜索单元，用于通过分类器判断所述包含运动目标区域的视频画面内的搜索窗口覆盖的画面区域是否属于人脸区域；

画面搜索遍历单元，用于通过在所述包含运动目标区域的视频画面内移动所述搜索窗口实现视频画面的遍历；

器官特征获取单元，用于确定所述人脸区域搜索单元判定的人脸区域中包含的人脸器官的位置和尺寸；

有效人脸判定单元，用于基于所述器官特征获取单元确定出的人脸器官的位置关系判定所述人脸区域是否属于有效人脸图像。

在一种可能的实施方式中，所述视频画面留存模块从所述包含所述有效人脸图像的视频画面中提取至少包含人脸部分的画面区域进行保存和/或上传。

在一种可能的实施方式中，所述装置还包括：

画面留存判断模块，用于在所述人脸信息检测模块检测出包含所述人体目标的视频画面中所包含的人体目标区域包含有有效人脸图像的情况下，在所述视频画面留存模块对包含所述有效人脸图像的视频画面进行保存和/或上传之前：将当前帧视频画面包含的有效人脸图像与前一帧视频画面进行比对，并在前一帧视频画面中包含有当前帧视频画面包含的所有人体目标的人脸图像时，取消所述视频画面留存模块对当前帧视频画面的保存和上传。

(三)有益效果

本发明公开的实现门禁有效内容截取的视频处理方法及装置，能够对门禁系统实时采集的监控视频图像进行精简，以在需要对门禁系统采集的监控视频图像进行留档保存以作为入场记录、安保记录和日后追查材料时，只对包含有有效人脸图像的视频图像进行保存和上传，而无需将所有采集到的监控视频图像全部进行保存和上传，在数据存储方面降低了对数据存储空间的要求，降低了数据存储成本，同时也在上传视频画面数据方面降低了网络传输数据量和传输成本，另外还变相增大了日后对视频画面进行人物检索时的检索效率。

附图说明

以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。

图1是本发明公开的视频处理方法的实施例流程示意图。

图2是门禁系统采集的某一帧视频画面的示意图。

图3是本发明公开的视频处理装置的实施例结构框图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。

下面参考图1详细描述本发明公开的实现门禁有效内容截取的视频处理方法实施例。如图1所示，本实施例公开的视频处理方法主要包括以下步骤：

步骤100，对采集的视频画面进行运动目标检测，以识别出包含有运动目标区域的视频画面。门禁系统通过摄像头等视频采集设备采集包含门禁入口处的一定区域范围的视频图像，得到包含门禁入口区域的每一帧视频画面，然后视频处理装置的运动目标检测模块对门禁系统采集的各帧视频画面进行运动目标检测。运动目标指的是实际发生移动行为的目标。

运动目标区域指的是视频画面中表示运动目标的画面区域，该画面区域通常只占整帧视频画面的一部分，因此运动目标区域包含于视频画面中。例如图2所示为门禁系统采集的其中一帧视频画面示意图，对于写字楼入口处的门禁系统来说，楼内的人物P1正在面向门禁系统走来，符号“⊙”代表目标朝向观测位置移动；楼内的人物P2正在背向门禁系统离开，符号“⊕”代表目标朝向背离观测位置的方向；楼内的接待咨询台R固定不动；楼外汽车道上的汽车C正在向左移动。图2中的四个目标中，P1、P2和C为实际的运动目标，其轮廓区域应当属于运动目标区域，接待咨询台R及地面、承重墙等固定结构为实际的非运动目标，其轮廓区域应当属于背景区域。

运动目标检测模块可以通过背景减除法、帧间差分法、光流法等方法对每一帧视频画面进行运动目标检测，以识别出并得到包含有运动目标区域的视频画面，以下称为运动目标视频画面。运动目标检测模块会将图2所示的视频画面识别为包含有运动目标区域的视频画面。上述三种运动目标检测方法中，背景减除法和帧间差分法适合比较简单的背景区域，但是对光线的变化比较敏感，而门禁系统多数布置于室内的具有人工照明的环境中，因此背景减除法和帧间差分法比较适用于本实施例所应用的门禁系统，具体的实施方式见后文描述。

步骤200，判断包含运动目标区域的视频画面中相应的运动目标是否属于人体目标。在得到上述运动目标视频画面之后，视频处理装置的人体目标判断模块对这些运动目标视频画面中包含的运动目标区域进行判断，若运动目标区域表示的运动目标为人体目标，则得到包含的运动目标为人体目标的视频画面，以下称为人体目标视频画面。

例如人体目标判断模块对图2所示的运动目标视频画面包含的四个目标进行判断，发现目标P1和P2的区域均为实际的人体目标区域，因此图2所示的视频画面为人体目标视频画面。

步骤300，检测包含人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像。在得到上述人体目标视频画面之后，视频处理装置的人脸信息检测模块对这些人体目标视频画面中包含的人体目标区域进行检测，以得到能够被从中识别出有效人脸图像的视频画面，以下称为人脸信息视频画面。有效人脸图像指的是能够据此确定出人物身份信息的人脸图像，使得人脸信息视频画面可以被作为人物进入社区或者建筑物的入场记录、安保记录、事后追查材料的数据。

例如人脸信息检测模块对图2所示的人体目标视频画面包含的两个人体目标P1和P2的人体目标区域进行检测识别，由于目标P1朝向门禁系统移动，因此目标P1的图像区域中包含的是P1的人物正脸，而目标P2朝远离门禁系统的方向移动，其距离门禁系统摄像头较远，并且正脸相对于摄像头的角度不正，正脸是背向摄像头的，因此目标P2的图像区域中完全没有包含P2的人物正脸。因此只有目标P1的图像区域包含有效人脸图像，目标P2的图像区域未能包含有效人脸图像。但由于图2所示的视频画面包含有有效人脸图像，因此属于人脸信息视频画面。若视频画面中未包含任何有效人脸图像，则不属于人脸信息视频画面。

步骤400，对包含有效人脸图像的视频画面进行保存和/或上传。

在得到上述人脸信息视频画面之后，视频处理装置的视频画面留存模块将人脸信息视频画面进行本地保存，还可以上传到监控系统的后台服务器中进行保存和显示，以作为画面中包含的有效人脸图像对应的人物的入场记录、安保记录、事后追查材料。

本实施例提供的视频处理方法，能够对门禁系统实时采集的监控视频图像进行精简，以在需要对门禁系统采集的监控视频图像进行留档保存以作为入场记录、安保记录和日后追查材料时，只对包含有有效人脸图像的视频图像进行保存和上传，而无需将所有采集到的监控视频图像全部进行保存和上传，在数据存储方面降低了对数据存储空间的要求，降低了数据存储成本，同时也在上传视频画面数据方面降低了网络传输数据量和传输成本，另外还变相增大了日后对视频画面进行人物检索时的检索效率。

在一种实施方式中，步骤100中对采集的视频画面进行运动目标检测包括：

步骤110，使用背景减除法从采集的视频画面中识别出前景区域，并将得到的前景区域作为运动目标区域。

背景减除法是使用预先建立的背景参数模型来近似背景图像的像素值，将当前帧的图像与背景模型进行差分比较，以实现对运动目标区域的检测。在对当前帧图像和背景图像进行比较时，比较出的区别较大的像素区域被认为是前景区域，区别较小的像素区域被认为是背景区域。运动目标在视频画面中的区域被称为前景，而其他未实际发生运动的目标(非运动目标)在视频画面中的区域则为背景。例如图2中，目标P1、P2和C均为实际的前景区域，目标R为实际的背景区域，因此目标P1、P2和C的区域均为运动目标区域。步骤110中采用的背景减除法选用的背景模型为混合高斯模型或像素灰度均值模型。

在一种实施方式中，采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别包括以下步骤：

步骤A1，将视频画面中的每个像素点与优先级从高到低排序的每个高斯模型进行顺序匹配，判断与像素点匹配的高斯模型。

混合高斯模型记为η(I_t,μ_i,t),i＝1,2,…,K，I_t为t时刻(也就是t帧数)的像素点，μ_i,t为第i个高斯模型在t时刻的均值，K为高斯模型的数量，通常设定为三至五个。每个高斯模型中，ω_i,t为第i个高斯模型在t时刻当前像素上的权值，并且为第i个高斯模型的优先级。

步骤A1中依据公式(1)判断像素点与高斯模型匹配：

|I_t-μ_i,t-1|≤D_i*δ_i,t-1公式(1)；

其中，μ_i,t-1为第i个高斯函数在t-1帧的均值，δ_i,t-1为第i个高斯函数在t-1帧的标准差，D_i为常数。

可以理解的是，混合高斯模型需要预先通过多帧连续的视频画面对模型进行训练得到。

在步骤A1中判断与像素点匹配的高斯模型时，若任一高斯模型均与像素点不匹配，则选择权值最小的高斯模型作为与像素点匹配的高斯模型。

步骤A2，对与像素点匹配的高斯模型进行参数更新。更新的参数包括高斯模型的权值ω_i,t、方差和均值μ_i,t，并且分别依据公式(2)至(4)进行更新：

ω_i,t＝(1-α)*ω_i,t-1+α公式(2)；

μ_i,t＝(1-ρ)*μ_i,t-1+ρ*I_t公式(3)；

其中，α为自定义学习率，0≤α≤1，α的大小决定了模型进行更新的速度，其与模型更新速度成正比。ρ为参数学习率，ρ≈α/ω_i,t。

未与像素点匹配的高斯模型则保持以前的均值和方差，而权值则按照ω_i,t＝(1-α)*ω_i,t-1衰减。

若在步骤A1未能对像素点匹配出高斯模型，因此选择选择权值最小的高斯模型时，则在对该选择权值最小的高斯模型进行参数更新时，将其均值更新为I_t，标准差更新为δ₀，权值更新为ω_K,t＝(1-α)*ω_K,t-1+α。

步骤A3，将更新后的高斯模型中优先级最高的并且权值的和大于背景权值阈值的Nb个高斯模型作为背景。混合高斯模型参数更新后，依据优先级作为高斯模型的排序标准，将各高斯模型进行从大到小的排序，优先级越高的高斯模型在序列中越靠前，也越可能是背景。可以利用背景权值的部分和的阈值T作为筛选模型的依据，若T小于前Nb个模型的权值和，则将前Nb个模型作为背景分布。

步骤A4，将各像素点与优先级从高到低排序的Nb个作为背景的高斯模型进行顺序匹配，确定出属于前景的像素点，得到前景区域。假设当前像素点为I_t，按照模型的优先级排序将该像素点与步骤A3中筛选出的Nb个高斯模型逐一进行匹配，若满足公式(5)，则判定I_t为前景点，否则判定I_t为背景点，由此得到视频画面中的前景区域，也就是图2中目标P1、P2和C的区域。

|I_t-μ_i,t|>D₂*δ_i,t,i＝1,2,…,Nb 公式(5)；

其中，D₂为自定义常数。

在一种实施方式中，采用像素灰度均值模型作为背景模型对采集的视频画面进行前景区域的识别包括：

步骤B1，将转换为灰度图像的训练图像中对应像素的均值作为背景像素值，得到背景模型。训练图像指的是用于训练背景模型的视频序列，首先选取当前时刻之前的一部分训练图像，然后将这些训练图像转化为灰度图像，将训练图像中对应像素的均值作为背景像素值，得到背景模型B，也就是得到背景图像。

背景模型B通过公式(6)表示：

其中，I_t为t时刻(t帧数)的灰度图像，T为用于训练背景模型的视频序列的总时长，即上述“当前时刻之前的一部分训练图像”，因此T也相当于视频画面的帧数。T值越大，相当于选取的视频画面越多，则得到的背景模型越准确，但运算耗时越长。

步骤B2，利用当前帧的视频图像对得到的背景模型进行更新，得到新的背景模型。由于背景模型不是永远不变的，因此需要对背景模型进行更新。例如利用公式(7)来计算当前背景模型的像素值，进而得到更新的背景模型；

其中，p_t为t时刻图像的像素值，u_t-1为对应当前背景模型的像素值，α为自定义学习率，0≤α≤1，α的大小决定了当前帧图像对背景模型的调整影响程度，α越大，当前帧图像对背景模型的调整影响越大，背景模型随环境变化适应越快。α＝1时，相当于将当前帧作为新的背景替换掉原先的背景模型。

步骤B3，算出转换为灰度图像的待检测视频画面与更新后的背景模型的灰度差分，依据灰度差分得到前景像素概率分布。

若在视频序列中存在运动目标，则可以通过比对当前视频化画面与背景画面的差别来检测运动目标。首先将待检测视频画面转化为灰度图像，然后通过公式(8)算出待检测帧与背景模型的灰度差分dI_t(x)：

其中，I_t(x)为待检测视频画面，B(x)为背景图像，thr为常数。灰度差分表示当前帧的灰度值相对于背景灰度值变化的程度，如果变化大于thr则表明该变化是由于运动目标所引起的。

具体通过公式(9)判断像素是否属于前景像素，进而得到前景区域：

其中，P_t(x)为当前像素属于前景的概率的近似表示，若P_t(x)很小，则可以初步将该像素判断为背景像素，若P_t(x)很大，则说明该像素为前景像素。

步骤B4，依据前景像素概率分布得到前景区域。将所有被判断为前景像素的像素点组合起来，即可得到前景区域。具体的，为了消除背景噪声，使得前景区域不会被分割为多于实际前景区域数量的多个区域，而是尽量近似于实际前景区域，步骤B4包括以下步骤：

步骤B41，依据前景像素概率分布将前景像素划分为多个网格，统计各网格内像素前景概率的累加和。具体如公式(10)来计算累加和A：

A＝∑P(x)x∈L 公式(10)；

其中，L为某一局部区域，也就是网格，x为区域L内的像素。

步骤B42，以网格为单位依据各网格的累加在相应网格内面积的占比判断各网格是否属于前景网格，进而得到由前景网格组成的前景区域。由于0≤P(x)≤1，因此A的最大值就是区域L的面积S。则以区域为单位判断区域属于前景区域还是背景区域的判定条件可以采用公式(11)：

其中，β为常数因子，0≤β≤1，β越大，区域被判定为属于前景区域所要包含的前景像素的数量要求就越高，也就越难被判定为前景区域。

在一种实施方式中，步骤200中判断包含运动目标区域的视频画面中相应的运动目标是否属于人体目标包括以下步骤：

步骤210，将运动目标区域向坐标轴投影，得到运动目标区域在各像素行标下的像素数。以图2为例，将运动目标P1、P2和C的运动目标区域转换为二值化图像，使得运动目标区域内的像素点值为1，其他区域的值为0。然后分别向坐标轴投影，得到运动目标轮廓的行标—像素数统计图表，图表中的X轴为像素行标，指的是运动目标区域共包含有多行像素，Y轴为值为1的像素点数量。由于运动目标区域的形状(也就是轮廓)不同，每行像素行标对应的像素点数量也不同，一个圆形的每行像素行标对应的像素点数量沿X轴呈先升后降的曲线，一个底边水平放置的三角形的每行像素行标对应的像素点数量沿X轴呈直线上升趋势。

步骤220，依据各像素行标像素数的特征，确定出与人体的至少三个目标部位对应的相应数量的像素行标。

不同形状的运动目标区域的像素行标像素数的特征不同，对应在行标—像素数统计图表上所呈现的就是线条形状和升降趋势不同。由于人体目标具有一定的形状特点，因此一般人体在对应图表中呈现的线条形状通常为：从X轴上的头部到颈部为先升后降并降到像素点数量的较低水平，且X轴上头部到颈部之间的距离较近，而从颈部开始升高，中间可能有一些升降，然后到脚部附近则是下降。

由此可知，其中最为稳定不变的就是头部、颈部和脚部，因此选择这三个部位作为目标部位。而颈部到脚部之间的部分会由于人体的身材而不同，但从头部到颈部的一个先升后降，以及颈部之后的上升、脚部之前的下降则为一般人体的像素点数量线条特征。

因此可以将头部、颈部和脚部作为人体的目标部位，并且由于头部和脚部为两端，因此其像素数为零，颈部由于最细，因此像素数为线条中所有波谷中最低的一个，并且距离头部较近。

由此可知，目标部位的头部和脚部位于X轴上，目标部位的颈部为高于X轴上的一个波谷，在得到运动目标P1、P2和C的图表后，分别确定出三个图表中的头部、颈部、脚部在X轴上的位置。

步骤230，判断各与人体目标部位对应的像素行标在坐标轴上互相之间距离的距离比是否在相应的人体部位距离比范围内，若在预设的人体部位距离比范围内则判定运动目标区域中的运动目标属于人体目标。

由于一般人体的头部到颈部和颈部到脚部之间的距离比是存在规律的，因此在X轴上，头部到颈部之间的距离HN与颈部到脚部的距离NF之间的距离比在一定范围内，例如0.1≤HN/NF≤0.15，人体部位距离比范围就是[0.1，0.15]，若运动目标的HN/NF在人体部位距离比范围内，则判定为人体目标，否则判定为非人体目标。目标P1和P2会被判定为人体目标，目标C会被判定为非人体目标。

同理也可以选取头部到颈部之间的距离HN与头部到脚部之间的距离HF之间的距离比作为运动目标是否属于人体目标的判断依据，此时适用的人体部位距离比范围会有相应变化。

在一种实施方式中，步骤300中检测包含人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像包括以下步骤：

步骤310，通过分类器判断包含运动目标区域的视频画面内的搜索窗口覆盖的画面区域是否属于人脸区域。搜索窗口是一个小于视频画面尺寸的窗口，用于划定一块区域作为识别人脸的区域，而分类器能够对样本进行分类，因此可以利用分类器对搜索窗口划定的区域进行图像分类，以得到人脸图像类，实现人脸的识别。

步骤320，通过在包含运动目标区域的视频画面内移动搜索窗口实现视频画面的遍历。搜索窗口会以小于搜索窗口长度/宽度的距离在视频画面内移动，以遍历整个视频画面。例如对图2来说，人脸信息检测模块会通过遍历，检测出目标P1的区域中包含的人脸区域。目标P2由于未包含人脸，因此不会被辨识为人脸。

步骤330，确定人脸区域中包含的人脸器官的位置和尺寸。例如人脸的角度不同，显示出的器官也不同，正脸能够显示出所有的眉、眼、鼻、口，但可能无法显示出耳朵，而侧脸只能显示出其中一侧的眉、眼、耳，以及显示出鼻、口。

步骤340，基于人脸器官的位置关系判定人脸区域是否属于有效人脸图像。距离摄像头近的正脸，器官清晰度高、角度正，属于有效人脸图像，例如图2中的目标P1的区域包含有有效人脸图像。距离摄像头远的侧脸，器官清晰度不高、角度不正，不属于有效人脸图像。

在一种实施方式中，步骤310中通过Adaboost分类器判断搜索窗口覆盖的画面区域是否属于人脸区域。训练Adaboost分类器的方式如下：

给定训练样本集S，其中X和Y分别对应于人脸正例样本和非人脸负例样本，T为训练的最大循环次数。训练样本共N个，N个训练样本中每个样本对应的权重是相同的，初始化样本权重为1/N，即为训练样本的初始概率分布。在此样本分布下通过对N个训练样本的进行训练得到第一个弱分类器。

对于分类错误的样本，加大其对应的权重，而对于分类正确的样本，降低其权重，这样分错的样本就被突显出来，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到第二个弱分类器。

依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加起来，得到最终想要的强分类器。

强分类器训练好之后，可以利用最终得到的强分类器正确识别出视频画面中的人脸区域信息。例如强分类器能够从图2中识别出目标P1的人脸区域P1f，因此图2属于包含有效人脸图像的视频画面，其包含有一个有效人脸P1f。

经识别后得到包含可辨识的人物面部区域(有效视频画面)的视频画面，但由于同一个人物在通行过程中会产生大量的有效视频画面，针对于该人物的记录来说，这些有效视频画面包含的有效内容均相同。例如，对于一段时间内采集的连续的M帧视频画面来说，若通过本实施例识别出其中共有j帧视频画面(无论是否是连续的帧)均包含有效人脸图像，则将该j帧视频画面的全部画面内容均在门禁系统本地进行保存或者上传到监控系统的后台服务器内，以作为留档记录。

但由于有时并不需要保存背景区域及兴趣度低的区域，因此在一种实施方式中，步骤400中对包含有效人脸图像的视频画面进行保存和/或上传，具体可以是：从包含有效人脸图像的视频画面中提取至少包含人脸部分的画面区域进行保存和/或上传。例如对于视频画面图2来说，可以只保存或上传包含人脸区域P1f的目标P1的区域，也就是视频画面中P1的人体区域，甚至只保存或上传人脸区域P1f。这样可以进一步减少存储的数据量和上传的数据量。

另外，上述j帧视频画面包含的有效人脸可能均为同一人物的人脸，因此在步骤400中对视频画面进行保存和上传时，保存和上传的内容会有大量的重复内容，但没有必要将所有的包含有效人物信息的视频画面全部保存下来，否则会浪费存储容量，提高数据存储成本，同时也会增大网络传输数据量，提高数据传输成本。因此在一种实施方式中，在步骤300中检测出包含人体目标的视频画面中所包含的人体目标区域包含有有效人脸图像的情况下，在步骤400中对包含有效人脸图像的视频画面进行保存和/或上传之前：

先将当前帧视频画面包含的有效人脸图像与前一帧视频画面进行比对，并在前一帧视频画面中包含有当前帧视频画面包含的所有人体目标的人脸图像时，取消对当前帧视频画面的保存和上传。

以图2所示的当前帧视频画面为例，图2中包含有效人脸图像，因此符合被保存上传的条件，但通过将其与前一帧视频画面进行比对后发现，前一帧视频画面与当前帧视频画面包含的有效人脸图像所对应的人物均相同，都是目标P1，因此这两帧视频画面作为入场记录、安保记录的意义和贡献是相同的，因此在已经保存和上传了前一帧视频画面或者已经保存了与前一帧视频画面的意义和贡献相同的更早先的视频画面的情况下，则无需对当前帧视频画面进行保存和上传，以进一步减少存储的数据量和上传的数据量。

具体的，门禁系统可以缓存前一帧视频画面，在对当前帧视频画面进行是否需要保存上传判断时，使用缓存的前一帧视频画面作为参考，则无论前一帧视频画面是否被保存或上传，均能保证在一段连续的视频帧之中，若每帧视频画面包含的人脸均相同，对入场记录、安保记录的意义也均相同，则只有第一帧视频画面被保存和上传，或者，通过每检测一个新的视频帧时，就会对有效人脸图像的质量进行对比，将人脸图像质量高于保存的视频帧的同意义视频帧替换掉之前保存的视频帧。

需要说明的是，由于保存的视频画面会作为入场记录和安保记录，因此只有连续的一段包含相同有效人脸的视频帧中，才能够省去其中大部分视频帧的保存，否则若目标P1在一个月之前出现过一次并被采集、上传到监控系统中之后，在一个月后的今天再次出现并被采集时，即使其出现的视频帧间隔了一个月，属于不连续视频帧，也会因为已保存过信息而不再保存，这就无法实现入场记录和安保记录的功能。

下面参考图3详细描述本发明公开的实现门禁有效内容截取的视频处理装置实施例。本实施例用于实施前述的视频处理方法。

如图3所示，本实施例公开的视频处理装置，包括：

人体目标判断模块，用于判断运动目标检测模块识别出的包含运动目标区域的视频画面中相应的运动目标是否属于人体目标；

人脸信息检测模块，用于检测人体目标判断模块判定的包含人体目标的视频画面中所包含的人体目标区域是否包含有效人脸图像；

视频画面留存模块，用于对人脸信息检测模块检测出的包含有效人脸图像的视频画面进行保存和/或上传。

在一种实施方式中，运动目标检测模块使用背景减除法从采集的视频画面中识别出前景区域，并将得到的前景区域作为运动目标区域；

其中，背景减除法采用的背景模型为混合高斯模型或像素灰度均值模型。

在一种实施方式中，运动目标检测模块包括第一目标检测子模块，用于采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别；

第一目标检测子模块包括：

模型匹配单元，用于将视频画面中的每个像素点与优先级从高到低排序的每个高斯模型进行顺序匹配，判断与像素点匹配的高斯模型；

参数更新单元，用于对模型匹配单元匹配出的与像素点匹配的高斯模型进行参数更新；

背景选择单元，用于将参数更新单元进行更新后的高斯模型中优先级最高的并且权值的和大于背景权值阈值的多个高斯模型作为背景；

第一前景获取单元，用于将各像素点与优先级从高到低排序的多个背景选择单元选择出背景高斯模型进行顺序匹配，确定出属于前景的像素点，得到前景区域。

在一种实施方式中，在模型匹配单元判断与像素点匹配的高斯模型时，在任一高斯模型均与像素点不匹配的情况下：模型匹配单元选择权值最小的高斯模型作为与像素点匹配的高斯模型。

在一种实施方式中，运动目标检测模块包括第二目标检测子模块，用于采用像素灰度均值模型作为背景模型对采集的视频画面进行前景区域的识别；

第二目标检测子模块包括：

背景更新单元，用于利用当前帧的视频图像对背景获取单元得到的背景模型进行更新，得到新的背景模型；

概率计算单元，用于算出转换为灰度图像的待检测视频画面与背景更新单元更新后的背景模型的灰度差分，依据灰度差分得到前景像素概率分布；

第二前景获取单元，用于依据概率计算单元算出的前景像素概率分布得到前景区域。

在一种实施方式中，第二前景获取单元包括：

累加统计子单元，用于依据前景像素概率分布将前景像素划分为多个网格，统计各网格内像素前景概率的累加和；

占比判断子单元，用于以网格为单位依据各网格的累加在相应网格内面积的占比判断各网格是否属于前景网格，进而得到由前景网格组成的前景区域。

在一种实施方式中，人体目标判断模块包括：

行像素数统计单元，用于将运动目标区域向坐标轴投影，得到运动目标区域在各像素行标下的像素数；

目标部位匹配单元，用于依据行像素数统计单元统计出的各像素行标像素数的特征，确定出与人体的至少三个目标部位对应的相应数量的像素行标；

距离比判断单元，用于判断目标部位匹配单元确定出的各与人体的目标部位对应的像素行标在坐标轴上互相之间距离的两两之比是否在相应的人体部位距离比范围内，若在预设的人体部位距离比范围内则判定运动目标区域中的运动目标属于人体目标。

在一种实施方式中，人脸信息检测模块包括：

人脸区域搜索单元，用于通过分类器判断包含运动目标区域的视频画面内的搜索窗口覆盖的画面区域是否属于人脸区域；

画面搜索遍历单元，用于通过在包含运动目标区域的视频画面内移动搜索窗口实现视频画面的遍历；

器官特征获取单元，用于确定人脸区域搜索单元判定的人脸区域中包含的人脸器官的位置和尺寸；

有效人脸判定单元，用于基于器官特征获取单元确定出的人脸器官的位置关系判定人脸区域是否属于有效人脸图像。

在一种实施方式中，视频画面留存模块从包含有效人脸图像的视频画面中提取至少包含人脸部分的画面区域进行保存和/或上传。

在一种实施方式中，装置还包括：

画面留存判断模块，用于在人脸信息检测模块检测出包含人体目标的视频画面中所包含的人体目标区域包含有有效人脸图像的情况下，在视频画面留存模块对包含有效人脸图像的视频画面进行保存和/或上传之前：将当前帧视频画面包含的有效人脸图像与前一帧视频画面进行比对，并在前一帧视频画面中包含有当前帧视频画面包含的所有人体目标的人脸图像时，取消视频画面留存模块对当前帧视频画面的保存和上传。

需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中，“第一”、“第二”等仅用于彼此的区分，而非表示它们的重要程度及顺序等。

本文中的模块、单元或组件的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元、组件在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种实现门禁有效内容截取的视频处理方法，其特征在于，包括：

对包含所述有效人脸图像的视频画面进行保存和/或上传。

2.如权利要求1所述的方法，其特征在于，所述对采集的视频画面进行运动目标检测包括：

3.如权利要求2所述的方法，其特征在于，采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别包括：

对与所述像素点匹配的高斯模型进行参数更新；

4.如权利要求1所述的方法，其特征在于，所述判断包含所述运动目标区域的视频画面中相应的运动目标是否属于人体目标包括：

5.如权利要求1所述的方法，其特征在于，所述对包含所述有效人脸图像的视频画面进行保存和/或上传包括：

6.一种实现门禁有效内容截取的视频处理装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述运动目标检测模块使用背景减除法从所述采集的视频画面中识别出前景区域，并将得到的所述前景区域作为所述运动目标区域；

8.如权利要求7所述的装置，其特征在于，所述运动目标检测模块包括第一目标检测子模块，用于采用混合高斯模型作为背景模型对采集的视频画面进行前景区域的识别；

所述第一目标检测子模块包括：

9.如权利要求6所述的装置，其特征在于，所述人体目标判断模块包括：

10.如权利要求6所述的装置，其特征在于，所述视频画面留存模块从所述包含所述有效人脸图像的视频画面中提取至少包含人脸部分的画面区域进行保存和/或上传。