CN105138983B - 基于加权部件模型和选择性搜索分割的行人检测方法 - Google Patents

Abstract

一种基于加权部件模型和选择性搜索分割的行人检测方法，由加权部件模型训练部分和行人检测部分组成。模型构建过程：基于可变形部件模型的构造过程，根据拥挤场景下行人各个部位的遮挡情况不同，对不同的部件设置了不同的权值，并使用隐支持向量机进行训练权值。行人检测过程：提取图片中的HOG特征金字塔，对图片进行选择性搜索分割，以达到用较少的有效窗口包含更多的物体，在此基础之上，采用基于阈值裁剪的级联检测来进行行人检测。本发明方法从两个角度解决拥挤场景下行人的漏检问题，具有减小干扰、提高行人检测准确率等优点。

Description

基于加权部件模型和选择性搜索分割的行人检测方法

技术领域

本发明涉及一种行人检测领域，尤其是一种使用基于权值的可变形部件模型和选择性搜索分割的行人检测方法。

背景技术

基于静态图像的行人检测就是把图像中出现的人体从背景中分割出来并精确定位，广泛应用于人机交互、智能视频监控、智能交通等领域，是目标分类和行为理解的基础，同时也是计算机视觉研究领域的重要课题之一。但是当行人作为检测的主体时，往往会出现在十分复杂的背景中，而且行人兼具刚性和柔性双重特性，其外观易受穿着、尺度、遮挡、姿态和视角等影响，这也使得行人检测不仅成为计算机视觉感知领域研究的重点之一，也是计算机视觉感知领域研究的难点之一。

现阶段的行人检测算法主要是从两个角度来进行研究的：第一，基于整体特征的行人检测算法。这类算法是把人看成是一个整体来提取特征，然后采用分类器对其进行训练，从而达到检测人体的效果。第二，引入部件和姿势的概念来进行人体检测。这类算法则是将人体分解成若干部分，对每一部分分别进行特征提取，然后利用分类器对每一部分的特征训练，并将这些特征累加起来进行人体检测。与第一类算法相比，这类方法可以更方便的处理关节问题，并为将来能进行人体姿势估计提供理论基础。

现如今，基于可变形部件模型的行人检测方法是行人检测方面比较成功的算法之一，该模型主要包括两部分：整体模型和部件模型。整体模型在低分辨率上捕捉物体的整体轮廓，部件模型在高分辨率上捕捉物体的细节部分。该模型很好地结合了物体的整体信息和局部信息，考虑到了行人的柔性特征。但在拥挤场景下，由于部分遮挡的存在，行人的轮廓可见性是有限的，可变形部件模型的检测率有所下降。

发明内容

本发明目的在于提供一种基于加权部件模型和选择性搜索分割的行人检测方法，使模型在符合人体非刚性特征基础上更能符合拥挤环境下行人的刚性结构、减小检测过程中遮挡所带来干扰，结合选择性搜索分割方法和级联检测算法，避免漏检稍远距离的行人，在不降低检测速度的同时，提高行人检测的准确率。

为实现上述目的，采用了以下技术方案：本发明所述检测方法由加权部件模型训练部分和行人检测部分组成，方法步骤如下：

(1)加权部件模型训练

根据拥挤场景下行人各个部位的遮挡情况，对不同的部件设置不同的权值，使用隐支持向量机进行训练权值，并采用随机梯度下降方法来最优化权值；

(2)行人检测

获取行人视频图片，对图片进行选择性搜索分割，提取图片中的HOG特征并构造特征金字塔，采用基于阈值裁剪的级联检测方法对行人进行检测。

步骤(1)中模型训练的具体方法如下：

(1-1)输入训练模型的正样本P＝[(I₁,B₁),…,(I_t,B_t)]、负样本N＝{J₁,…,J_k}、训练样本总数|D＝P∪N|、给定的迭代次数K和容器数目m；

其中，I₁对应正样本集中的第1个图片，B₁对应图片I₁中的行人边界框，I_t对应正样本集中的第t个图片，B_t对应图片I_t中的行人边界框，J₁对应负样本集中的第1个图片，J_k对应负样本集中的第k个图片，K为迭代次数，m为容器数目，m取值为3，表明采用三个容器，分别表示了行人的正面、侧面以及遮挡的半身，D为训练样本总数；

(1-2)进行|D＝P∪N|次循环，每次循环的过程如下：

①提取每个训练样本的特征向量，

式中，p₀对应根过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔图，表示在特征金字塔H中p₀位置的特征向量，p_n对应第n个部件过滤器的位置，表示在特征金字塔H中p_n位置的特征向量，表示第1个部件过滤器与根过滤器的相对形变特征向量，表示第n个部件过滤器与根过滤器的相对形变特征向量；

②按照多个行人边界框的纵横比例，把图片分成3组，分别从行人半身、侧面和正面来构建3个混合模型，这里把图片分成3组，是因为行人的半身、侧面以及正面这3个角度，已经能包括大部分行人；

(1-3)进行m次循环，每次循环的过程如下：

①初始化向量β＝(F₀,ω₁·F₁,…,ω_n·F_n,d₁,…,d_n,b)，F₀表示根过滤器，F_i(1≤i≤n)表示第i个部件过滤器，ω_i(1≤i≤n)表示第i个部件过滤器的权值，d_i(1≤i≤n)表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

②初始化包括正样本和负样本的样本池，c_j(1≤j≤m)是第j个模型容器所对应的图片组，是c_j组的正样本，是c_j组的负样本，是c_j组的所有负样本；

③进行K次迭代，每次迭代的过程如下：

a)采用随机梯度下降法，最优化目标函数采用隐支持向量机对其进行训练，即

式中，ψ(H,z)为训练样本的特征向量；β为初始化向量；z是一系列的潜在值，即根过滤器和部件过滤器的位置集；x表示每个样本；Z(x)表示样本_x可能的潜在值集合；是c_j组的正样本；是c_j组的负样本；c_j是第j个模型容器所对应的图片组，且1≤j≤m；

b)数据挖掘，移除中的简单样本，增加中的负样本，进而扩大的样本池；

(1-4)得到加权部件模型。

步骤(2)行人检测的方法如下：

(2-1)输入待检测图片；

(2-2)对图片进行选择性搜索分割，去除不可能存在行人的区域，得到R个区域；

(2-3)提取图片的HOG特征，构造特征金字塔；

(2-4)对加权部件模型进行PCA降维，转换成级联模型；

(2-5)进行K次循环，分别对每个区域进行级联检测，求出假设得分

式中，p₀对应根过滤器的位置，p_n对应第n个部件过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔，表示在特征金字塔H中p₀位置的特征向量，F₀表示根过滤器，p_i对应第i个部件过滤器的位置，表示在特征金字塔H中p_i位置的特征向量，F_i表示第i个部件过滤器，ω_i表示第i个部件过滤器的权值，dx_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，表示第i个部件过滤器与根过滤器的相对形变特征向量，d_i表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

score(p₀,…,p_n)由四部分组成：为根过滤器的得分，为带有权值的部件过滤器的得分，为部件过滤器相对于根过滤器的理想位置和实际位置的形变得分；

如果score(p₀,…,p_n)大于级联阈值，则认为此假设区域覆盖行人区域，称为候选假设，反之认为此假设区域没有覆盖行人区域，提取出包含有行人的边界框；

(2-6)对包含有行人的边界框进行去重，去除重复的区域；

(2-7)用矩形框在图片中标出行人，得到最终行人检测框。

与现有技术相比，本发明具有如下优点：

1、与已有的可变形部件模型不同，本发明中的加权部件模型更符合拥挤场景下行人的刚性和非刚性的特性，减小检测过程中遮挡所带来的干扰提高了拥挤场景下行人的漏检率。

2、本方法从降低检索空间和加快匹配速度这两个角度出发，引入选择性搜索分割和级联检测，避免漏检稍远距离的行人，在不降低检测速度的同时，提高行人检测的准确率，综合改善行人检测算法的速度、精度和鲁棒性。

3、本方法具有较高的实时性和处理速度，方法简洁、实用，有较高的效率。

附图说明

图1是本发明方法的过程图。

图2是本发明方法中加权部件模型训练的流程图。

图3是本发明方法中基于选择性搜索分割的行人检测的流程图。

具体实施方式

下面结合行人的HOG特征金字塔检测过程对本文提出的方法作进一步说明：

如图1所示的本发明方法的流程图中，首先进行训练模型，具体过程依次为训练样本、初始化根过滤器、使用标准SVM训练、合并容器、使用LSVM训练、初始化部件过滤器、再次使用LSVM训练、更新部件权值、得到加权部件模型。然后进行图像检测，具体过程依次为输入图片、对图片进行分割(分割过程包括选择性搜索、得到有用的边界框)、把加权部件模型转换为级联模型、得到图片的特征金字塔、级联检测、得到行人区域、去除重复的区域、得到最终的行人检测结果。

具体方法如下：

本发明所述检测方法由加权部件模型训练部分和行人检测部分组成，其中，

(1)加权部件模型训练

根据拥挤场景下行人各个部位的遮挡情况，对不同的部件设置不同的权值，使用隐支持向量机进行训练权值，并采用随机梯度下降方法来最优化权值；如图2所示：

(1-1)输入训练模型的正样本P＝[(I₁,B₁),…,(I_t,B_t)]、负样本N＝{J₁,…,J_k}、训练样本总数|D＝P∪N、给定的迭代次数K和容器数目m；

其中，I₁对应正样本集中的第1个图片，B₁对应图片I₁中的行人边界框，I_t对应正样本集中的第t个图片，B_t对应图片I_t中的行人边界框，J₁对应负样本集中的第1个图片，J_k对应负样本集中的第k个图片，K为迭代次数，m为容器数目，m取值为3，表明采用了三个容器，分别表示了行人的正面、侧面以及遮挡的半身，D为训练样本总数；

(1-2)进行|D＝P∪N|次循环，每次循环的过程如下：

①提取每个训练样本的特征向量，

式中，p₀对应根过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔，表示在特征金字塔H中p₀位置的特征向量，p_n对应第n个部件过滤器的位置，表示在特征金字塔H中p_n位置的特征向量，dx₁表示第1个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy₁表示第1个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，dx_n表示第n个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy_n表示第n个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，表示第1个部件过滤器与根过滤器的相对形变特征向量，表示第n个部件过滤器与根过滤器的相对形变特征向量；

②按照多个行人边界框的纵横比例，把图片分成3组，分别从行人半身、侧面和正面来构建3个混合模型，这里把图片分成3组，是因为行人的半身、侧面以及正面这3个角度，已经能包括大部分行人；

(1-3)进行m次循环，每次循环的过程如下：

①初始化向量β＝(F₀,ω₁·F₁,…,ω_n·F_n,d₁,…,d_n,b)，F₀表示根过滤器，F_i(1≤i≤n)表示第i个部件过滤器，ω_i(1≤i≤n)表示第i个部件过滤器的权值，d_i(1≤i≤n)表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

②初始化包括正样本和负样本的样本池，c_j(1≤j≤m)是第j个模型容器所对应的图片组，是c_j组的正样本，是c_j组的负样本，是c_j组的所有负样本；

③进行K次迭代，每次迭代的过程如下：

a)采用随机梯度下降法，最优化目标函数采用隐支持向量机对其进行训练，即

式中，ψ(H,z)为训练样本的特征向量；β为初始化向量；z是一系列的潜在值，即根过滤器和部件过滤器的位置集；是c_j组的正样本；是c_j组的负样本；c_j(1≤j≤m)是第j个模型容器所对应的图片组；

b)数据挖掘，移除中的简单样本，增加中的负样本，进而扩大的样本池；

(1-4)得到加权部件模型。

(2)行人检测

获取行人视频图片，对图片进行选择性搜索分割，提取图片中的HOG特征并构造特征金字塔，采用基于阈值裁剪的级联检测方法对行人进行检测。如图3所示：

(2-1)输入待检测图片；

(2-2)对图片进行选择性搜索分割，去除不可能存在行人的区域，得到R个区域；

(2-3)提取图片的HOG特征，构造特征金字塔；

(2-4)对加权部件模型进行PCA降维，转换成级联模型；

(2-5)进行K次循环，分别对每个区域进行级联检测，求出假设得分

式中，p₀对应根过滤器的位置，p_n对应第n个部件过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔，表示在特征金字塔H中p₀位置的特征向量，F₀表示根过滤器，p_i对应第i个部件过滤器的位置，表示在特征金字塔H中p_i位置的特征向量，F_i表示第i个部件过滤器，ω_i表示第i个部件过滤器的权值，dx_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，表示第i个部件过滤器与根过滤器的相对形变特征向量，d_i表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

score(p₀,…,p_n)由四部分组成：为根过滤器的得分，为带有权值的部件过滤器的得分，为部件过滤器相对于根过滤器的理想位置和实际位置的形变得分；

如果score(p₀,…,p_n)大于级联阈值，则认为此假设区域覆盖行人区域，称为候选假设，反之认为此假设区域没有覆盖行人区域，提取出包含有行人的边界框；

(2-6)对包含有行人的边界框进行去重，去除重复的区域；

(2-7)用矩形框在图片中标出行人，得到最终行人检测框。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种基于加权部件模型和选择性搜索分割的行人检测方法，其特征在于，所述检测方法由加权部件模型训练部分和行人检测部分组成，方法步骤如下：

(1)加权部件模型训练

根据拥挤场景下行人各个部位的遮挡情况，对不同的部件设置不同的权值，使用隐支持向量机进行训练权值，并采用随机梯度下降方法来最优化权值；

(2)行人检测

获取行人视频图片，对图片进行选择性搜索分割，提取图片中的HOG特征并构造特征金字塔，采用基于阈值裁剪的级联检测方法对行人进行检测；

所述步骤(1)中模型训练的具体方法如下：

(1-1)输入训练模型的正样本P＝[(I₁,B₁),…,(I_t,B_t)]、负样本N＝{J₁,…,J_k}、训练样本总数|D＝P∪N|、给定的迭代次数K和容器数目m；

其中，I₁对应正样本集中的第1个图片，B₁对应图片I₁中的行人边界框，I_t对应正样本集中的第t个图片，B_t对应图片I_t中的行人边界框，J₁对应负样本集中的第1个图片，J_k对应负样本集中的第k个图片，m取值为3，表明采用了三个容器，分别表示了行人的正面、侧面以及遮挡的半身；

(1-2)进行|D＝P∪N|次循环，每次循环的过程如下：

①提取每个训练样本的特征向量，

式中，p₀对应根过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔，表示在特征金字塔H中p₀位置的特征向量，p_n对应第n个部件过滤器的位置，表示在特征金字塔H中p_n位置的特征向量，dx₁表示第1个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy₁表示第1个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，dx_n表示第n个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy_n表示第n个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，表示第1个部件过滤器与根过滤器的相对形变特征向量，表示第n个部件过滤器与根过滤器的相对形变特征向量；

②按照多个行人边界框的纵横比例，把图片分成3组，分别从行人半身、侧面和正面来构建3个混合模型；

(1-3)进行m次循环，每次循环的过程如下：

①初始化向量β＝(F₀,ω₁·F₁,…,ω_n·F_n,d₁,…,d_n,b)，F₀表示根过滤器，F_i表示第i个部件过滤器，ω_i表示第i个部件过滤器的权值，d_i表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

②初始化包括正样本和负样本的样本池，c_j是第j个模型容器所对应的图片组，是c_j组的正样本，是c_j组的负样本，是c_j组的所有负样本；

③进行K次迭代，每次迭代的过程如下：

a)采用随机梯度下降法，最优化目标函数采用隐支持向量机对其进行训练，即

式中，ψ(H,z)为训练样本的特征向量；β为初始化向量；z是一系列的潜在值，即根过滤器和部件过滤器的位置集；x表示每个样本；Z(x)表示样本x可能的潜在值集合；是c_j组的正样本；是c_j组的负样本；c_j是第j个模型容器所对应的图片组，且1≤j≤m；

b)数据挖掘，移除中的简单样本，增加中的负样本，进而扩大的样本池；

(1-4)得到加权部件模型；

所述步骤(2)行人检测的方法如下：

(2-1)输入待检测图片；

(2-2)对图片进行选择性搜索分割，去除不可能存在行人的区域，得到R个区域；

(2-3)提取图片的HOG特征，构造特征金字塔；

(2-4)对加权部件模型进行PCA降维，转换成级联模型；

(2-5)进行K次循环，分别对每个区域进行级联检测，求出假设得分

式中，p₀对应根过滤器的位置，p_n对应第n个部件过滤器的位置，以左上角为标准进行表示，H对应梯度直方图特征金字塔，表示在特征金字塔H中p₀位置的特征向量，F₀表示根过滤器，p_i对应第i个部件过滤器的位置，表示在特征金字塔H中p_i位置的特征向量，F_i表示第i个部件过滤器，ω_i表示第i个部件过滤器的权值，dx_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的X轴方向的距离差，dy_i表示第i个部件过滤器相对于根过滤器的理想位置和实际位置的之间的Y轴方向的距离差，表示第i个部件过滤器与根过滤器的相对形变特征向量，d_i表示第i个部件过滤器与根过滤器的相对形变系数，b表示偏差；

score(p₀,…,p_n)由四部分组成：为根过滤器的得分，为带有权值的部件过滤器的得分，为部件过滤器相对于根过滤器的理想位置和实际位置的形变得分；

如果score(p₀,…,p_n)大于级联阈值，则认为此假设区域覆盖行人区域，称为候选假设，反之认为此假设区域没有覆盖行人区域，提取出包含有行人的边界框；

(2-6)对包含有行人的边界框进行去重，去除重复的区域；

(2-7)用矩形框在图片中标出行人，得到最终行人检测框。