CN104850844B - 一种基于快速构建图像特征金字塔的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于快速构建图像特征金字塔的行人检测方法，包括：S1、计算该行人图像的多个通道特征C；S2、对于步骤S1中所述的多个通道特征C进行快速图像特征金字塔的构建，并得到多个尺度的图像特征；S3、构建所需的一个强分类器；S4、采用大小固定的窗口在S2中得到的多个尺度的图像特征上进行滑动扫描，每次滑动时根据S3得到的强分类器对此时窗口所在位置进行行人检测；S5、对检测窗口进行合并，最终得到一个检测结果。本发明通过近邻尺度的图像特征来直接对其它尺度的图像特征进行近似估算，达到了非常可观地减少检测器的计算量的效果，大幅度地提升了行人检测的效率。

Description

一种基于快速构建图像特征金字塔的行人检测方法

技术领域

本发明涉及模式识别与数字图像处理领域，尤其涉及一种基于快速构建图像特征金字塔的行人检测方法。

背景技术

对图像进行多分辨率、多角度的分解是一种基本的图像分析方法。显然，当表示图像的方法是过完备时，将会更为容易的从中提取出所需的视觉信息。换言之，此时通过计算得到的信息的精度更为准确。例如，构建图像特征金字塔以作为目标识别的信息来源，通过逐级计算来提高识别精度是一种非常有效的方法。但是，随着精度的增加，往往也伴随着计算量的增大。但是，对于多数视觉识别方面的应用(例如：机器人科学、人机交互、汽车安全以及移动设备领域)，总是需要更快的识别速度和较低的计算量。

对于现在大多数常用的检测器(例如通过AdaBoost算法构建的强检测器)来说，计算瓶颈主要在于对一个较高分辨率图像的图像金字塔的每一级尺度进行特征提取的这一过程。在对一个过完备表示的行人图像进行特征检测时，为了解决高精度与计算量和速度之间的平衡问题，本发明提出一种基于快速构建图像特征金字塔的行人检测方法。在本发明中，多尺度的图像特征可以通过近邻尺度的图像特征来直接进行近似估算，而不是通过对图像金字塔中每一尺度的图像分别进行计算来得到。通过本发明可以非常可观地减少检测器的计算量。

发明内容

本发明的目的在于提供一种基于快速构建图像特征金字塔的行人检测方法，旨在利用近似估算来大幅度减小相应检测器运行时所消耗的计算量，从而达到大幅度增加算法运行效率的目的。

为达到上述目的，本发明采用如下技术方案：

S1、对于给定的行人图像I，计算该行人图像图像的多个通道特征C,其中C＝Ψ(I)，Ψ是计算行人图像的通道特征的过程。其中，需要计算的通道特征C包括6个量化的梯度方向、1个归一化的梯度幅度以及3个LUV颜色通道；

S2、对于步骤S1中所述的多个通道特征C进行快速图像特征金字塔的构建，并得到多个尺度的图像特征；

S3、构建所需的一个强分类器，构成该强分类器的多个弱分类器中的决策树结构和相应的权重通过AdaBoost算法学习得到；

S4、采用大小固定的窗口在S2中得到的多个尺度的图像特征上进行滑动扫描，每次滑动时根据S3得到的强分类器对此时窗口所在位置进行行人检测；

S5、对于可能发生的对同一目标产生多个检测结果的现象，通过对检测窗口进行合并，最终得到一个检测结果。

优选地，所述步骤S2中，对行人图像I的多个通道特征进行快速图像特征金字塔的构建包括以下步骤：

S21、对于行人图像I的每组子八度层级，计算出一个尺度S(0)所对应的图像特征C_S(0)；

S22、利用近似估算来计算每组子八度层级中的其他尺度所对应的图像特征C_S(i)，其中i∈[1,7]；

S23、重复步骤S22，直至完成特征金字塔中每个尺度所对应的图像特征的计算；最后得到需要的图像特征金字塔。

优选地，所述步骤S22中，利用近似估算计算每个尺度对应的图像特征C_S(i)包括以下步骤：

S221、确定目标尺度S(i)和已经计算得到的并且距离S(i)最近的尺度S′；

S222、根据事先经过大量相似场景采集的图像数据以获取经验值λ_Ω；

S223、根据确定的目标尺度S(i)、已经计算得到的并且距离S(i)最近的尺度S′及相应的图像特征C_S'以及通过步骤S222获取的经验值λ_Ω。将这几个数据带入式(1)计算得到每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i)。

优选地，所述步骤S3中，通过AdaBoost算法学习得到决策树和相应的权重包括以下步骤：

S31、在大量场景下采集多个图像数据；

S32、将行人从S31中得到的大量图像数据中分割出来，并统一尺寸作为正样本；

S33、最开始时，每个样本对应的权重是相同的，在此样本分布下训练出一个基本的弱分类器h₁(x)；

S34、在新的样本分布下，再次对基本分类器进行训练，得到基本分类器h₂(x)及其权重；

S35、重复步骤S34，经过M次循环就得到了M个基本的弱分类器及对应的权重；最后把这M个基本的弱分类器按照一定的权重累加起来，就得到了所需的强分类器Y_M(x)。

本发明的主要观点是：多尺度的图像特征可以通过近邻尺度的图像特征来直接进行近似估算，而不是通过对图像金字塔中每一尺度的图像分别进行计算来得到。从而大幅度减少构建图像特征金字塔所需要的计算量。

与现有技术相比，本发明具有以下优点：

本发明通过近似估算的方法，达到了非常可观地减少检测器的计算量的效果。大幅度地提升了行人检测的效率。

附图说明

图1示出根据本发明优选实施例的基于快速构建图像特征金字塔的行人检测方法的流程图。

具体实施方式

下面将以一个行人检测的实例对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

为了实现行人检测算法的高效执行，在本发明优选实施例中，对于给定的行人图像，计算该图像的多个通道特征，且在构建图像特征金字塔时，通过近邻尺度的图像特征来直接进行近似估算，然后根据得到的图像特征进行检测。其特征在于，包括以下步骤：

S1、对于给定的行人图像I，计算该行人图像I的多个通道特征C,其中C＝Ψ(I)，Ψ是计算行人图像的通道特征的过程。其中，需要计算的通道特征C包括6个量化的梯度方向、1个归一化的梯度幅度以及3个LUV颜色通道；

S2、对于步骤S1中所述的多个通道特征C进行快速图像特征金字塔的构建，并得到多个尺度的图像特征；

S3、构建所需的一个强分类器，该强分类器包含多个具有决策树结构的弱分类器。例如，该强分类器包含2048个弱分类器。其中，每个弱分类器通过权重来进行线性组合构成所述强分类器。所述决策树结构和所述权重均通过AdaBoost算法学习得到；

S4、采用大小固定的窗口在S2中得到的多个尺度的图像特征上进行滑动扫描，每次滑动时根据S3得到的强分类器对此时窗口所在位置进行行人检测；

S5、对于可能发生的对同一目标产生多个检测结果的现象，通过对检测窗口进行合并，最终得到一个检测结果。合并的原则为：若两个相互重叠的检测窗口的相交面积与两个窗口中任意一个的面积的比值均大于一个阈值(优选地，将所述阈值设置为0.6)，则合并为一个检测结果，否则视为不同的目标；

所述步骤S2中，对行人图像I的多个通道特征进行快速图像特征金字塔的构建包括以下步骤：

S21、对于行人图像I的每组子八度层级(近邻的八个层级为一组子八度层级)，计算出一个尺度S(0)所对应的图像特征C_S(0)，所述C_S(0)＝Ω(R(I,S(0)))。其中，C_S(0)表示尺度S(0)下所对应的图像特征(例如梯度图)，Ω表示计算图像特征的过程，R(I,S(0))表示原行人图像I在尺度S(0)下的重采样的结果，R(I,S(0))亦可表示为I_S(0)；

S22、如式(1)所示，利用近似估算来计算每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i):

其中，i∈[1,7],S(i)是将要计算的目标尺度，S′是已经计算的并且距离S(i)最近的尺度，且满足而R(C_S',S(i)/S')表示对S′尺度下的图像特征直接进行重采样，重采样系数则根据s'和S(i)之间的关系决定，最后再乘以系数其中参数λ_Ω是根据事先经过对大量相似场景采集的图像数据训练以而获取的经验值；

S23、重复步骤S22，直至完成特征金字塔中每个尺度所对应的图像特征的计算。最后得到需要的图像特征金字塔。

所述步骤S22中，利用式(1)来计算每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i)包括以下步骤：

S221、确定目标尺度S(i)和已经计算的并且距离S(i)最近的尺度S′；

S222、根据事先经过大量相似场景采集的图像数据以获取经验值λ_Ω；

S223、根据确定的目标尺度S(i)、已经计算的并且距离S(i)最近的尺度S′及相应的图像特征C_S'以及通过步骤S222获取的经验值λ_Ω。将这几个数据带入式(1)计算得到每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i)。

所述步骤S222中，根据事先经过大量相似场景采集的图像数据以获取经验值λ_Ω包括以下步骤：

S2221、在大量场景下采集N个图像特征数据，具体数据量N根据场景复杂度、稳定性等来进行确定，但需要保证最后获取的经验值λ_Ω趋于稳定；

S2222、根据式(2)来计算比值μ_s:

其中，j表示图像特征数据的序号，而S表示任意尺度。最后求取μ_s时使用的Σ表示对所有的N个图像特征数据进行求和。

式(2)中，f_Ω(I_s)表示I在尺度S上通道特征C_s的全局均值，其表示如式(3)所示：

式(3)中，C_s即是S22中提到的所求取的行人图像I在尺度s下对应的图像特征。但需要注意的是，这里的C_S是为了求取一个在任意情况下都能使用的经验值λ_Ω，而在计算的最开始利用传统的多尺度下图像特征的计算方法计算得到的。这里是一个训练的过程，该过程结束以后，在任意情况下都可以利用得到的经验值λ_Ω通过本发明描述的方法快速地求取所需要的图像特征。其中，系数i,jk,l表示提取的特征框(因为特征框只是整个图像中的一部分)在图像中的位置，km表示阶数(例如，在使用DOG表示图像特征时，计算高斯模糊会有一个阶数参数，如果使用其他特征表示方法，没有阶数参数时可以不关注它)，h_s×w_s则代表了图像的分辨率大小。而Σ表示对行人图像I在尺度s下的所有特征框信息进行求和。

其中，若φ(I)表示图像I的统计量，E(φ(I))代表统计量φ(I)在图片集中的期望，则在任意尺度s₁和s₂上，同尺度比s₁/s₂相关，且独立于尺度值s₁与s₂。这里需要注意，尺度值s₁与s₂可以表示尺度，同时它们也是具体的数值。

设F(s)＝E(φ(I_s))，则有式(4)：

F(s₁)/F(s₂)＝G(s₁/s₂)\*MERGEFORMAT (4)

设s₁＝1，则有式(5)：

F(1)/F(s₂)＝G(1/s₂)\*MERGEFORMAT (5)

设s₁＝1，则有式(6)：

F(s₁)/F(1)＝G(s₁/1)＝G(s₁)\*MERGEFORMAT (6)

将式(5)和式(6)代入式(4)可以得到式(7)：

G(s₁/s₂)＝G(s₁)G(1/s₂)\*MERGEFORMAT (7)

定义G'(s)＝G(e^s)，则由式(7)可得式(8)：

G'(s₁+s₂)＝G'(s₁)G'(s₂)\*MERGEFORMAT (8)

若G'(s)连续且非0，则有G'(s)＝e^-λs，G(s)＝G'(ln(s))＝s^-λ，故可得期望与尺度s的关系，即为式(9)：

若统计量φ(I_s)即为上述中定义的f_Ω(I_s)，即φ(I_s)＝f_Ω(I_s)，λ_φ＝λ_Ω，则由式(9)可得式(10)：

式(10)中，ε表示数据的偏差。

当s₁＝s、s₂＝1的时候，又根据式(2)中μ_S的表示，可以得到式(11)：

并根据式(11)在多种尺度s下计算出相应的μ_S，其中E[ε]表示预期的误差；

S2223、重复步骤S2221～S2222直至多组数据拟合出的经验值λ_Ω趋于稳定。

所述步骤S3中，通过AdaBoost算法学习得到决策树和相应的权重包括以下步骤：

S31、在大量场景下采集多个图像数据，数据量应该尽可能大，以满足通过AdaBoost算法学习决策树和相应权重的要求，从而尽量提升精度；

S32、将行人从S31中得到的大量图像数据中分割出来，并统一尺寸(例如36×24，具体的尺寸根据图像大小、行人在摄像头中的成像比例等实际情况而定)作为正样本。而负样本则是从这些图像数据中分割无人区域得到的，其大小和数量与正样本一致。最终，得到大量的样本(例如，一共有30000个正负样本，具体需要的样本数量根据场景复杂度、所需精度等实际情况而定)；

S33、最开始时，每个样本对应的权重是相同的，在此样本分布下训练出一个基本的弱分类器h₁(x)，对于该分类器错分的样本，增加对应样本的权重，而对于正确分类的样本，则降低其权重，这样使得错分的样本突出出来，并得到一个新的样本分布。同时，根据错分的情况赋予该分类器一个权重，表示该分类器的重要程度，错分得越少，权重越大。

S34、在新的样本分布下，再次对基本分类器进行训练，得到基本分类器h₂(x)及其权重；

S35、重复步骤S34，经过M次循环就得到了M个基本的弱分类器及对应的权重。最后把这M个基本的弱分类器按照一定的权重累加起来，就得到了所需的强分类器Y_M(x)。步骤S34迭代的停止条件就是达到了训练样本累加分类错误率为0.0或者达到了最大的迭代次数。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于快速构建图像特征金字塔的行人检测方法，其特征在于，包括以下步骤：

S1、对于给定的行人图像I，计算该行人图像图像的多个通道特征C,其中C＝Ψ(I)，Ψ是计算行人图像的通道特征的过程；其中，需要计算的通道特征C包括6个量化的梯度方向、1个归一化的梯度幅度以及3个LUV颜色通道；

S2、对于步骤S1中所述的多个通道特征C进行快速图像特征金字塔的构建，并得到多个尺度的图像特征；

S3、构建所需的一个强分类器，构成该强分类器的多个弱分类器中的决策树结构和相应的权重通过AdaBoost算法学习得到；

S4、采用大小固定的窗口在S2中得到的多个尺度的图像特征上进行滑动扫描，每次滑动时根据S3得到的强分类器对此时窗口所在位置进行行人检测；

S5、对于可能发生的对同一目标产生多个检测结果的现象，通过对检测窗口进行合并，最终得到一个检测结果；

所述步骤S2中，对行人图像I的多个通道特征进行快速图像特征金字塔的构建包括以下步骤：

S21、对于行人图像I的每组子八度层级，计算出一个尺度S(0)所对应的图像特征C_S(0)，所述C_S(0)＝Ω(R(I,S(0)))，其中，C_S(0)表示尺度S(0)下所对应的图像特征，Ω表示计算图像特征的过程，R(I,S(0))表示原行人图像I在尺度S(0)下的重采样的结果，R(I,S(0))亦可表示为I_S(0)；

S22、利用近似估算来计算每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i):C_S(i)＝R(C_S’，S(i)/S′)(S(i)/S′)^-λΩ；其中，i∈[1,7],S(i)是将要计算的目标尺度，S′是已经计算的并且距离S(i)最近的尺度，而R(C_S',S(i)/S')表示对S′尺度下的图像特征直接进行重采样，重采样系数则根据s'和S(i)之间的关系决定，最后再乘以系数(S(i)/S′)^-λΩ，其中参数λ_Ω是根据事先经过对大量相似场景采集的图像数据训练以而获取的经验值；

S23、重复步骤S22，直至完成特征金字塔中每个尺度所对应的图像特征的计算；最后得到需要的图像特征金字塔；

所述步骤S22中，利用近似估算计算每个尺度对应的图像特征C_S(i)包括以下步骤：

S221、确定目标尺度S(i)和已经在步骤S21中计算得到的并且距离S(i)最近的尺度S′；

S222、根据事先经过大量相似场景采集的图像数据以获取经验值λ_Ω；

S223、根据确定的目标尺度S(i)、已经计算得到的并且距离S(i)最近的尺度S′及相应的图像特征C_S'以及通过步骤S222获取的经验值λ_Ω；将这几个数据带入式计算得到每组子八度层级中其他尺度S(i)所对应的图像特征C_S(i)；

所述步骤S222中，根据事先经过大量相似场景采集的图像数据以获取经验值λ_Ω包括以下步骤：

S2221、在大量场景下采集N个图像特征数据；

S2222、根据式来计算比值μ_s，其中，j表示图像特征数据的序号，而S表示任意尺度，f_Ω(I_S)表示I在尺度S上通道特征C_S的全局均值，其表示如式所示，C_s为行人图像I在尺度S下对应的图像特征，k和l表示提取的特征框在图像中的位置，m表示阶数，h_S×w_S为图像的分辨率大小；

其中，若φ(I)表示图像I的统计量，E(φ(I))代表统计量φ(I)在图片集中的期望，则在任意尺度S₁和S₂上，同尺度比S₁/S₂相关，且独立于尺度值S₁与S₂；设F(s)＝E(φ(I_S))，则有式F(S₁)/F(S₂)＝G(S₁/S₂)，设S₁＝1，则有式F(1)/F(S₂)＝G(1/S₂)，设S₂＝1，则有式F(S₁)/F(1)＝G(S₁/1)＝G(S₁)，将上式代入计算可以得到式G(S₁/S₂)＝G(S₁)G(1/S₂)，定义G'(S)＝G(e^s)，则可得式，G'(S₁+S₂)＝G'(S₁)G'(S₂)，若G'(s)连续且非0，则有G'(S)＝e^-λs，G(S)＝G'(ln(S))＝S^-λ，故可得期望与尺度S的关系，即为式统计量φ(I_S)即为上述中定义的f_Ω(I_S)，即φ(I_S)＝f_Ω(I_S)，λ_φ＝λ_Ω，则可得式其中，ε表示数据的偏差，当S₁＝S、S₂＝1的时候，可以得到式据此在多种尺度S下计算出相应的μ_S，其中E[ε]表示预期的误差；

S2223、重复步骤S2221～S2222直至多组数据拟合出稳定的经验值λ_Ω。

2.根据权利要求1所述的一种基于快速构建图像特征金字塔的行人检测方法，其特征在于，所述步骤S3中，通过AdaBoost算法学习得到决策树和相应的权重包括以下步骤：

S31、在大量场景下采集多个图像数据；

S32、将行人从S31中得到的大量图像数据中分割出来，并统一尺寸作为正样本；

S33、最开始时，每个样本对应的权重是相同的，在此样本分布下训练出一个基本的弱分类器h₁(x)；

S34、在新的样本分布下，再次对基本分类器进行训练，得到基本分类器h₂(x)及其权重；

S35、重复步骤S34，经过M次循环就得到了M个基本的弱分类器及对应的权重；最后把这M个基本的弱分类器按照一定的权重累加起来，就得到了所需的强分类器Y_M(x)。