CN109902576B - 一种头肩图像分类器的训练方法及应用 - Google Patents

Abstract

本发明涉及一种头肩图像分类器的训练方法及应用，包括：获取人体姿态数据集，包括多张人体样本图片以及每一张样本图片对应的人体头肩标注数据；通过并行算法，同步得到每一张人体样本图片对应的聚合通道特征图及降采样聚合通道特征图；基于特征图，确定正检测窗口组及其对应的正特征向量组以及负检测窗口组及其对应的负特征向量组；基于正特征向量组和负特征向量组，对增强决策树进行多阶段训练，得到头肩图像分类器。本发明通过并行算法，提高了头肩检测速度，能够在视频流中实时进行头肩检测；利用包含多个特征通道的特征图进行训练，训练得到的分类器结果更加可靠；对增强决策树进行多阶段的训练，极大提高了头肩图像分类器的识别精度。

Description

一种头肩图像分类器的训练方法及应用

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种头肩图像分类器的训练方法及应用。

背景技术

人体检测是计算机视觉中的重要研究课题，被广泛应用于智能视频监控、车辆辅助驾驶、智能交通、人机协作智能机器人等领域。主流的行人检测方法分为基于人工图像特征的统计学习方法和基于人工神经网络的深度学习方法。统计学习方法对于人体目标的对数平均漏检率一般为15％左右，可以在CPU上进行实时检测，但是易受遮挡的影响。而深度学习方法的对数平均漏检率低至7％，但是需要使用GPU进行运算，不利于在计算资源受限的嵌入式平台上实现实时检测。

因此，现有的人体检测方法存在易受遮挡影响、硬件性能要求高、难以满足人体检测模块小型化要求的问题。

发明内容

本发明提供一种头肩图像分类器的训练方法及应用，用以解决现有技术中存在的头肩检测能力不高的问题。

本发明解决上述技术问题的技术方案如下：一种头肩图像分类器的训练方法，包括：

步骤1、获取人体姿态数据集，所述人体姿态数据集包括多张人体样本图片以及每一张所述人体样本图片对应的人体头肩标注数据；

步骤2、通过多核并行算法和单指令多数据流指令集，对所述多张人体样本图片同步计算，得到每一张所述人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；

步骤3、基于所有所述聚合通道特征图和所述降采样聚合通道特征图，确定正检测窗口组及其对应的正特征向量组以及负检测窗口组及其对应的负特征向量组，其中，所述正检测窗口组表示为所述人体头肩标注数据对应的第一预设数量的检测窗口的集合，所述负检测窗口组表示为第二预设数量的不与所述人体头肩标注数据对应的检测窗口的集合；

步骤4、基于所述正特征向量组和负特征向量组，对增强决策树进行多阶段训练，得到头肩图像分类器。

本发明的有益效果是：本发明涉及的头肩图像分类器训练方法，首先，通过并行算法，充分利用处理器的多核优势和并行计算能力，对每一张人体样本图片同步进行特征图计算，提高了运行速度及视频流中实时进行头肩检测的能力。另外，对每一张聚合通道特征图进行降采样，得到每一张聚合通道特征图对应的多张降采样聚合通道特征图。直接在聚合通道特征图上进行降采样得到，这种方法的计算速度远快于在缩放后的原始图像上计算聚合通道特征图，因此这种特征图计算方式提高了运行速度及视频流中实时进行头肩检测的能力。且采用上述特征图，训练结果更加可靠，特别是对不同颜色、光照、外形的人体目标识别结果可靠。其次，本发明对增强决策树进行多阶段的训练，极大提高头肩图像分类器的识别精度。

进一步，所述多张人体样本图片包括：多种姿态和多个视角的人体样本图片。

本发明的进一步有益效果是：针对现有技术中模板匹配等基于人工图像特征的方法难以检测受遮挡人体、难以适应颜色和轮廓外形变化的问题，使用包含多姿态多视角人体图像的人体头肩数据集作为训练数据，避免由于数据来源单一导致检测方法的适应性差。

进一步，每个所述聚合通道特征图和每个所述降采样聚合通道特征图均包括十个特征通道；

则所述步骤2包括：

通过多核并行算法，对所述多张人体样本图片同步计算，得到每张所述人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图，其中，在计算每张所述聚合通道特征图和每张所述降采样聚合通道特征图时，采用单指令多数据流指令集进行计算所述十个特征通道。

本发明的进一步有益效果是：利用多核并行算法计算特征图，利用单指令多数据流指令集，计算特征图的特征通道，在大数据量的情况下极大提高数据处理的速度。

进一步，所述十个特征通道包括：三个LUV颜色空间特征对应的特征通道、一个梯度幅值特征对应的特征通道和六个梯度方向特征对应的特征通道。

本发明的进一步有益效果是：LUV颜色空间特征由原RGB图转换得到的L亮度通道和U、V颜色通道，共3个通道，主要用于检测目标的固定颜色模式。梯度幅值特征，表示图像的梯度大小，主要用于检测目标的边缘信息。梯度方向特征，表示图像梯度在各个方向上的分布，主要用于检测目标边缘的方向。通过该十个特征通道，可精确标示一图像区域。

进一步，所述步骤3包括：

步骤3.1、通过多核并行算法，对每张所述聚合通道特征图和所述降采样聚合通道特征图同步执行滑动窗口算法，并基于所述人体头肩标注数据，共确定M个正检测窗口和N个负检测窗口；

步骤3.2、从所述M个正检测窗口中选择m个正检测窗口构成正检测窗口组，并计算所述m个正检测窗口一一对应的特征向量，构成正特征向量组；

步骤3.3、从所述N个负检测窗口中选择n个负检测窗口构成负检测窗口组，并计算所述n个负检测窗口一一对应的特征向量，构成负特征向量组；

则所述步骤4包括：

步骤4.1、基于所述正特征向量组、所述负特征向量组和自适应增强训练算法，对初级增强决策树进行第一阶段训练，得到第一增强决策树；

步骤4.2、基于所述N个负检测窗口，运行所述第一增强决策树，识别出置信度高于预设值的k个负检测窗口，并计算所述k个负检测窗口对应的k个负特征向量；

步骤4.3、从所述负特征向量组中随机选择n-k个负特征向量，并与所述k个负特征向量构成新的负特征向量组，基于所述正特征向量组和所述新的负特征向量组，对所述第一增强决策树进行第二阶段训练，得到第二增强决策树；

步骤4.4、循环执行步骤4.2-步骤4.3，得到第三增强决策树和第四增强决策树，其中，下一阶段运行上一阶段训练得到的增强决策树，所述第四增强决策树即为头肩图像分类器；

其中，M、N、m、n、k均为为正整数，且M>m，N>n，N>k。

本发明的进一步有益效果是：首先同样通过多核并行算法，并行执行滑动窗口算法，确定每个特征图的检测窗口，极大提高数据处理速度。需要说明的是，正检测窗口和负检测窗口可随机选择，也可按照实际要求选择。基于正特征向量组和负特征向量组，对增强决策树进行训练，其中，第二次训练开始，每次训练之前，需要基于新的负检测窗口对上一阶段训练得到的增强决策树进行验证，找到可疑的目标检测窗口(即置信度较高的检测窗口)，并将其作为该阶段训练所需的负检测窗口，循环四次，极大提高头肩图像分类器的目标识别精度。

进一步，所述第一增强决策树包括64个级联的弱分类器，所述第二增强决策树包括256个级联的弱分类器，所述第三增强决策树包括1024个级联的弱分类器，所述第四增强决策树包括4096个级联的弱分类器。

本发明的进一步有益效果是：第一增强决策树包含较少的弱分类器，用于初步提取较为适用范围广、通用性强的弱分类器，第二到第四增强决策树中的弱分类器数量逐渐增加，起到了对上一增强决策树的分类结果查错补漏的作用，可以提升目标识别精度。同时，最终采用的第四增强决策树先后包含了第一到第三增强决策树的64、256-64、1024-256个弱分类器，上述每个阶段对应的弱分类器的个数是较优的。在应用分类器进行目标识别的过程中，首先计算的第一增强决策树对应的弱分类器由于数量少、适用范围广、通用性强，可以对检测窗口进行初筛，快速排除与人体头肩样本完全不类似的检测窗口；下一增强决策树对应的弱分类器只需要计算经过上一增强决策树对应的弱分类器筛除后的检测窗口，即数量较少的检测窗口。这样，达到了减少所有检测窗口需要计算的弱分类器平均数量，可以极大提升目标识别的速度。

本发明还提供一种实时人体头肩检测方法，包括：

步骤1、获取待检测图像，对所述待检测图像进行缩放处理，得到多个分辨率不同的尺度图像；

步骤2、通过多核并行算法和单指令多数据流指令集，计算每一张所述尺度图像的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；

步骤3、通过滑动窗口算法，得到每一张所述聚合通道特征图和每一张所述降采样聚合通道特征图的检测窗口并计算特征向量；

步骤4、基于如上所述的训练方法训练得到的头肩图像分类器，对每一个所述特征向量进行识别，得到置信度超过预设值的目标特征向量，并将所述目标特征向量对应的检测窗口确定为候选检测窗口；

步骤5、基于非极大值抑制算法，融合所述待检测图像中每个检测目标对应的所述候选检测窗口，得到人体头肩目标。

本发明的有益效果是：本发明采用通过机器学习的方法训练得到的头肩图像分类器，并计算待检测图像中人体头肩的图像特征，来检测静态图像中的头肩目标，可应用于室内办公场景的人体头肩检测。其中，通过多核并行算法，可极大提高检测效率，可应用于计算资源受限的嵌入式平台，提高了该检测方法的应用范围。该方法可使得嵌入式平台具备在视频流中实时进行头肩检测的能力，能够实现图像采集和人体检测一体化的小型嵌入式人体感知模块，可应用于人体检测、智能视频监控以及车辆辅助驾驶等领域。

进一步，所述步骤2采用如上所述的方法；所述步骤3采用如上步骤3.1.所述的方法。

进一步，所述步骤5包括：

步骤5.1、选择置信度最高的所述候选检测窗口，并标记为主要候选窗口，遍历置信度小于该主要候选窗口的所述候选检测窗口，确定与该主要候选窗口的置信度重合率大于预设值的候选检测窗口，并标记为该主要候选窗口的从候选窗口；

步骤5.2、将该主要候选窗口及其对应的从候选窗口，构成一组候选窗口组，并对其他所述候选检测窗口重复执行所述步骤5.1，直至每个所述候选检测窗口均已归组，并执行步骤5.3，其中，每组所述候选窗口组对应所述待检测图像中的一个检测目标；

步骤5.3、对每组计算所有候选窗口的位置和尺寸的加权平均值，并作为该组对应的检测目标的位置和尺寸，并将置信度的最大值作为该检测目标对应的置信度。

本发明的进一步有益效果是：对于每一个检测目标，都对应有一组计算得到的候选窗口，该组候选窗口在位置上是临近的，对该组候选窗口进行融合，包括：对位置和尺寸加权平均得到新的位置和尺寸，作为融合的窗口的位置和尺寸，并选择该组候选窗口中最大置信度作为融合的窗口置信度。完成一个检测目标对应的融合窗口的确定，进而完成该检测目标的位置识别，精度高，速度快。

本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上所述的头肩图像分类器的训练方法和/或如上所述的实时人体头肩检测方法。

附图说明

图1为本发明一个实施例提供的一种头肩图像分类器的训练方法的流程示意图；

图2为本发明另一个实施例提供的并行计算聚合通道特征图的示意图；

图3为本发明一个实施例提供的一种实时人体头肩检测方法的流程示意图；

图4为本发明另一个实施例提供的一种实时人体头肩检测方法中的误检率-漏检率结果示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

一种头肩图像分类器的训练方法100，如图1所示，包括：

步骤110、获取人体姿态数据集，人体姿态数据集包括多张人体样本图片以及每一张人体样本图片对应的人体头肩标注数据；

步骤120、通过多核并行算法和单指令多数据流指令集，对多张人体样本图片同步计算，得到每一张人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；

步骤130、基于所有聚合通道特征图和降采样聚合通道特征图，确定正检测窗口组及其对应的正特征向量组以及负检测窗口组及其对应的负特征向量组，其中，正检测窗口组表示为人体头肩标注数据对应的第一预设数量的检测窗口的集合，负检测窗口组表示为第二预设数量的不与人体头肩标注数据对应的检测窗口的集合；

步骤140、基于正特征向量组和负特征向量组，对增强决策树进行多阶段训练，得到头肩图像分类器。

需要说明的是，步骤110中，人体头肩标注数据是根据人体样本图片中的标注数据以及头部在人体样本图片中的区域坐标生成的头肩坐标数据。其中，标注数据描述了人体样本图片中人体关节和骨架所在的像素坐标。另外，可先基于筛选规则(按照训练及头肩检测所需)，对人体姿态数据集中的人体样本图片先进行筛选，具体可为：遍历人体姿态数据集中的每一个人体样本图片，根据标注数据，检查头部是否高于肩部，排除处于倒立等非正常姿态的人体样本图片；检查躯干的倾斜角度，排除躯干左右倾斜过大的人体样本图片；检查躯干长度与头部宽度的比例关系，排除躯干前后倾斜过大的人体样本图片；排除尺寸过小或过于靠近边缘的人体样本；得到姿态、尺寸符合要求的人体样本图片。

其次，利用多核并行算法，计算每一张人体样本图片对应的聚合通道特征图，并对每一张聚合通道特征图降采样，得到多个尺度下的降采样聚合通道特征图，从而得到每一张聚合通道特征图对应的多张降采样聚合通道特征图。具体并行方式，可根据实际情况确定，如图2所示，每一分辨率下，对所有特征图使用同一线程，其中，图中实际特征图即为聚合通道特征图，估计特征图为降采样聚合通道特征图。

利用CPU核心的单指令多数据流指令集，计算每一张特征图中的各个特征通道，用以计算特征向量。

本实施例涉及的头肩图像分类器训练方法，首先，通过并行算法，充分利用处理器的多核优势和并行计算能力，对每一张人体样本图片同步进行特征图计算，提高了运行速度及视频流中实时进行头肩检测的能力。另外，对每一张聚合通道特征图进行降采样，得到每一张聚合通道特征图对应的多张降采样聚合通道特征图，训练结果更加可靠，特别是对不同颜色、光照、外形的人体目标识别结果可靠。其次，本发明对增强决策树进行多阶段的训练，极大提高头肩图像分类器的头肩识别精度。

对于部分分辨率的特征图，直接在聚合通道特征图上进行降采样得到，这种方法的计算速度远快于在缩放后的原始图像上计算聚合通道特征图，因此这种两阶段的特征图计算方式提高了运行速度及视频流中实时进行头肩检测的能力。

实施例二

在实施例一的基础上，多张人体样本图片包括：多种姿态和多个视角的人体样本图片。

本实施例针对现有技术中模板匹配等基于人工图像特征的方法难以检测受遮挡人体、难以适应颜色和轮廓外形变化的问题，使用包含多姿态多视角人体图像的人体头肩数据集作为训练数据，避免由于数据来源单一导致检测方法的适应性差。

实施例三

在实施例一或实施例二的基础上，每个聚合通道特征图和每个降采样聚合通道特征图均包括十个特征通道；

则步骤120包括：

通过多核并行算法，对多张人体样本图片同步计算，得到每张人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图，其中，在计算每张聚合通道特征图和每张降采样聚合通道特征图时，采用单指令多数据流指令集进行计算上述十个特征通道。

利用多核并行算法计算特征图，利用单指令多数据流指令集，计算特征图的特征通道，在大数据量的情况下极大提高数据处理的速度。

实施例四

在实施例一至实施例三中任一实施例的基础上，十个特征通道包括：三个LUV颜色空间特征对应的特征通道、一个梯度幅值特征对应的特征通道和六个梯度方向特征对应的特征通道。

采用了包含颜色特征、梯度方向特征与梯度幅值特征共十个特征通道来进行人体头肩的特征提取。LUV颜色空间特征由原RGB图转换得到的L亮度通道和U、V颜色通道，共三个通道，主要用于检测目标的固定颜色模式。梯度幅值特征，表示图像的梯度大小，主要用于检测目标的边缘信息。梯度方向特征，表示图像梯度在各个方向上的分布，主要用于检测目标边缘的方向。通过该十个特征通道，可精确标示一图像区域。本发明使用了六个通道的梯度方向特征，其方向不分正负极性。

在进行特征图的计算时，按先后顺序，计算可分为：LUV颜色空间特征通道的计算和梯度幅值与梯度方向通道的计算。在RGB图像得到LUV颜色空间特征通道的过程中，采用SIMD指令(单指令多数据集指令)，可以同时计算多个RGB像素对应的LUV颜色空间特征。梯度幅值与梯度方向通道的计算基于LUV颜色空间中的L特征通道，采用SIMD指令，可以同时计算L特征通道上多个像素位置之间梯度幅值与方向信息。

实施例五

在实施例一至实施例四中任一实施例的基础上，步骤130包括：

步骤131、通过多核并行算法，对每张聚合通道特征图和降采样聚合通道特征图同步执行滑动窗口算法，并基于人体头肩标注数据，共确定M个正检测窗口和N个负检测窗口；

步骤132、从M个正检测窗口中选择m个正检测窗口构成正检测窗口组，并计算m个正检测窗口一一对应的特征向量，构成正特征向量组；

步骤133、从N个负检测窗口中选择n个负检测窗口构成负检测窗口组，并计算n个负检测窗口一一对应的特征向量，构成负特征向量组；

则步骤140包括：

步骤141、基于正特征向量组、负特征向量组和自适应增强训练算法，对初级增强决策树进行第一阶段训练，得到第一增强决策树；

步骤142、基于N个负检测窗口，运行第一增强决策树，识别出置信度高于预设值的k个负检测窗口，并计算k个负检测窗口对应的k个负特征向量；

步骤143、从负特征向量组中随机选择n-k个负特征向量，并与k个负特征向量构成新的负特征向量组，基于正特征向量组和新的负特征向量组，对第一增强决策树进行第二阶段训练，得到第二增强决策树；

步骤144、循环执行步骤142-步骤143，得到第三增强决策树和第四增强决策树，其中，下一阶段运行上一阶段训练得到的增强决策树，所述第四增强决策树即为头肩图像分类器；

其中，M、N、m、n、k均为为正整数，且M>m，N>n，N>k。

需要说明的是，步骤132中，可对每一张人体样本图片，计算聚合通道特征金字塔，从人体姿态数据集中随机选取20000个头肩标注，从正样本图片中采集该头肩标注对应的正样本窗口，为保证对称性，将对所有正样本窗口进行复制翻转，得到共40000个头肩正样本窗口，并计算得到正样本窗口对应的特征向量。

另外，增强决策树的训练分为四个阶段，每阶段的训练中首先采集负样本窗口。在第一阶段，将所有负样本图片分割为若干个网格，随机选择50000个网格作为本阶段的负样本窗口；在第二阶段到第四阶段，为实现增强训练的效果，需筛选出较难的训练样本，故在所有负样本图片上运行前一阶段训练出的头肩图像分类器，并将检测到的疑似目标作为新的负样本窗口，共提取25000个新的负样本窗口，并从前一阶段的负样本窗口中随机选择出25000个旧的负样本窗口，合并成50000个本阶段的负样本窗口，计算得到负样本窗口对应的特征向量；将40000个正样本特征向量和50000个负样本特征向量作为训练数据，使用自适应增强训练算法，训练增强决策树。

本实施例首先通过多核并行算法，并行执行滑动窗口算法，确定每个特征图的检测窗口，极大提高数据处理速度。需要说明的是，正检测窗口和负检测窗口可随机选择，也可按照实际要求选择。基于正特征向量组和负特征向量组，对增强决策树进行训练，其中，第二次训练开始，每次训练之前，需要基于新的负检测窗口对上一阶段训练得到的增强决策树进行验证，找到可疑的目标检测窗口(即置信度较高的检测窗口)，并将其作为该阶段训练所需的负检测窗口，循环四次，极大提高头肩图像分类器的目标识别精度。

实施例六

在实施例一至实施例五中任一实施例的基础上，第一增强决策树包括64个级联的弱分类器，第二增强决策树包括256个级联的弱分类器，第三增强决策树包括1024个级联的弱分类器，第四增强决策树包括4096个级联的弱分类器。

需要说明的是，本发明实施例中，作为弱分类器的二叉决策树最多5层深。最后训练出的增强决策树由4096个弱分类器组成，保存为mat格式文件，作为最终的人体头肩分类器。其中，增强决策树由若干个弱分类器级联组成，每个弱分类器是一个深度较浅的二叉决策树，二叉决策树中的每一个树桩称为节点，每个节点有5个数据字段，分别为特征向量的索引号(整型)、特征的阈值(浮点型)、该节点的输出权值(浮点型)以及2个子节点索引号(整型)。最终的增强决策树以节点列表的形式进行保存。

第一增强决策树包含较少的弱分类器，用于初步提取较为适用范围广、通用性强的弱分类器，第二到第四增强决策树中的弱分类器数量逐渐增加，起到了对上一增强决策树的分类结果查错补漏的作用，可以提升目标识别精度。同时，最终采用的第四增强决策树先后包含了第一到第三增强决策树的64、256-64、1024-256个弱分类器，上述每个阶段对应的弱分类器的个数是较优的。在应用分类器进行目标识别的过程中，首先计算的第一增强决策树对应的弱分类器由于数量少、适用范围广、通用性强，可以对检测窗口进行初筛，快速排除与人体头肩样本完全不类似的检测窗口；下一增强决策树对应的弱分类器只需要计算经过上一增强决策树对应的弱分类器筛除后的检测窗口，即数量较少的检测窗口。这样，达到了减少所有检测窗口需要计算的弱分类器平均数量，可以极大提升目标识别的速度。

实施例七

一种基于实施例一至实施例六中任一实施例所述的训练方法训练得到的头肩图像分类器的实时人体头肩检测方法200，如图3所示，包括：

步骤210、获取待检测图像，对待检测图像进行缩放处理，得到多个分辨率不同的尺度图像；

步骤220、通过多核并行算法和单指令多数据流指令集，计算每一张尺度图像的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；

步骤230、通过滑动窗口算法，得到每一张聚合通道特征图和每一张降采样聚合通道特征图的检测窗口并计算特征向量；

步骤240、基于如上所述的训练方法训练得到的头肩图像分类器，对每一个特征向量进行识别，得到置信度超过预设值的目标特征向量，并将目标特征向量对应的检测窗口确定为候选检测窗口；

步骤250、基于非极大值抑制算法，融合待检测图像中每个检测目标对应的候选检测窗口，得到人体头肩目标。

需要说明的是，步骤210可具体包括：

S1、给定检测窗口分辨率height_window×width_window，根据待检测图像的分辨率height_image×width_image，计算最大比例系数

尺度组数n_group＝floor(scale_max)，并将n_group个尺度组分别编号为1、2…n_group；

S2、对于编号为i的尺度组，将待检测图像缩小到分辨率

并将尺度图像编号为image_i；

S3、对所有n_group个尺度组，重复执行S2，获得对应于n_group个尺度组的n_group个尺度图像：

步骤220可具体包括：利用多核并行算法，在多个CPU核心上，对步骤1得到的n_group个尺度图像，同步计算一一对应的聚合通道特征图，如图2所示。

另外，降采样聚合通道特征图的计算可具体包括：

A1、编号为i的尺度组包含n_octave个尺度，分别编号为i.1、i.2…i.n_octave,其中，尺度i.1对应于聚合通道特征图feature_i，并从聚合通道特征图feature_i降采样得到尺度i.2、i.3…i.n_octave对应的降采样聚合通道特征图

分辨率分别为

A2、对所有n_group个尺度组，重复执行A1，获得对应于n_group个尺度组的n_group×(n_octave-1)个降采样聚合通道特征图。

需要说明的是，可将所有尺度组对应的聚合通道特征图以及降采样聚合通道特征图，根据分辨率从低到高的顺序，组合得到对应于待检测图像的聚合通道特征金字塔，以便后续目标的定位。

则步骤230包括：对于聚合通道特征金字塔中的每一张特征图，其分辨率为height_feature×width_feature，给定检测窗口的分辨率为height_window×width_window，则将该特征图分割为height_feature-height_window+1行width_feature-width_window+1列，共(height_feature-height_window+1)×(width_feature-width_window+1)个检测窗口，第i行第j列的检测窗口的左上角坐标为(i,j)。在每一张特征图上，截取与检测窗口位置相对应的部分特征图，并将部分特征图中不同的特征通道，合并到一个向量中，得到与该检测窗口对应的聚合通道特征向量

例如，计算聚合通道特征金字塔，包括如下：

聚合通道特征金字塔由多个尺度组成。为了加速特征图的运算，仅在聚合通道特征金字塔的二倍数尺度上(1倍、0.5倍、0.25倍等)计算实际特征图(聚合通道特征图)。二倍数尺度的实际特征图是通过降采样原始RGB图像到相应尺寸，然后在缩小后的图像上计算聚合通道特征得到的；而其余尺度的估计特征图(降采样聚合通道特征图)直接从二倍数尺度的实际特征图上根据幂法则进行减采样得到。尺度的数量根据图像的尺寸和检测窗口的尺寸决定。实际特征图和估计特征图构成聚合通道特征金字塔。

本发明实施例中，每二倍数采样8个尺度，其中1个实际特征图由原图运算得到，另外7个尺度的估计特征图是从实际特征图根据幂法则进行降采样得到。因此，对于图像尺寸为320x240，检测窗口尺寸为40×40的情况，尺度数量为log₂(240/40)*8+1≈22。程序需要计算每个尺度上的10个通道特征，分别为：Y、U、V颜色通道，梯度幅值通道以及6个梯度方向通道。检测窗口的尺寸设定为40×40像素(这是综合考虑检测准确性和最大检测距离后的结果)。

由于多个二倍数尺度下的特征图计算是相互独立的，因此可使用Intel TBB并行计算库的parallel_for库函数，进行多核并行运算，充分发挥多核处理器的优势。嵌入式平台所使用的基于ARM Cortex-A53的微处理器，其内核版本为ARM v7l，支持NEON指令集，可进行单指令多数据流(Single instruction,multiple data，SIMD)的单核并行运算，以加快特征图的计算。

特征图的计算，按先后顺序分为：LUV颜色空间特征通道的计算和梯度幅值与梯度方向通道的计算，具体计算过程同实施例四，在此不再赘述。

在计算完所有尺度下的特征图后，程序将平滑每个特征图，并在每个特征图的四边通过复制或零填充的方式，增加6个像素的大小，也就是检测框外尺寸和内尺寸之间的差，以保证检测框可以覆盖特征图的每个部分。这一步同样采用了parallel_for库函数进行了多核并行优化。

另外，遍历聚合通道特征金字塔，应用头肩图像分类器来检测目标，具体包括如下：

头肩图像分类器所使用的增强决策树的输入数据为一个高维特征向量(即聚合通道特征图或降采样聚合通道特征图)。该特征向量是从聚合通道特征金字塔中提取出的一特征图，其位置对应于检测框所在的区域。本发明实施例的头肩特征向量共有10_通道*(40/2)_宽*(40/2)_高＝4000个维度。增强决策树中的弱分类器是输出为浮点型权值的二叉决策树，权值可能为正或负值。从二叉决策树的根节点开始，根据该节点的给定阈值与特征向量的指定维度的特征值之间的大小关系，选择对应的左子节点或右子节点，并在子节点上重复这一步骤，直到该节点不存在子节点。然后，将该节点对应的权值作为该弱分类器的输出值，输出的权值带有符号，权值越大说明检测框是待检测目标的概率越大。

并行程序将在聚合通道特征金字塔中每个尺度下的聚合通道特征图上分别进行滑动窗口检测。对于每个检测框，按次序遍历增强决策树中的每个弱分类器，求出该检测框在每个弱分类器下的权值，并对该权值累积求和。若权值之和小于给定负阈值，说明检测框是待检测目标的概率极小，立即停止遍历，跳过该检测框；若遍历通过了所有的弱分类器，且权值之和大于给定阈值，说明检测框是待检测目标的概率大，输出其权值之和作为置信度，记为候选检测框，否则抛弃该检测框。程序对不同检测框的判定是相互独立的，为加快检测效率，对不同尺度下的特征图以及一张特征图上的不同行，采用parallel_for库函数进行了多核并行加速。

由于使用了级联的检测方法，根据检测框与待检测目标之间的相似性，判定每个检测框所需要计算的弱分类器数量不同。因此对于不同的输入图片，检测所需时间可能相差近百倍。在典型情况下，检测所需时间与检测到的候选检测框数量成正比例关系。

本实施例使用非极大值抑制(NMS)算法融合候选检测框，以优化检测结果，将候选检测框按置信度从高至低排序，并全部标记为主要候选框；然后，遍历所有的主要候选框，对于每个主要候选框，遍历其余置信度低于该候选框的主要候选框，若二者的重合率大于65％，则将置信度较低的候选框标记为次要候选框，遍历完毕后，得到若干个主要候选框(代表有若干待检测目标)；接下来，将每一个主要候选框作为一类，将所有次要候选框放入到与其重合率最高的主要候选框类中；最后，融合每一类的所有候选框，以这些候选框的置信度作为权值，将位置和尺寸的加权平均值作为融合后的位置和尺寸，取候选框置信度的最大值作为融合后的置信度。

本实施例采用通过机器学习的方法训练得到的头肩图像分类器，并计算待检测图像中人体头肩的图像特征，来检测静态图像中的头肩目标，可应用于室内办公场景的人体头肩检测。其中，通过多核并行算法，可极大提高检测效率，可应用于计算资源受限的嵌入式平台，提高了该检测方法的应用范围。该方法可使得嵌入式平台具备在视频流中实时进行头肩检测的能力，能够实现图像采集和人体检测一体化的小型嵌入式人体感知模块，可应用于人体检测、智能视频监控以及车辆辅助驾驶等领域。

实施例八

在实施例七的基础上，步骤220采用如实施例三步骤120所述的方法；步骤230采用如实施例五中步骤131所述的方法。即对聚合通道特征金字塔中的每一张特征图使用并行滑动窗口算法，得到多个检测窗口，并对每一个检测窗口对应的聚合通道特征向量进行识别，判断是否为候选头肩目标窗口。

具体方法和有益效果在此不再赘述。

每个尺度图像对应的聚合通道特征图包含LUV颜色空间特征通道、梯度幅值特征通道以及梯度方向特征通道。聚合通道特征图的分辨率与对应的尺度图像相同。对于聚合通道特征图中的每种特征通道，都利用CPU核心的单指令多数据流指令集进行计算。

实施例九

在实施例七或实施例八的基础上，步骤250包括：

步骤251、选择置信度最高的候选检测窗口，并标记为主要候选窗口，遍历置信度小于该主要候选窗口的所述候选检测窗口，确定与该主要候选窗口的置信度重合率大于预设值的候选检测窗口，并标记为该主要候选窗口的从候选窗口；

步骤252、将该主要候选窗口及其对应的从候选窗口构成一组候选窗口组，并对其他候选检测窗口重复执行步骤251，直至每个候选检测窗口均已归组，并执行步骤253，其中，每组候选窗口组对应待检测图像中的一个检测目标；

步骤253、对每组，计算该组中所有候选窗口的位置和尺寸的加权平均值，并作为该组对应的检测目标的位置和尺寸，并将置信度的最大值作为该检测目标对应的置信度。

需要说明的是，置信度重合率对应的预设值可为65％。

本实施例对于每一个检测目标，都对应有一组计算得到的候选窗口，该组候选窗口在位置上是临近的，对该组候选窗口进行融合，包括：对位置和尺寸加权平均得到新的位置和尺寸，作为融合的窗口的位置和尺寸，并选择该组候选窗口中最大置信度作为融合的窗口置信度。完成一个检测目标对应的融合窗口的确定，进而完成该检测目标的位置识别，精度高，速度快。

例如，本发明实施例优选了INRIA行人检测数据集用于验证头肩检测的效果。INRIA行人检测数据集分为训练集和测试集两个部分，测试集中共有288张包含人体的正样本图片。由于INRIA测试集中的样本为人体样本，与检测目标人体头肩部分不符。因此将其中的人体标注框裁剪为其顶部三分之一的区域，作为头肩标注框，修改后的测试样本集在下文中简写为INRIA-1/3数据集。

首先，在所有正样本图片上分别运行ACF头肩检测器，对比测试集标注和头肩检测结果。若某个头肩检测结果与任何一个标注框的重合面积大于头肩检测结果面积的50％，则认为二者匹配。

匹配失败的检测结果记为误检，即FP(False Positive，被判定为正样本，但事实上是负样本)。匹配成功的标注框记为TP(True Positive，被判定为正样本，事实上也是正样本)。若标注框没有与检测结果匹配，则记为漏检，即FN(False Negative，被判定为负样本，但事实上是正样本)。

误检率以FPPI(False Positive Per Image，每图片平均误检数)方式进行定义。漏检率(Miss Rate，MR)定义为

验证ACF头肩检测器的最后一步是剔除置信度低于阈值的检测结果。不同的置信度阈值将产生不同检测结果，使FPPI和MR发生变化。若将不同置信度阈值下的FPPI与MR绘制为曲线，则称为ROC曲线(Receiver Operating Characteristic)，常用于评价检测器的检测效果，如图4所示。ROC曲线越靠近左下角检测效果越好。图例中的百分比数值表示对应ROC曲线的对数平均漏检率。图4中1号曲线代表本发明实施例的头肩检测器在INRIA-1/3数据集上的ROC曲线，对数平均漏检率为32.15％。

由于INRIA测试集有部分图像样本缺少对人体头肩图像的标注，部分未标注的人体头肩图像会被作为误检样本，导致误检率虚高。为解决这个问题，本发明实施例重新标注了INRIA测试集中的头肩图像，重标注后的头肩数据集在下文中简写为INRIA-HS(INRIA-Head-Shoulder)。图4中2号曲线代表ACF头肩检测器在INRIA-HS数据集上的ROC曲线，对数平均漏检率为41.22％。

若忽略INRIA-HS数据集中高度小于50像素的头肩样本，对应的ROC曲线为图4中3号曲线，对数平均漏检率为16.61％。与包含小尺寸头肩样本的INRIA-HS数据集相比，漏检率下降了很多。这说明本发明实施例的头肩检测器对小尺寸的头肩图像检测效果不佳。

本发明实施例优选的模块，由博通BCM2837微处理器(四核1.2GHz ARM Cortex-A53)、1GB的LPDDR2内存以及带有广角镜头的摄像头组成。使用该模块运行本发明实施例的嵌入式头肩检测程序，对于单幅320x240像素的图像，当画面中没有待检测目标和疑似待检测目标的物体，检测仅需9～15ms；当存在人体头肩目标时，每多一个候选检测框，检测耗时增加约2ms。采用优化后的聚合通道特征金字塔程序，计算特征耗时仅需38ms左右，满足实时性的要求。

表1嵌入式实时头肩检测耗时

对于多视角、多姿态的场景，本发明实施例的头肩检测模块均可以准确检测出的人体头肩目标。同时，正确头肩目标与错误头肩目标之间的置信度相差较多，可以准确区分。在弱光环境下，本发明实施例的头肩检测模块也可以检测到人体头肩目标，当目标较远时，在图像分辨率增加到640x480后，也可以有效检测人体头肩目标。

实施例十

一种存储介质，该存储介质中存储有指令，当计算机读取该指令时，使计算机执行如实施例一至实施例六任一实施例所述的头肩图像分类器的训练方法和/或如实施例七至实施例九中任一实施例所述的实时人体头肩检测方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种头肩图像分类器的训练方法，其特征在于，包括：

步骤1、获取人体姿态数据集，所述人体姿态数据集包括多张人体样本图片以及每一张所述人体样本图片对应的人体头肩标注数据；

步骤2、通过多核并行算法和单指令多数据流指令集，对所述多张人体样本图片同步计算，得到每一张所述人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；其中，所述多张降采样聚合通道特征图是从二倍数尺度的所述聚合通道特征图上根据幂法则进行减采样得到；

步骤3、基于所有所述聚合通道特征图和所述降采样聚合通道特征图，确定正检测窗口组及其对应的正特征向量组以及负检测窗口组及其对应的负特征向量组，其中，所述正检测窗口组表示为所述人体头肩标注数据对应的第一预设数量的检测窗口的集合，所述负检测窗口组表示为第二预设数量的不与所述人体头肩标注数据对应的检测窗口的集合；

步骤4、基于所述正特征向量组和所述负特征向量组，对增强决策树进行多阶段训练，得到头肩图像分类器；

所述获取人体姿态数据集为通过获取原始人体姿态图像，对每张原始人体姿态图像进行缩放处理，得到多个分辨率不同的尺度图像，构成所述人体姿态数据集，具体为：

S1、给定检测窗口分辨率height_window×width_window，根据每张原始人体姿态图像的分辨率height_image×width_image，计算最大比例系数

尺度组数n_group＝floor(scale_max)，并将n_group个尺度组分别编号为1、2…n_group；

S2、对于编号为i的尺度组，将该原始人体姿态图像缩小到分辨率

并将尺度图像编号为image_i；

S3、对所有n_group个尺度组，重复执行S2，获得该原始人体姿态图像对应于n_group个尺度组的n_group个尺度图像：

另外，所述步骤3包括：

步骤3.1、通过多核并行算法，对每张所述聚合通道特征图和所述降采样聚合通道特征图同步执行滑动窗口算法，并基于所述人体头肩标注数据，共确定M个正检测窗口和N个负检测窗口；

步骤3.2、从所述M个正检测窗口中选择m个正检测窗口构成正检测窗口组，并计算所述m个正检测窗口一一对应的特征向量，构成正特征向量组；

步骤3.3、从所述N个负检测窗口中选择n个负检测窗口构成负检测窗口组，并计算所述n个负检测窗口一一对应的特征向量，构成负特征向量组；

则所述步骤4包括：

步骤4.1、基于所述正特征向量组、所述负特征向量组和自适应增强训练算法，对初级增强决策树进行第一阶段训练，得到第一增强决策树；

步骤4.2、基于所述N个负检测窗口，运行所述第一增强决策树，识别出置信度高于预设值的k个负检测窗口，并计算所述k个负检测窗口对应的k个负特征向量；

步骤4.3、从所述负特征向量组中随机选择n-k个负特征向量，并与所述k个负特征向量构成新的负特征向量组，基于所述正特征向量组和所述新的负特征向量组，对所述第一增强决策树进行第二阶段训练，得到第二增强决策树；

步骤4.4、循环执行步骤4.2～步骤4.3，得到第三增强决策树和第四增强决策树，其中，下一阶段运行上一阶段训练得到的增强决策树，所述第四增强决策树即为头肩图像分类器；

其中，M、N、m、n、k均为为正整数，且M>m，N>n，N>k；

每个增强决策树包括多个级联的弱分类器，且后一增强决策树比前一增强决策树中的弱分类器数目多。

2.根据权利要求1所述的一种头肩图像分类器的训练方法，其特征在于，所述多张人体样本图片包括：多种姿态和多个视角的人体样本图片。

3.根据权利要求1所述的一种头肩图像分类器的训练方法，其特征在于，每个所述聚合通道特征图和每个所述降采样聚合通道特征图均包括十个特征通道；

则所述步骤2包括：

通过多核并行算法，对所述多张人体样本图片同步计算，得到每张所述人体样本图片对应的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图，其中，在计算每张所述聚合通道特征图和每张所述降采样聚合通道特征图时，采用单指令多数据流指令集进行计算所述十个特征通道。

4.根据权利要求3所述的一种头肩图像分类器的训练方法，其特征在于，所述十个特征通道包括：三个LUV颜色空间特征对应的特征通道、一个梯度幅值特征对应的特征通道和六个梯度方向特征对应的特征通道。

5.根据权利要求1至4任一项所述的一种头肩图像分类器的训练方法，其特征在于，所述第一增强决策树包括64个级联的弱分类器，所述第二增强决策树包括256个级联的弱分类器，所述第三增强决策树包括1024个级联的弱分类器，所述第四增强决策树包括4096个级联的弱分类器。

6.一种实时人体头肩检测方法，其特征在于，包括：

步骤1、获取待检测图像，对所述待检测图像进行缩放处理，得到多个分辨率不同的尺度图像；

步骤2、通过多核并行算法和单指令多数据流指令集，计算每一张所述尺度图像的聚合通道特征图及该聚合通道特征图对应的多张降采样聚合通道特征图；

步骤3、通过滑动窗口算法，得到每一张所述聚合通道特征图和每一张所述降采样聚合通道特征图的检测窗口并计算特征向量；

步骤4、基于权利要求1至5任一项所述的训练方法训练得到的头肩图像分类器，对每一个所述特征向量进行识别，得到置信度超过预设值的目标特征向量，并将所述目标特征向量对应的检测窗口确定为候选检测窗口；

步骤5、基于非极大值抑制算法，融合所述待检测图像中每个检测目标对应的所述候选检测窗口，得到人体头肩目标。

7.根据权利要求6所述的一种实时人体头肩检测方法，其特征在于，所述步骤2采用如权利要求3所述的方法；

则所述步骤3采用如权利要求1所述步骤3.1所述的方法。

8.根据权利要求6或7所述的一种实时人体头肩检测方法，其特征在于，所述步骤5包括：

步骤5.1、选择置信度最高的所述候选检测窗口，并标记为主要候选窗口，遍历置信度小于该主要候选窗口的所述候选检测窗口，确定与该主要候选窗口的置信度重合率大于预设值的候选检测窗口，并标记为该主要候选窗口的从候选窗口；

步骤5.2、将该主要候选窗口及其对应的从候选窗口，构成一组候选窗口组，并对其它所述候选检测窗口重复执行所述步骤5.1，直至每个所述候选检测窗口均已归组，并执行步骤5.3，其中，每组所述候选窗口组对应所述待检测图像中的一个检测目标；

步骤5.3、对每组计算所有候选窗口的位置和尺寸的加权平均值，并作为该组对应的检测目标的位置和尺寸，并将置信度的最大值作为该检测目标对应的置信度。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至5中任一项所述的头肩图像分类器的训练方法和/或如权利要求6至8任一项所述的实时人体头肩检测方法。

Images