CN104268583B - 基于颜色区域特征的行人重识别方法及系统 - Google Patents

Abstract

一种数字图像处理技术领域的基于在线聚类提取的颜色区域特征的行人重识别方法及系统，以只包含单个行人的矩形图像或通过跟踪结果从原始视频图像中裁取出目标矩形框作为输入图像，经前景提取和在线聚类提取得到颜色区域，再将颜色区域的统计特征作为局部特征应用于人物重识别。本发明能够充分地利用行人外貌的局部颜色分布结构信息，从而大大提高行人重识别的准确率。

Description

基于颜色区域特征的行人重识别方法及系统

技术领域

本发明涉及的是一种数字图像处理技术领域的方法及系统，具体是一种基于在线聚类提取的颜色区域特征的行人重识别方法及系统。

背景技术

在智能视频处理日益发达的现代社会，摄像头已经遍布大街小巷，对于海量的视频数据，如何智能地进行视频分析为十分重要的课题。行人检测、目标跟踪等研究领域都取得了长足的发展，而作为衔接这两个课题的人物重识别技术也在最近十年取得了飞速的发展，涌现了一大批的行人外貌特征提取和表示方法。在视频监控中，往往有成千上万个摄像头，而这些摄像头彼此之间没有交叠，那么如何将两个互不交叠的摄像头中检测出的目标联系起来，实现跨摄像头的接力跟踪就是行人重识别要解决的问题。行人重识别在安防、居家养老等方面都有巨大的应用前景。但是由于不同的摄像头安放的位置、场景不同，导致不同摄像头下的人物图像存在不同程度的颜色变化和几何变化，再加上复杂的监控场景下，行人之间存在不同程度的遮挡，使得不同摄像头下的行人重识别问题变得更加棘手。行人重识别面临的主要问题是光照、视角、姿势、遮挡等的变化，为了解决上述问题，目前针对行人重识别的研究主要分为以下两类。一类是基于底层特征提取的行人外貌特征匹配方法，它的侧重点是提取出对不同摄像头间的光照、视角、姿势、遮挡等变化具有不变性的特征，以提高行人外貌的匹配准确率。另一类方法则是对简单的欧式空间的距离比较方法进行改进，设计能够反映不同摄像头间的光照、视角、姿势、遮挡等变化的度量方法，使得即使不是很有区分度的特征，也能达到很高的匹配率。第一类方法一般是非监督的，不需要进行数据的标定，但是特征提取的方法往往比第二类方法复杂，第二类方法一般是基于学习的方法，需要进行数据的标定，但是因为它能够有监督的学习到摄像头间的变换关系，因此行人重识别的准确率一般高于第一类方法，但是这种变换关系只是针对特定的摄像机间，对于每一对摄像机都要学习它们的变换关系，使得这类方法的泛化能力不够好。

通过大量的文献检索，我们发现现有的运用底层特征匹配进行行人重识别的方法，提取的特征主要包括颜色特征(如HSV直方图，MSCR)、纹理特征(如局部二值模式LBP，Garbor filters等)，形状特征(如HOG特征)以及关键点(SIFT，SURF等)，大部分的方法是将上述几种特征进行组合，以弥补单个特征区分度和代表性不足的缺点。但是它们大多数是基于像素点的特征(MSCR除外)，而基于像素点的特征不够鲁棒且很容易受到噪声影响。此外，由于以上特征提取方法在特征提取过程中没有考虑位置信息，所以研究者们设计了一些位置对准的策略，但是仍然很难解决由行人姿势变化带来的特征位置不对准情况。经过文献检索，我们还发现，颜色特征在多数情况下，是最好的行人外貌描述特征，目前已经有研究者开始关注利用颜色的分布特征来表征行人外貌，进行行人重识别。IgorKviatkovsky等人在2013年的《IEEE Transactions on Pattern Analysis and MachineIntelligence》中的“Color Invariants for Person Reidentification”一文中，利用行人外貌颜色的多模态分布特性(multimodal distribution)，将行人的上下身颜色信息分布进行建模，再通过模型匹配进行人物重识别。这种方法虽然仅仅利用了颜色信息，却取得了很好的行人重识别效果。但是这种方法将上下身颜色的结构信息限制为椭圆形分布，而实际情况下，行人外貌的颜色分布显然不一定是上下身颜色信息简单地服从椭圆分布，因此这种方法还是没有能够充分利用颜色的局部分布信息。

中国专利文献号CN103810476A，公开(公告)日2014.05.21，公开了一种基于小群体信息关联的视频监控网络中行人重识别方法，该技术监控网络中多摄像头的行人重识别过程中，尤其是在行人特征的提取和匹配的过程中，行人的特征极易受到场景变化、光照变化的影响而造成重识别率的降低，同时大范围的监控网络中也会存在一些穿着相似的行人造成行人错误的重识别，为了提高行人的重识别率，降低外界因素对行人重识别的影响，该技术根据小群体信息的关联性，将行人小群体特征作为行人重识别的一个重要特征，主要解决视频监控网络中行人重识别准确率低、精度不高的问题。但该技术首先要对人体进行分割，并且利用了视频跟踪过程中的轨迹信息，其使用过程复杂度较高。

中国专利文献号CN104021544A公开(公告)日2014.09.03，公开了一种温室蔬菜病害监控视频关键帧提取方法及提取系统，该技术将视觉显著性与在线聚类算法相结合，首先利用X2直方图法进行帧间差异度量，剔除具有相似特征的视频帧图像对算法计算量的影响；其次将视频帧图像转到HSV颜色空间，结合温室蔬菜监控视频的特点，利用H、S通道计算视觉显著图，提取视频帧图像中的显著性区域，然后利用形态学方法对显著性区域中可能丢失的病斑信息进行修复；最终利用在线聚类算法和像素帧平均算法实现关键帧提取。该方法可以有效的获取温室蔬菜监控视频中病害的信息，为温室蔬菜病害的准确识别奠定坚实的基础。该技术得与图像处理、模式识别等技术结合的基础上，会在设施蔬菜病害识别方面有很大的贡献。但该技术需要先进行显著性区域的提取，再利用在线聚类进行关键帧的提取。而在人物重识别中，由于光照、视角、姿势等的变化，同一行人在不同摄像头下的显著性区域，往往是不相同的，因此该技术也难以适用于人物重识别领域。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于在线聚类提取的颜色区域特征的行人重识别方法及系统，能够充分地利用行人外貌的局部颜色分布结构信息，从而大大提高行人重识别的准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于在线聚类提取的颜色区域特征的行人重识别方法，以只包含单个行人的矩形图像或通过跟踪结果从原始视频图像中裁取出目标矩形框作为输入图像，经前景提取和在线聚类提取得到颜色区域，再将颜色区域的统计特征作为局部特征应用于人物重识别。所述的方法具体包括以下步骤：

步骤1)利用前景提取算法进行目标行人图像的前景背景分离，得到前景区域；

步骤2)对提取的前景区域进行在线聚类，得到原始的颜色区域；

所述的在线聚类是指：以像素为单位遍历图像，计算图像中任一一点的通道值与初始聚类中心之间的距离，以满足其与最小值之差小于聚类阈值为条件，将满足条件的像素点作为该最小值的聚类，否则作为新建聚类，同时将初始聚类中心更新为该聚类的平均值；完成遍历后同一个聚类内的像素点可以视为属于同一个颜色区域，且区域的颜色值统一为聚类中心的颜色值。

所述的通道值优选为：在lab颜色空间的(a，b)通道下的通道值。

所述的初始聚类中心是指：图像任一一个像素点的(a，b)通道值，优选为左上角且遍历结束于右下角。

步骤3)考虑空间分布和颜色距离，将相关颜色区域进行合并，得到最终的局部颜色区域；

所述的合并是指：当任两个颜色区域同时满足其之间的聚类中心颜色值的欧氏距离以及其聚类中心的平均位置的欧氏距离分别小于颜色阈值和平均位置阈值时，合并该两个颜色区域，且设置合并后区域内所有像素点的通道值的平均值为新的聚类中心。

所述的聚类中心的平均位置指的是聚类内所有像素点的坐标的平均值；

步骤4)对提取出的颜色区域进行描述，作为行人重识别的特征表达；

步骤5)利用步骤4中的特征进行行人重识别。

本发明涉及上述方法的实现装置，包括：依次连接的背景分离模块、在线聚类模块、颜色区域合并模块、特征描述模块以及重识别模块，其中：背景分离模块进行前景提取处理，并向在线聚类模块输出前景蒙版信息，在线聚类模块进行行人外貌主要颜色区域的提取处理，并向颜色区域合并模块输出初始的颜色区域信息，颜色区域合并模块对初始的颜色区域模块进行合并处理，并向特征描述模块输出最终的颜色区域信息，特征描述模块进行特征的描述与表达处理，并向重识别模块输出六维的特征向量信息，重识别模块进行行人间特征向量的匹配处理，并给出最终的重识别结果。

附图说明

图1为本发明流程图。

图2为本发明特征提取算法流程图。

图3为人物重识别常用的数据集中的随机抽取的几组待匹配的行人图像。

图4为本发明所提出的方法的可视化的识别效果图，第一列为待匹配的图像，其他列为利用本发明提取的特征，进行特征匹配后，得出的排名前十的匹配图像，第二列为按照本发明的方法得到的最匹配图像。

图5为本发明所提出的特征，应用于人物重识别时，与其他方法的准确率比较图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括以下步骤：

步骤1)利用前景提取算法进行目标行人图像的前景背景分离，得到前景区域。

步骤1具体是利用文献“Stel component analysis:Modeling spatialcorrelations in image class structure(STEL成分分析：对图像类结构的空间相关性建模)”(Jojic，N.Microsoft Res.，Redmond，WA，USA Perina，A.；Cristani，M.；Murino，V.；Frey，B.<Computer Vision and Pattern Recognition>，2009.CVPR 2009.IEEEConference 2009.6.20)中的方法，本方法直接使用了作者提供的代码进行前景分离，具体使用方法如下：

1.1)将数据集中所有的图像进行聚类(本实施例中聚类数设为128)；

1.2)再将每一幅图像的每一个像素点与聚类中心进行比较，将距离最近的距离中心号作为该像素的值，这样可以得到输入矩阵；

1.3)将得到的输入矩阵带入上述文献中所提供的scadlearn.m程序中，并对输出后验概率Qs进行二值化(本实施例将阈值设为0.5)，Qs大于阈值的点设为1，反之为0，得到前景蒙版。

1.4)将前景蒙版与原始图像逐像素相乘，可以提取出前景区域。

步骤2)对提取的前景区域进行在线聚类，得到原始的颜色区域。

所述的前景区域是由步骤1)得到的，背景区域的像素值被设为0。为了减小光照等带来的影响，在线聚类在lab颜色空间的(a，b)通道进行，所述的在线聚类方法如图2所示，具体步骤如下：

2.1)将图像左上角像素点的(a，b)通道值作为第一个聚类的聚类中心；

2.2)顺序扫描像素点(从上到下、从左到右)，并将每一个像素点(a，b)通道值与现有的聚类中心进行欧式距离比较，并找出最小距离d；

2.3)若d≤threshold1，则将当前像素点归入距离为d的聚类，并且将此聚类的聚类中心更新为类内所有像素的通道值的平均值，此处的threshold1设为15；

2.4)反之，若d＞threshold1，则初始化一个新的类，并将该聚类中心初始化为当前像素点的颜色值；

2.5)如此循环，直到计算到右下角的像素点，这样同一个聚类内的像素点可以视为属于同一个颜色区域，且区域的颜色值统一为聚类中心的颜色值。

步骤3)考虑空间分布和颜色距离，将相关颜色区域进行合并，得到最终的局部颜色区域。

由于步骤2)得到的颜色区域，仅仅考虑了颜色信息，而没有考虑到颜色的空间分布，所述的空间分布，指的是步骤2)初步得到的颜色区域间的位置信息，具体的颜色区域合并的步骤如下：

3.1)将步骤2)得到的任两个颜色区域的聚类中心颜色值进行欧式距离比较，得到dc；

3.2)将步骤2)得到的任两个颜色区域的聚类中心的平均位置进行欧氏距离比较，得到ds；

所述的聚类中心的平均位置指的是聚类内所有像素点的坐标的平均值；

3.3)若d_c＜threshold2且d_s＜threshold3则将两个颜色区域合并起来，并更新新的聚类中心为合并后的类内的所有像素的通道值的平均值，此处的threshold2设为25，threshold3设为20；

3.4)将步骤2)中的所有颜色区域都两两进行比较后，将与同一个颜色区域合并的所有区域合并为一个区域，直到得到的所有的颜色区域都无法再进行合并。

步骤4)对提取出的颜色区域进行描述，作为行人重识别的特征表达。

所述的对颜色区域进行描述，是指对于步骤3)提取出的所有颜色区域，每一个颜色区域用下述特征进行描述：

f＝(x,y,l,a,b,F) (1)

其中x,y是该颜色区域内所包含的所有像素点的平均坐标，l,a,b是该颜色区域内所包含的所有像素点的平均颜色值，而F为衡量颜色区域大小的参数，可以由下式计算得到：

其中：num是该颜色区域所包含的像素点的个数，area是该颜色区域的外接矩形的面积，具体的计算方法是得到该类所包含的所有像素点的x,y坐标的最大值x_max,y_max和最小值x_min,y_min，则area的计算方法如下：

area＝(x_max-x_min)*(y_max-y_min) (3)

其中：x,y是为了描述该颜色区域的位置信息，l,a,b是为了描述该颜色区域的平均颜色信息，而F的引入是为了避免将很大的颜色区域与很小的颜色区域进行匹配，即使二者的位置和颜色都很相似，这样可以减轻背景噪声的影响。

步骤5)利用步骤4)中的特征进行行人重识别。

如图3所示，为从人物重识别VIPER数据集中随机抽取的几组待匹配的行人图像。通过步骤4)，第i个行人可以得到K_i个特征，其中K_i对应于步骤3)中得到的第i个行人的颜色区域的个数。要实现人物重识别，则需要对不同行人的特征进行距离计算，实现匹配。具体的实现方法如下：

5.1)对于某一个数据集(如：VIPER)，将数据分成两组，每组包含所有行人的一张图片，VIPER共有612对行人，所以第一组包含612对行人的其中一幅图像，而第二组包含另一张图像，同一个行人在两组中的排列顺序相同。

5.2)将第一组的第一张图像的特征与第二组的所有图像的特征进行特征距离比较，得到距离矩阵M的第一行数据M₁，由于第二组有612个行人，所以M₁包含612个距离数据。所述的两幅图像的特征距离比较方法具体如下：

5.2.1)比较两幅图像的颜色区域的个数，得到个数较少的图像的颜色区域个数number；

5.2.2)将区域较少的图像的第一个颜色区域的特征，与区域较多的图像的所有区域的特征进行欧式距离比较，得到距离最小的区域，作为匹配的区域，并记录最小距离d1；

5.2.3)重复步骤5.2.2)，直到颜色区域个数较少的图像的每一个颜色区域都找到匹配区域，并记录最小距离d₂,d₃,...,d_number，最终得到number个距离；

5.2.4)将这number距离求平均数，作为这两幅图像的特征距离。

5.3)重复步骤5.2)直到第一组中的所有行人都与第二组进行了特征距离比较，并得到距离矩阵M₂,M₃,...,M₆₁₂，最终得到612×612大小的矩阵，其中M_i,j表示第一组中的第i个行人与第二组中的第j个行人的特征距离；

5.4)将M的每一行从小到大排序，排在第i位的距离对应的第二组中的图像，就是本方法给出的与第一组中该行所对应图像第i匹配的图像，其中排在第一列的是最匹配的图像。

上述方法可通过以下装置具体实现，该装置包括：依次连接的背景分离模块、在线聚类模块、颜色区域提取模块、特征描述模块以及重识别模块，其中：背景分离模块进行前景提取处理，并向在线聚类模块输出前景蒙版信息，在线聚类模块进行行人外貌主要颜色区域的提取处理，并向颜色区域合并模块输出初始的颜色区域信息，颜色区域合并模块对初始的颜色区域模块进行合并处理，并向特征描述模块输出最终的颜色区域信息，特征描述模块进行特征的描述与表达处理，并向重识别模块输出六维的特征向量信息，重识别模块进行行人间特征向量的匹配处理，并给出最终的重识别结果。

如图4所示，为本实施例得出的排名前十的匹配图像，第一列为待匹配图像，后面各列依次为本实施例给出的排名第一到十匹配的匹配图像，其中红框框出的为实际的匹配图像，可以看出本实施例所提出的方法能够很好的进行同一行人的识别和匹配。

如图5所示，为本实施例与其他方法的重识别准确率比较图，其中：SDALF为基于对称性进行颜色、纹理等特征的提取，并将各类特征融合进行人物重识别的方法；LDFV是利用费舍尔向量对基于像素点的特征进行特征表达，再利用欧式距离进行特征匹配的方；而bLDFV、eLDFV都是对LDFV的延伸，bLDFV是将LDFV基于像素点的特征拓展为基于小矩形区域的特征，而eLDFV是将LDFV与SDALF相结合的方法；eBiCov为利用Gabor滤波器和协方差特征，并结合SDALF进行人物重识别的方法；Proposed即本实施例准确率结果，可以看出本实施例在识别准确率上大大优于其他现有技术。

Claims (9)

1.一种基于在线聚类提取的颜色区域特征的行人重识别方法，其特征在于，以只包含单个行人的矩形图像或通过跟踪结果从原始视频图像中裁取出目标矩形框作为输入图像，经前景提取和在线聚类提取得到颜色区域，再将颜色区域的统计特征作为局部特征应用于人物重识别；

所述的在线聚类是指：以像素为单位遍历图像，计算图像中任一一点的通道值与初始聚类中心之间的距离，以满足其与最小值之差小于聚类阈值为条件，将满足条件的像素点作为该最小值的聚类，否则作为新建聚类，同时将初始聚类中心更新为该聚类的平均值；完成遍历后同一个聚类内的像素点可以视为属于同一个颜色区域，且区域的颜色值统一为聚类中心的颜色值；

当任两个颜色区域同时满足其之间的聚类中心颜色值的欧氏距离以及其聚类中心的平均位置的欧氏距离分别小于颜色阈值和平均位置阈值时，合并该两个颜色区域，且设置合并后区域内所有像素点的通道值的平均值为新的聚类中心。

2.根据权利要求1所述的方法，其特征是，所述方法具体包括以下步骤：

步骤1)利用前景提取算法进行目标行人图像的前景背景分离，得到前景区域；

步骤2)对提取的前景区域进行在线聚类，得到原始的颜色区域；

步骤3)考虑空间分布和颜色距离，将相关颜色区域进行合并，得到最终的局部颜色区域；

步骤4)对提取出的颜色区域进行描述，作为行人重识别的特征表达；

步骤5)利用步骤4中的特征进行行人重识别。

3.根据权利要求2所述的方法，其特征是，所述的步骤1)具体包括：

1.1)将数据集中所有的图像进行聚类；

1.2)再将每一幅图像的每一个像素点与聚类中心进行比较，将距离最近的距离中心号作为该像素的值；

1.3)将得到的输入矩阵带入scadlearn.m程序中，并对输出后验概率Qs进行二值化，得到前景蒙版；

1.4)将前景蒙版与原始图像逐像素相乘，可以提取出前景区域。

4.根据权利要求2所述的方法，其特征是，所述的步骤2)具体包括：

2.1)将图像左上角像素点的(a，b)通道值作为第一个聚类的聚类中心；

2.2)顺序扫描像素点，并将每一个像素点(a，b)通道值与现有的聚类中心进行欧式距离比较，并找出最小距离d；

2.3)若d≤threshold1，则将当前像素点归入距离为d的聚类，并且将此聚类的聚类中心更新为类内所有像素的通道值的平均值；

2.4)反之，若d＞threshold1，则初始化一个新的类，并将该聚类中心初始化为当前像素点的颜色值；

2.5)如此循环，直到计算到右下角的像素点，这样同一个聚类内的像素点可以视为属于同一个颜色区域，且区域的颜色值统一为聚类中心的颜色值。

5.根据权利要求2所述的方法，其特征是，所述的步骤3)具体包括：

3.1)将步骤2)得到的任两个颜色区域的聚类中心颜色值进行欧式距离比较，得到d_c；

3.2)将步骤2)得到的任两个颜色区域的聚类中心的平均位置进行欧氏距离比较，得到d_s；

3.3)若d_c＜threshold2且d_s＜threshold3则将两个颜色区域合并起来，并更新新的聚类中心为合并后的类内的所有像素的通道值的平均值；

3.4)将步骤2)中的所有颜色区域都两两进行比较后，将与同一个颜色区域合并的所有区域合并为一个区域，直到得到的所有的颜色区域都无法再进行合并。

6.根据权利要求2所述的方法，其特征是，所述的步骤4)具体是指：对于步骤3)提取出的所有颜色区域，每一个颜色区域描述为f＝(x，y，l，a，b，F)，其中：x，y是该颜色区域内所包含的所有像素点的平均坐标，，a，b是该颜色区域内所包含的所有像素点的平均颜色值，F为衡量颜色区域大小的参数：其中：num是该颜色区域所包含的像素点的个数，area是该颜色区域的外接矩形的面积，area＝(x_max-x_min)*(y_max-y_min)，其中：x_max，y_max和x_min，y_min分别是该颜色区域内所包含的所有像素点的x，y坐标的最大值和最小值。

7.根据权利要求2所述的方法，其特征是，所述的步骤5)具体包括：

5.1)将数据集中的数据分成两组，每组包含所有行人的一张图片，第一组包含行人的一幅图像，而第二组包含另一张图像，同一个行人在两组中的排列顺序相同；

5.2)将第一组的第一张图像的特征与第二组的所有图像的特征进行特征距离比较，得到距离矩阵M的第一行数据M₁；

5.3)重复步骤5.2)直到第一组中的所有行人都与第二组进行了特征距离比较，并得到距离矩阵M₂，M₃，...，M₆₁₂，其中M_i，j表示第一组中的第i个行人与第二组中的第j个行人的特征距离；

5.4)将M的每一行从小到大排序，排在第i位的距离对应的第二组中的图像，即与第一组中该行所对应图像第i匹配的图像，其中排在第一列的是最匹配的图像。

8.根据权利要求7所述的方法，其特征是，所述的特征距离比较是指：

5.2.1)比较两幅图像的颜色区域的个数，得到个数较少的图像的颜色区域个数number；

5.2.2)将区域较少的图像的第一个颜色区域的特征，与区域较多的图像的所有区域的特征进行欧式距离比较，得到距离最小的区域，作为匹配的区域，并记录最小距离d₁；

5.2.3)重复步骤5.2.2)，直到颜色区域个数较少的图像的每一个颜色区域都找到匹配区域，并记录最小距离d₂，d₃，...，d_number，最终得到number个距离；

5.2.4)将这number距离求平均数，作为这两幅图像的特征距离。

9.一种基于在线聚类提取的颜色区域特征的行人重识别系统，其特征在于，包括：依次连接的背景分离模块、在线聚类模块、颜色区域提取模块、特征描述模块以及重识别模块，其中：背景分离模块进行前景提取处理，并向在线聚类模块输出前景蒙版信息，在线聚类模块进行行人外貌主要颜色区域的提取处理，并向颜色区域合并模块输出初始的颜色区域信息，颜色区域合并模块对初始的颜色区域模块进行合并处理，并向特征描述模块输出最终的颜色区域信息，特征描述模块进行特征的描述与表达处理，并向重识别模块输出六维的特征向量信息，重识别模块进行行人间特征向量的匹配处理，并给出最终的重识别结果。