CN105405154A - 基于颜色-结构特征的目标对象跟踪方法 - Google Patents

Abstract

本发明针对现有技术中对视频图像中的运动对象跟踪的复杂度高与准确性低的缺陷，提供一种基于颜色-结构特征的目标对象跟踪方法，该方法包括：对视频中的图像进行对象检测，获取视频的当前帧图像中的至少一个对象，对对象进行超像素分割，确定对象的颜色特征和结构特征；通过与预设的对象模型数据库中的待跟踪对象进行颜色特征和结构特征的比对匹配，在当前帧图像中确定待跟踪的目标对象，记录目标对象在当前帧图像中的位置信息；根据目标对象在当前帧图像中的颜色特征和结构特征，在视频的下一帧图像中跟踪目标对象，更新目标对象的位置信息。本发明有效增强了视频跟踪算法对纹理单一目标跟踪的准确性和鲁棒性。

Description

基于颜色-结构特征的目标对象跟踪方法

技术领域

本发明涉及模式识别以及计算机视觉技术领域，尤其涉及一种基于颜色-结构特征的目标对象跟踪方法。

背景技术

增强现实(AugmentedReality，AR)技术能够将真实世界中的对象和信息，与计算机生成的虚拟世界中的对象和信息进行无缝地融合，具有虚实结合、实时交互等特点，可以为人们提供更加丰富的信息和更加便捷的信息获取体验，增强人们对真实世界的理解和感知。

基于视频的增强现实技术，因应用成本较低且能够普遍适用于多种环境中，近年来发展迅速。如何准确地跟踪真实世界中的物体，是实现增强现实技术中虚实结合的关键之一。作为增强现实技术实现的基础，基于视频图像的目标跟踪技术，目前广泛应用于安全监控、车辆自主驾驶、导航制导与控制、人机交互等领域，是近年来计算机视觉领域的重点研究方向之一。

基于视频的增强现实技术中，视频对象跟踪通常需要将虚拟对象跟踪并注册在一个实时拍摄的现实对象上。对于运动对象的跟踪，如果一个视频序列的每幅关键帧图像都重复同样的跟踪算法，则整个运算的复杂度和计算量将非常大。

同时，鉴于对运动对象的特征识别及对运动中形态变化的对象的跟踪的复杂性，如何有效地保证对运动对象的识别精度及检测跟踪的实时性，成为增强现实技术实现广泛应用亟待解决的技术问题之一。

发明内容

本发明所要解决的技术问题在于针对现有技术中对视频图像中的运动对象跟踪的复杂度高与准确性低的缺陷，提供一种基于颜色-结构特征的目标对象跟踪方法，根据颜色特征和结构特征的结合，对视频图像中的目标对象进行识别，并与预设的模型数据库进行对象的比对匹配，实现对目标对象的确定及跟踪，提高基于视频图像的目标跟踪系统的准确性、实时性和鲁棒性。

有鉴于此，本发明提供了一种基于颜色-结构特征的目标对象跟踪方法，包括：对视频中的图像进行对象检测，获取所述视频的当前帧图像中的至少一个对象；根据所述对象的像素颜色信息，对所述对象进行超像素分割；根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征；通过与预设的对象模型数据库中的待跟踪对象进行颜色特征和结构特征的比对匹配，在所述当前帧图像中确定待跟踪的目标对象，记录所述目标对象在所述当前帧图像中的位置信息；根据所述目标对象在所述当前帧图像中的颜色特征和结构特征，在所述视频的下一帧图像中跟踪所述目标对象，更新所述目标对象的位置信息。

优选地，对视频中的图像进行对象检测，包括：读取所述视频中的图像，通过前景识别或轮廓识别，对所述视频中的图像进行所述对象检测。

优选地，该方法包括：对所述对象进行所述超像素分割，所述对象得到一组包含l个超像素的集合{S¹,S²,S³,…,S^l}，其中，l为大于等于1的正整数。

优选地，根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征，包括：所述对象的超像素集合中，超像素S^k所包含的像素数为n^k，所述超像素S^k的大小ρ^k为：根据所述对象的超像素集合中ρ大于预设阈值的超像素，计算得到所述对象的颜色特征和结构特征。

优选地，该方法还包括：将基于HSV颜色空间描述的所述像素颜色信息，转换为通过柱坐标系下的欧氏空间坐标表示所述像素的颜色特征。

优选地，所述对象的结构特征包括所述对象中的超像素的距离和夹角。

优选地，在所述当前帧图像中确定待跟踪的目标对象，包括：进行所述比对匹配后，计算所述当前帧图像中的对象与所述待跟踪对象的匹配度，若所述匹配度达到预设的匹配阈值，则将所述当前帧图像中的该对象确定为所述目标对象。

优选地，该方法还包括：记录所述目标对象在所述当前帧图像中的位置信息后，根据所述目标对象在所述当前帧图像中的位置信息，估测所述目标对象在所述下一帧图像中的位置信息。

优选地，根据所述目标对象在所述当前帧图像中的颜色特征和结构特征，在所述视频的下一帧图像中跟踪所述目标对象，包括：根据估测出的所述目标对象在所述下一帧图像中的位置信息，在所述下一帧图像中提取子图像，根据所述目标对象在所述子图像中的颜色特征和结构特征，在所述子图像中确定所述目标对象。

优选地，该方法还包括：对所述视频中的图像进行所述对象检测前，建立所述对象模型数据库，存储所述待跟踪对象的颜色特征和结构特征。

以上本发明的技术方案，在对视频图像中的目标对象进行跟踪时，采用与颜色相关性较高的超像素对图像中的对象进行超像素分割，通过将超像素与对象的颜色特征和结构特征相结合，再计算视频图像中的对象与模型对象的特征匹配度，通过特征匹配来确定待跟踪的目标对象。在视频的下一帧图像中，通过与视频的上一帧图像中的目标对象的颜色特征和结构特征进行比对匹配，实现了对视频中的对象的跟踪。本发明的技术方案有效地克服了基于像素特征描述的对象跟踪方法依赖于目标对象纹理的缺陷，同时提高了视频图像中目标对象跟踪算法对纹理单一目标的适用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例的说明，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：

图1示出了根据本发明第一种实施例的基于颜色-结构特征的目标对象跟踪方法的流程示意图；

图2示出了根据本发明第二种实施例的基于颜色-结构特征的目标对象跟踪方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体的技术细节，以便于充分理解本发明。但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此处描述的其他方式来实施。因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明第一种实施例的基于颜色-结构特征的目标对象跟踪方法的流程示意图。

如图1所示，根据本发明第一种实施例的基于颜色-结构特征的目标对象跟踪方法，主要包括以下步骤：

步骤S101，对视频中的图像进行对象检测，获取所述视频的当前帧图像中的至少一个对象；

步骤S102，根据所述对象的像素颜色信息，对所述对象进行超像素分割；

步骤S103，根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征；

步骤S104，将该对象与预设的对象模型数据库中的待跟踪对象进行颜色特征和结构特征的比对匹配，在所述当前帧图像中确定待跟踪的目标对象，记录该目标对象在该当前帧图像中的位置信息；

步骤S105，根据该目标对象在该当前帧图像中的颜色特征和结构特征，在该视频的下一帧图像中跟踪该目标对象，获得该目标对象在该下一帧图像中的位置信息，并对该目标对象的位置信息进行更新。

在所述视频的下一帧图像中，利用步骤S101至步骤S103的技术，对该下一帧图像进行对象检测，获取其中的至少一个对象。将该下一帧图像中的对象与所述视频的上一帧图像(即前述的当前帧图像)中的目标对象进行颜色特征和结构特征的比对匹配，在所述下一帧图像中确定该目标对象，也即在该下一帧图像中跟踪该目标对象，确定该目标对象在该下一帧图像中的位置信息，利用该目标对象在该下一帧图像中的位置信息对所述目标对象进行位置信息的更新。

在视频的相邻两帧图像中的上一帧图像中获得对象后，采用对象的颜色特征和结构特征在对象模型数据库中进行比对匹配，获得待跟踪的目标对象，记录目标对象在该帧图像中的位置信息。再利用目标对象的颜色特征和结构特征，在该相邻两帧图像中的下一帧图像中确定目标对象的位置信息。根据目标对象在该下一帧图像中位置信息，对目标对象的位置信息进行更新。

在该技术方案中，为了准确地对视频图像中的目标对象进行确定与跟踪，先根据像素的颜色特征对图像的像素进行分组聚类，再采用与颜色相关性较高的超像素对图像中的对象进行超像素分割。基于符合预设条件的超像素，计算得出构成图像中的对象的超像素的颜色特征和结构特征，从而大大减少了对图像中的对象进行分析、识别操作所处理的数据量，同时最大限度地保留了图像中的与对象相关的结构特征信息。通过将构成对象的超像素集合中每一个超像素的颜色特征和结构特征相结合，得到该对象的颜色特征与结构特征集合。通过匹配比对图像中的对象与模型数据库中待跟踪对象在颜色特征与结构特征上的相似度，确定视频图像中待跟踪的目标对象，通过与上一帧图像中的目标对象的颜色特征和结构特征进行比对匹配，实现对视频图像中目标对象的实时、准确地跟踪。本发明的技术方案有效地克服了基于像素特征描述的对象跟踪方法依赖于目标对象纹理的缺陷，同时提高了视频图像中目标对象跟踪算法对纹理单一目标的适用性。

在上述技术方案中，优选地，通过读取并解析视频图像序列，采用背景差分法进行前景识别或轮廓识别，提取所述视频当前帧图像中的一个或多个主要对象，或者根据需要也可以提取所能够识别出的所有对象。

在上述技术方案中，优选地，根据所述获取到的对象的像素颜色信息，对所述对象进行超像素分割，所述对象得到一组包含l个超像素的集合{S¹,S²,S³,…,S^l}，其中，l为大于等于1的正整数。

在该技术方案中，根据对象的像素颜色，对从视频的当前帧图像中获取的对象进行超像素分割，得到多个具有不同颜色的区域，每一个区域即是一个超像素。其中，每个超像素中包含多个像素。

在上述技术方案中，优选地，任一对象的超像素集合中，超像素S^k所包含的像素数为n^k，所述对象包含的像素数为N，则所述超像素S^k的大小ρ^k为：

${\mathrm{\ρ}}^k=\frac{n^k}{N}=\frac{n^k}{{\mathrm{\Σ}}_1^l{n}^k}$

其中，k为超像素的序号，1≤k≤l。根据所述对象超像素集合中大小ρ大于预设的阈值0.05的超像素，计算得到所述对象的颜色特征和结构特征。

在该技术方案中，对于图像对象中已经分割出的多个超像素，可以根据每一超像素包含的像素数计算得出该超像素的相对大小ρ，表示该图像对象中的超像素大小占图像对象大小的比例。其中，同一图像对象中ρ值大于0.05的超像素相较于ρ值小于0.05的超像素包含更多的像素，能够提供更多的超像素颜色特征和结构特征信息，因此在超像素的颜色特征和结构特征计算分析时，对图像对象所包含的超像素进行条件选择，筛选组成该对象的超像素集合中ρ值大于0.05(或者其他预设的阈值也是可行的)的超像素，用于计算得出图像对象的颜色特征和结构特征。

在上述技术方案中，优选地，在确定对象的颜色特征之前，将基于HSV颜色空间描述的像素颜色信息，转换为通过柱坐标系下的欧氏空间坐标所表示的像素的颜色特征，则所述超像素的颜色特征描述为(c₁,c₂,c₃)，其中，

$\left\{\begin{array}{c}{c}_1=s\·\cos h\\ c_2=s\·\sin h\\ c_3=v\end{array}\right.$

其中，h表示色调，s表示饱和度，v表示亮度。

在该技术方案中，可以通过HSV颜色模型将对象像素RGB颜色空间描述值转换为HSV颜色空间描述，同时为了更加准确地进行颜色特征比对匹配，将HSV颜色空间描述的色度坐标统一转换为通过柱坐标系下的欧氏空间坐标，用于描述所述超像素的颜色特征。

在上述技术方案中，优选地，对象的结构特征包括对象中的超像素的距离和夹角。

在该技术方案中，计算得出所述对象结构特征中超像素距离和夹角的方法，具体为，选取所述对象的超像素集合中大小ρ大于预设阈值(0.05)的m个超像素，定义超像素S^k的中心C^k为其包含的所有像素的坐标平均值，即：

$C^k=(x_c^k,y_c^k)=(\frac{1}{n^k}\underset{i=1}{\overset{n^k}{\Σ}}{x}_i^k,\frac{1}{n^k}\underset{i=1}{\overset{n^k}{\Σ}}{y}_i^k)$

其中，m为大于等于1的正整数。

定义所述对象的中心C⁰为：

$C^0=(x_c^0,y_c^0)=\frac{1}{{\mathrm{\Σ}}_{i=1}^m{n}^i}(\underset{1}{\overset{m}{\Σ}}\underset{i=1}{\overset{n^k}{\Σ}}{x}_i^k,\underset{1}{\overset{m}{\Σ}}\underset{i=1}{\overset{n^k}{\Σ}}{y}_i^k)$

超像素S^k的距离l^k定义为超像素S^k中心C^k到所述对象的中心C⁰的距离，即：

$l^k=\left|\right|x_c^k-x_c^0,y_c^k-y_c^0\left|\right|=\sqrt{{(x_c^k-x_c^0)}^2+{(y_c^k-y_c^0)}^2}$

将所述对象中的m个超像素按照上述距离按照从小到大或者从大到小的顺序排列，得到超像素集合*S¹,S²,S³,…,S^m+。

所述对象的主方向为所述对象的中心C⁰到该对象所有超像素中与该对象中心距离最小(或者最大)的超像素，即S¹的中心C¹的方向

超像素S^k的夹角θ^k定义为与所述对象的主方向的夹角，即

则对于所述对象的特征描述包括其颜色特征和结构特征，其中，所述对象的颜色特征为：

${\left(\right(c_1^1,c_2^1,c_3^1),(c_1^2,c_2^2,c_3^2),...,(c_1^m,c_2^m,c_3^m\left)\right)}^T$

所述对象的结构特征为：

((l¹,θ¹),(l²,θ²),…,(l^m,θ^m))^T

在上述技术方案中，通过与对象模型数据库中的待跟踪对象进行颜色特征和结构特征的比对匹配，计算当前帧图像中的对象与所述待跟踪对象的匹配度，若所述匹配度达到预设的匹配阈值，则确定当前帧图像中的与所述待跟踪对象的匹配度达到预设的匹配阈值的对象为待跟踪的目标对象，记录所述目标对象在所述视频的当前帧图像中的位置信息。

在该技术方案中，在对象模型数据库中选择待跟踪的对象，通过与图像中的对象分别进行颜色特征与结构特征对比匹配，计算特征匹配的匹配度，具体为：

定义待跟踪对象与图像对象的超像素相似度δ，具体地，

δ＝w_cδ_c+w_sδ_s

其中，δ_c为颜色特征相似度，δ_s为结构特征相似度，w_c,w_s分别为颜色特征权重和结构特征权重，w_c+w_s＝1。

通过余弦距离分别计算得出待跟踪对象与图像对象中超像素的颜色特征相似度和结构特征相似度，具体地，颜色特征相似度δ_c通过以下表达式计算得出：

${\mathrm{\δ}}_c=\frac{c_1^q{c}_1^r+c_2^q{c}_2^r+c_3^q{c}_3^r}{\sqrt{c_1^{q^2}+c_2^{q^2}+c_3^{q^2}}\sqrt{c_1^{r^2}+c_2^{r^2}+c_3^{r^2}}}$

结构特征的相似度通过以下表达式计算得出：

${\mathrm{\δ}}_s=\frac{l^q{l}^r+{\mathrm{\θ}}^q{\mathrm{\θ}}^r}{\sqrt{l^{q^2}+{\mathrm{\θ}}^{q^2}}\sqrt{l^{r^2}+{\mathrm{\θ}}^{r^2}}}$

上述计算表达式中，图像对象中超像素的特征参数以上标符号q表示，待跟踪对象中超像素的特征参数以上标符号r表示。

通过上述特征相似度的计算，可得到待跟踪对象超像素集合与图像对象超像素集合中的两个超像素特征匹配的相似度δ，若δ>0.7，即可确定该待跟踪对象中的超像素与图像对象中的超像素匹配成功。若待跟踪对象的超像素集合与图像对象集合中匹配成功的超像素的数量达到预设的比例范围，或超过预设的比例，例如匹配成功的超像素的数量达到图像对象中超像素总数的50％～90％，则确定所述图像中的该对象与待跟踪对象的匹配度达到预设的匹配阈值，匹配成功，所述图像对象即为待跟踪的目标对象，并记录所述目标对像的位置信息。

在该技术方案中，通过采用余弦距离进行相似度计算。需要说明的是，对于待跟踪对象与图像中的对象的结构相似度计算，还可以采用马氏距离及其他可实现该目的的计算方法，此处不再赘述。

在该技术方案中，在所述视频的下一帧图像中，重复步骤S101至步骤S103，通过与所述视频上一帧图像(步骤S101中的当前帧图像)中目标对象的颜色特征和结构特征进行比对匹配，确定该下一帧图像中待跟踪的目标对象。其中，比对匹配的具体方法与上述相似度比对方式及相似度判断条件一致，此处不再赘述。若相似度达到预设的相似度阈值的超像素数量达到对象超像素集合中超像素总数的预设比例，例如匹配相似度δ>0.7的超像素数量达到图像对象中超像素总数的50％～90％，则确定目标对象匹配成功，更新所述目标对象的位置信息，实现对目标对象的准确跟踪。

图2示出了根据本发明第二种实施例的基于颜色-结构特征的目标对象跟踪方法的流程示意图。

如图2所示，根据本发明第二种实施例的基于颜色-结构特征的目标对象跟踪方法，包括以下步骤：

步骤S201，对视频中的图像进行对象检测，获取所述视频的当前帧图像中的至少一个对象；

步骤S202，根据所获取到的对象的像素颜色信息，对该对象进行超像素分割；

步骤S203，根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征；

步骤S204，通过与对象模型数据库中待跟踪对象进行颜色特征和结构特征的比对匹配，确定所述当前帧图像中待跟踪的目标对象，记录所述目标对象在所述当前帧图像中的位置信息；

步骤S205，在所述视频的当前帧图像中，根据目标对象的位置信息，采用运动模型估测所述目标对象在下一帧图像中的位置信息；

步骤S206，在所述视频的下一帧图像中，以所估测的位置信息为参考位置，提取基于所述参考位置而确定的预设范围内的子图像，对所述子图像利用步骤S202至203的技术，根据该目标对象在该当前帧图像中的颜色特征和结构特征，在该子图像中跟踪该目标对象，获得该目标对象在该子图像中的位置信息，并对该目标对象的位置信息进行更新。

具体地，对该子图像进行超像素分割，获取该子图像颜色特征和结构特征，通过将该子图像与所述视频的上一帧图像(当前帧图像)中的目标对象进行颜色特征和结构特征的比对匹配，确定在所述子图像中是否存在待跟踪的目标对象，具体地，若所述子图像与所述视频的上一帧图像(当前帧图像)中的目标对象的颜色特征和结构特征的匹配度达到预设的匹配度阈值，即确定在该子图像中跟踪到该目标对象，根据该子图像在该下一帧图像中的位置信息，进而可以确定该目标对象在该下一帧图像中的位置信息，利用该目标对象在该下一帧图像中的位置信息，对所述目标对象的位置信息进行更新。

在该技术方案中，根据所述视频图像的当前帧图像中目标对象的位置信息，结合对象运动模型，根据对象运动轨迹或运动趋势特征以及视频图像每一帧之间的时间间隔，估测出目标对象在视频的下一帧图像中可能出现的位置。在视频的下一帧图像中的所述可能出现的位置的预设区域范围内，如以所述位置为中心的100％至200％范围区域内提取子图像，仅对所述子图像进行超像素分割及对象的识别与比对，通过该子图像与目标对象的颜色特征和结构特征的匹配度，确定该子图像中是否包含目标对象，进而确定目标对象是否跟踪成功。相比于对整帧图像进行全部图像内容的识别与比对，由于仅对图像部分区域进行识别分析，减少了图像识别的数据量，可以有效减少目标对象的识别时间，同时更加快速准确地定位出目标对象，提高了目标对象的定位效率。

在该技术方案中，通过采用最小二乘滤波、卡尔曼滤波、扩展卡尔曼滤波或粒子滤波可以准确评估并预测目标对象的运动状态信息，包括目标对象的位置、速度和加速度等。基于目标对象在视频的上一帧图像中的运动状态信息，结合视频帧间隔时间预测目标对象在下一帧图像中的运动状态信息，确定在下一帧图像中进行目标对象搜索的参考范围，缩小了目标对象搜索范围，简化了对象识别的运算量与运算复杂度，从而快速有效地搜索匹配出目标对象，实现了对目标对象的实时准确跟踪。

在上述任一实施例中，优选地，在所述视频的下一帧图像中，若与所述视频的上一帧图像中的目标对象的颜色特征和结构特征匹配失败，还可以通过与模型数据库中的待跟踪对象进行比对匹配，重新确定待跟踪的目标对象。若匹配成功，则更新所述目标对象的位置信息，完成对目标对象的跟踪。

在该技术方案中，由于模型数据库中的待跟踪对象与视频的上一帧图像中的目标对象具有不完全相同的颜色特征和结构特征，属于不同的比对样本，因此在所述视频的下一帧图像中，若与所述视频的上一帧图像中目标对象的颜色特征和结构特征匹配失败，导致目标跟踪丢失时，还可以进一步通过与对象模型数据库中的待跟踪对象的颜色特征和结构特征进行二次的比对匹配。如果二次的比对匹配的匹配度达到了预设的匹配度阈值，则确定目标对象匹配成功并更新目标对象的位置信息，能够显著提高目标对象的匹配的精确度，增强目标对象的跟踪的可信度与鲁棒性。

进一步地，通过与对象模型数据库中的待跟踪对象进行比对匹配，首次匹配确定待跟踪的目标对象之后，在目标对象的跟踪过程中，在视频的后续帧图像中进行该目标对象的比对匹配时，可以通过与之前的图像中的目标对象进行颜色特征和结构特征比对，根据相似度在后续的图像中确定目标对象。本发明的技术方案，也可以通过与对象模型数据库中的待跟踪对象进行颜色特征和结构特征比对，再根据相似度匹配在图像中确定目标对象；或者同时采用两种比对方式，提高比对匹配的精确性与可信度。

在上述任一实施例中，优选地，对视频中的图像进行对象检测，从中获取至少一个对象的步骤之前，还可以预先建立对象模型数据库，存储待跟踪对象的颜色特征和结构特征，用于后续与图像中的对象进行比对匹配，从图像中确定待跟踪的目标对象。

在上述任一实施例中，优选地，所述对象模型数据库，通过在线和/或离线方式获取待跟踪对象的图像信息，更新所述对象模型数据库中待跟踪对象的颜色特征和结构特征。

综上所述，本发明提供一种基于颜色-结构特征的目标对象跟踪方法，通过特征匹配确定视频图像中待跟踪的目标对象，在目标对象背景环境复杂或者目标对象存在遮挡，或者目标对象快速运动导致目标对象在相邻两帧视频图像中位置相距较大的情况下，能够对目标对象的运动趋势进行预测，快速准确地实现对目标对象的定位跟踪，具有良好的可靠性与鲁棒性。

再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本领域的技术人员应该明白，上述的本申请实施例所提供的方法中的各步骤，它们可以集中在单个的计算装置进行执行，或者分布在多个计算装置所组成的网络上进行执行。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明技术方案而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于颜色-结构特征的目标对象跟踪方法，其特征在于，所述方法包括：

对视频中的图像进行对象检测，获取所述视频的当前帧图像中的至少一个对象；

根据所述对象的像素颜色信息，对所述对象进行超像素分割；

根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征；

通过与预设的对象模型数据库中的待跟踪对象进行颜色特征和结构特征的比对匹配，在所述当前帧图像中确定待跟踪的目标对象，记录所述目标对象在所述当前帧图像中的位置信息；

根据所述目标对象在所述当前帧图像中的颜色特征和结构特征，在所述视频的下一帧图像中跟踪所述目标对象，更新所述目标对象的位置信息。

2.根据权利要求1所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，对视频中的图像进行对象检测，包括：

读取所述视频中的图像，通过前景识别或轮廓识别，对所述视频中的图像进行所述对象检测。

3.根据权利要求1或2所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，该方法包括：

对所述对象进行所述超像素分割，所述对象得到一组包含l个超像素的集合{S¹,S²,S³,…,S^l}，其中，l为大于等于1的正整数。

4.根据权利要求3所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，根据所述对象中符合预设条件的超像素，确定所述对象的颜色特征和结构特征，包括：

所述对象的超像素集合中，超像素S^k所包含的像素数为n^k，所述超像素S^k的大小ρ^k为： ${\mathrm{\ρ}}^k=\frac{n^k}{N}=\frac{n^k}{{\mathrm{\Σ}}_1^l{n}^k};$

根据所述对象的超像素集合中ρ大于预设阈值的超像素，计算得到所述对象的颜色特征和结构特征。

5.根据权利要求4所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，该方法还包括：

将基于HSV颜色空间描述的所述像素颜色信息，转换为通过柱坐标系下的欧氏空间坐标表示所述像素的颜色特征。

6.根据权利要求4所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，所述对象的结构特征包括所述对象中的超像素的距离和夹角。

7.根据权利要求4所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，在所述当前帧图像中确定待跟踪的目标对象，包括：

进行所述比对匹配后，计算所述当前帧图像中的对象与所述待跟踪对象的匹配度，若所述匹配度达到预设的匹配阈值，则将所述当前帧图像中的该对象确定为所述目标对象。

8.根据权利要求1所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，该方法还包括：

记录所述目标对象在所述当前帧图像中的位置信息后，根据所述目标对象在所述当前帧图像中的位置信息，估测所述目标对象在所述下一帧图像中的位置信息。

9.根据权利要求8所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，根据所述目标对象在所述当前帧图像中的颜色特征和结构特征，在所述视频的下一帧图像中跟踪所述目标对象，包括：

根据估测出的所述目标对象在所述下一帧图像中的位置信息，在所述下一帧图像中提取子图像，根据所述目标对象在所述子图像中的颜色特征和结构特征，在所述子图像中确定所述目标对象。

10.根据权利要求1所述的基于颜色-结构特征的目标对象跟踪方法，其特征在于，该方法还包括：

对所述视频中的图像进行所述对象检测前，建立所述对象模型数据库，存储所述待跟踪对象的颜色特征和结构特征。