[go: up one dir, main page]

CN108268823B - 目标再识别方法和装置 - Google Patents

目标再识别方法和装置 Download PDF

Info

Publication number
CN108268823B
CN108268823B CN201611265859.0A CN201611265859A CN108268823B CN 108268823 B CN108268823 B CN 108268823B CN 201611265859 A CN201611265859 A CN 201611265859A CN 108268823 B CN108268823 B CN 108268823B
Authority
CN
China
Prior art keywords
tracking
image
model
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611265859.0A
Other languages
English (en)
Other versions
CN108268823A (zh
Inventor
唐矗
孙晓路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201611265859.0A priority Critical patent/CN108268823B/zh
Priority to PCT/CN2017/116330 priority patent/WO2018121287A1/zh
Publication of CN108268823A publication Critical patent/CN108268823A/zh
Application granted granted Critical
Publication of CN108268823B publication Critical patent/CN108268823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标再识别方法和装置。其中，该方法包括：获取跟踪目标以及跟踪目标的图像区域；从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型；根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，跟踪结果的可信度由当前帧图像预设区域的特征信息与特征模型的相似度确定；在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。本发明解决了现有跟踪技术中跟踪目标的再识别技术鲁棒性差的技术问题。

Description

目标再识别方法和装置
技术领域
本发明涉及视频图像处理领域，具体而言，涉及一种目标再识别方法和装置。
背景技术
基于图像的目标再识别一般是指从不同的图像、视频中识别出给定的目标，该类技术一般用于跨场景的目标跟踪、基于内容的图像检索等领域。传统的做法是使用同一目标不同场景下成对的图像数据以及不同目标成对的图像数据，分别提取指定的特征，如颜色直方图，作为特征向量，然后利用度量学习的方法学习到一个相似度度量函数，在应用中，利用该相似度度量函数计算两个目标的相似度，进而判别是否是同一个目标。
近来，随着深度学习的兴起，也有利用卷积神经网络进行目标再识别的出现，思路与传统方法类似，不同之处在于，不需要人为指定特征，表征目标相似性与差异性的特征以及衡量特征相似性的函数都由卷积神经网络自动学习得到，在应用中，将学习到的卷积网络模型应用于两幅图像，进而判断目标是否是同一个。
视觉跟踪的本质是在不同的帧间找到同一个目标的位置，一般而言tracking-by-detection的跟踪系统，在判断目标是否是同一个时候，即可看做是一个目标再识别的过程。但不管是传统的目标再识别方法还是基于深度学习的方法，都是离线获得一个相似度度量函数，在应用中，直接判断两幅图像是否是同一个。由于跟踪过程中环境、光照变化引起的跟踪目标外观变化的影响，如果将这种目标再识别方式直接应用于跟踪系统，用两张图片判断目标是否是同一个，跟踪系统往往会受限于环境的变换；此外，视觉跟踪中目标再识别问题与纯粹的目标再识别也具有一定的差异性，跟踪中的目标再识别，需要判断的是后续视频帧中的目标与初始设定的是否是同一个，而非广泛意义上的从一个开集中找到相同目标的再识别，。
通常视觉跟踪会维持一个在线更新模板，并利用该模板在新的一帧中找到跟踪目标，在长时间跟踪过程中，这种方法会受到环境、光照变化引起的跟踪目标外观变化影响，出现跟踪错误，并不断放大，难以纠正，而此类方法的一个缺点在于本身很难准确地判断跟踪目标是否丢失，或是在目标跟丢之后，难以找回初始的跟踪目标；此外，在目标丢失后，由于跟踪过程中光照、环境等变化，相隔帧间目标的外观也会发生明显变化，通过外观准确地找回目标非常困难。
针对现有跟踪技术中跟踪目标的再识别技术鲁棒性差的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标再识别方法和装置，以至少解决现有跟踪技术中跟踪目标的再识别技术鲁棒性差的技术问题。
根据本发明实施例的一个方面，提供了一种目标再识别方法，包括：获取跟踪目标以及跟踪目标的图像区域；从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型；根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，跟踪结果的可信度由当前帧图像预设区域的特征信息与特征模型的相似度确定；在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。
进一步地，通过从跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到特征模型。
进一步地，对获取的当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的多个特征信息；获取预设概率；通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换特征模型中的任意一个特征信息，以更新特征模型。
进一步地，获取当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离；通过如下公式获取预设概率：
Figure BDA0001200626700000021
其中，p为预设概率，dmedian为特征信息与最近一次更新的特征模型的巴氏距离，σ为预设常数。
进一步地，确定当前帧图像的特征信息与最近一次更新的模型中多个特征信息的多个巴氏距离的中值为特征信息与最近一次更新的模型的巴氏距离。
进一步地，去除跟踪目标的图像区域中的背景图像；将去除背景图像的图像区域沿预设方向分割为多个图像；获取均分后的多个图像的特征信息；将均分后的多个图像的特征信息按照分割的顺序进行连接，得到跟踪目标的图像的特征信息。
进一步地，特征信息为图像颜色特征信息，其中，图像颜色特征信息包括：颜色名称信息和/色调信息。
根据本发明实施例的另一方面，还提供了一种目标再识别装置，包括：获取模块，用于获取跟踪目标以及跟踪目标的图像区域；构造模块，用于从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型；确定模块，用于根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，跟踪结果的可信度由当前帧图像预设区域的特征信息与特征模型的相似度确定；更新模块，用于在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。
进一步地，构造模块包括：初始化子模块，用于通过从跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到特征模型。
进一步地，更新模块包括：提取子模块，用于对获取当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的特征信息；第一获取子模块，用于获取预设概率；替换子模块，用于通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换特征模型中的任意一个特征信息，以更新特征模型。
进一步地，第一获取子模块包括：获取单元，用于获取当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离；计算单元，用于通过如下公式获取预设概率：
Figure BDA0001200626700000031
其中，p为预设概率，dmedian为特征信息与最近一次更新的特征模型的巴氏距离，σ为预设常数。
进一步地，获取单元包括：确定子单元，用于确定当前帧图像的特征信息与最近一次更新的模型中的多个特征信息的多个巴氏距离的中值为特征信息与最近一次更新的模型的巴氏距离。
进一步地，构造模块包括：去除背景子模块，用于去除跟踪目标的图像区域中的背景图像；分割子模块，将去除背景图像的图像区域沿预设方向分割为多个图像；第二获取子模块，用于获取均分后的多个图像的特征信息；连接子模块，用于将均分后的多个图像的特征信息按照分割的顺序进行连接，得到跟踪目标的图像的特征信息。
进一步地，特征信息为图像颜色特征信息，其中，图像颜色特征信息包括：颜色名称信息和/色调信息。
在本发明实施例中，获取跟踪目标以及跟踪目标的图像区域，从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型，根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。上述方案歌剧跟踪目标的图像区域的特征信息构建特征模型，并在跟踪过程中不断的根据不同的跟踪结果对特征模型进行更新，以特征模型作为跟踪模型来进行跟踪，从而提高了跟踪模型的鲁棒性，进而解决了现有跟踪技术中跟踪目标的再识别技术鲁棒性差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的目标再识别方法的流程图；以及
图2是根据本发明实施例的目标再识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种目标再识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的目标再识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取跟踪目标以及跟踪目标的图像区域。
具体的，上述跟踪目标可以是人为指定或通过行人检测器确定的目标，跟踪目标的图像区域可以是人为的在视频的某一帧图像中指出的包含跟踪目标的区域，或通过行人检测器在视频的某一帧确定的图像区域。
步骤S104，从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型。
具体的，上述提取的特征可以是图像的颜色特征、边缘特征等，由于跟踪目标在视频中通常是动态的，因此仅以跟踪目标的外形为模型跟踪具有一定的难度，且准确度较低，但通常对于视频中的连续图像来说，跟踪目标及时外形随着时间戳的变动而不断变化，但图像的特征通常保持一致，因此上述步骤通过提取的图像特征来构造模型。
步骤S106，根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，跟踪结果的可信度由当前帧图像预设区域的特征信息与特征模型的相似度确定。
具体的，上述跟踪结果包括图像中跟踪目标的区域和可信度，上述跟踪目标的跟踪状态可以包括未丢失、可信度低以及丢失三种状态。在一种可选的实施例中，可以设置可信度阈值，如果确定跟踪结果的可信度超过预设的可信度阈值，则确定未丢失。在根据当前图像预设区域的特征信息与特征模型的相似度确定跟踪结果的可信度时，可以使用图像第一种特征信息确定，也可以使用图像的多种特征信息进行信息融合后确定。
步骤S108，在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。
在一种可选的实施例中，上述方案可以用于跟踪判丢的过程，即判断跟踪目标是否丢失的过程，在一种可选的实施例中，以跟踪目标为一个特定人物为例，跟踪任务为在多个视频中跟踪该特定人物，在对视频的每一帧图像进行分析后，都能过得到一个确定是否跟丢的判断结果，如果检测到当前帧图像预设区域的特征信息与特征模型的相似度高于预设值，则确定未跟丢，以当前帧图像中的跟踪结果来更新特征模型后继续进行跟踪，如果检测到当前帧图像预设区域的特征信息与特征模型的相似度低于预设值，则确定当前帧图像已跟丢，并进入找回原跟踪目标的步骤。
在另一种可选的实施例中，上述方案可以用于在跟踪目标丢失后重新找回原跟踪目标的过程，例如，在确定当前帧图像已跟丢的情况下，可以最近更新的跟踪模型，即上一帧跟踪模型为依据来找回跟踪目标，由于上一帧图像为未跟丢的状态，因此得到上一帧图像的跟踪结果后还更新了跟踪目标的特征模型，从而使得用于找回跟踪目标的特征模型为最接近的特征模型。
此处需要说明的是，由于特定任务在视频中可能出于动态的状态，且视频中其他环境信息也随着时间而改变，也就是说特定任务的外形在视频为不断变化的，且视频中的光照、环境也是变化的，因此单纯的通过跟踪目标的外形来进行跟踪或再找回是十分困难的，进一步的，一直使用最初确定的跟踪目标的特征模型来进行跟踪也并不能得到准确的结果，因此，上述方案引入的跟踪目标的特征模型能够有效的在跟踪或再找回的过程中去除环境的变化或跟踪目标外形的变化的影响，从而升级了跟踪模型的鲁棒性。
由上可知，本申请上述步骤获取跟踪目标以及跟踪目标的图像区域，从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型，根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。上述方案根据跟踪目标的图像区域的特征信息构建特征模型，并在跟踪过程中不断的根据不同的跟踪结果对特征模型进行更新，以特征模型作为跟踪模型来进行跟踪，从而提高了跟踪模型的鲁棒性，进而解决了现有跟踪技术中跟踪目标的再识别技术鲁棒性差的技术问题。
可选的，根据本申请上述实施例，步骤S102，根据特征信息构造特征模型，包括：
步骤S1021，通过从跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到特征模型。
在一种可选的实施例中，以特征信息为图像的颜色特征信息为例，对应的特征模型即为颜色特征模型，可以选定跟踪目标，对选定的目标图像区域提取颜色特征，这里使用颜色直方图作为颜色特征信息，原始的模型由N个颜色直方图组成，初始化阶段用选定的跟踪目标图像提取的归一化后的特征直方图h0来替换原始模型中的N个直方图。
可选的，根据本申请上述实施例，步骤S108，根据当前帧图像的跟踪结果更新特征模型，包括：
步骤S1081，对获取到的当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的多个特征信息。
步骤S1083，获取预设概率。
步骤S1085，通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换特征模型中的任意一个特征信息，以更新特征模型。
由上可知，本申请上述方案通过当前帧图像的特征信息以预设概率替换特征模型中的任意一个信息来更新特征模型，以使特征模型能够跟随跟踪目标的变化而变化，一方面，能够确保在新的模型中引入最新的目标特征，另一方面，引入的随机性能够有效地保留目标跟踪的历史过程中各个时刻的特征，从而保证模型中特征信息的多样性，从而提高模型的鲁棒性，进而尽可能的减小视频中环境、光线等对跟踪的影响。
可选的，根据本申请上述实施例，步骤S1083，获取预设概率，包括：
步骤S1083a，获取当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离。
步骤S1083b，通过如下公式获取预设概率：
Figure BDA0001200626700000071
其中，p为预设概率，dmedian为特征信息与最近一次更新的特征模型的巴氏距离，σ为预设常数。
具体的，上述预设常数σ用于确定控制更新的概率。
可选的，根据本申请上述实施例，步骤S1083a，获取当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离，包括：确定当前帧图像的特征信息与最近一次更新的模型中的多个特征信息的多个巴氏距离的中值为特征信息与最近一次更新的模型的巴氏距离。
在一种可选的实施例中，以当前帧图像的特征信息为ht为例，可以逐个计算ht与N个直方图的巴氏距离得到di,i＝1,2,3…,N，将di进行升序排列，取中值dmedian作为ht与该模型的距离。
进一步地，判断跟踪目标是否丢失的过程中，可以使用上述计算得到的1-dmedian作为颜色置信度；在跟踪目标重找回步骤中，也可以使用此方法，计算候选目标与跟踪目标的相似度来选择候选目标；上述方案考虑到长时间目标跟踪过程中的环境、光照等变化会带来目标外观的变化，采用N个特征向量来表达目标在不同环境下的特征；在更新时，采用以一定概率随机替换的方式，既保证了模型中N个特征向量的差异性，又保留了目标的历史信息，可以有效地提升长时间跟踪系统的鲁棒性。此外，该模型不限定具体的颜色特征，可以使用最简单的颜色直方图，也可以使用复杂的特征向量计算方法。
可选的，根据本申请上述实施例，步骤S104，从跟踪目标的图像区域中提取特征信息，包括：
步骤S1041，去除跟踪目标的图像区域中的背景图像。
步骤S1043，将去除背景图像的图像区域沿预设方向分割为多个图像。
具体的，上述预设方向可以根据预设跟踪目标来确定，以跟踪目标为行走的人物为例，由于人物行走通常为直立状，因此预设方向可以为竖直方向。
步骤S1045，获取均分后的多个图像的特征信息。
步骤S1047，将均分后的多个图像的特征信息按照分割的顺序进行连接，得到跟踪目标的图像的特征信息。
在一种可选的实施例中，如上述实施例所示，在建模的过程中使用的图像特征为颜色特征，具体的，为Color Name(颜色名)直方图，此外，在计算Color Name直方图之前，先对图像进行Saliency Segmentation(主成分分割)，以去除背景的干扰；以跟踪对象为行走中的人物为例，针对行人多数是直立状态的特点，在计算直方图前，将主成分分割后的图像沿竖直方向均分为M等份，每一块图像单独统计直方图；将M块图像直方图顺序连接后，归一化做为颜色特征信息。
可选的，根据本申请上述实施例，特征信息为图像颜色特征信息，其中，图像颜色特征信息包括：颜色名称信息和/色调信息。
实施例2
根据本发明实施例，提供了一种目标再识别装置的实施例，图2是根据本发明实施例的目标再识别装置的示意图，如图2所示，该装置包括：
获取模块10，用于获取跟踪目标以及跟踪目标的图像区域。
具体的，上述跟踪目标可以是人为指定或通过行人检测器确定的目标，跟踪目标的图像区域可以是人为的在视频的某一帧图像中指出的包含跟踪目标的区域，或通过行人检测器在视频的某一帧确定的图像区域。
构造模块20，用于从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型。
具体的，上述提取的特征可以是图像的颜色特征、边缘特征等，由于跟踪目标在视频中通常是动态的，因此仅以跟踪目标的外形为模型跟踪具有一定的难度，且准确度较低，但通常对于视频中的连续图像来说，跟踪目标及时外形随着时间戳的变动而不断变化，但图像的特征通常保持一致，因此上述步骤通过提取的图像特征来构造模型。
确定模块30，用于根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，跟踪结果的可信度由当前帧图像预设区域的特征信息与特征模型的相似度确定。
具体的，上述跟踪结果包括图像中跟踪目标的区域和可信度，上述跟踪目标的跟踪状态可以包括未丢失、可信度低以及丢失三种状态。在一种可选的实施例中，可以设置可信度阈值，如果确定跟踪结果的可信度超过预设的可信度阈值，则确定未丢失。在根据当前图像预设区域的特征信息与特征模型的相似度确定跟踪结果的可信度时，可以使用图像第一种特征信息确定，也可以使用图像的多种特征信息进行信息融合后确定。
更新模块40，用于在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。
此处需要说明的是，由于特定任务在视频中可能出于动态的状态，且视频中其他环境信息也随着时间而改变，也就是说特定任务的外形在视频为不断变化的，且视频中的光照、环境也是变化的，因此单纯的通过跟踪目标的外形来进行跟踪或再找回是十分困难的，进一步的，一直使用最初确定的跟踪目标的特征模型来进行跟踪也并不能得到准确的结果，因此，上述方案引入的跟踪目标的特征模型能够有效的在跟踪或再找回的过程中去除环境的变化或跟踪目标外形的变化的影响，从而升级了跟踪模型的鲁棒性。
由上可知，本申请上述方案通过获取模块获取跟踪目标以及跟踪目标的图像区域，通过构造模块从跟踪目标的图像区域中提取特征信息，并根据特征信息构造特征模型，通过确定模块根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，通过更新模块在根据跟踪状态确定跟踪目标未丢失的情况下，根据当前帧图像的跟踪结果更新特征模型。上述方案歌剧跟踪目标的图像区域的特征信息构建特征模型，并在跟踪过程中不断的根据不同的跟踪结果对特征模型进行更新，以特征模型作为跟踪模型来进行跟踪，从而提高了跟踪模型的鲁棒性，进而解决了现有跟踪技术中跟踪目标的再识别技术鲁棒性差的技术问题。
可选的，根据本申请上述实施例，上述构造模块包括：
初始化子模块，用于通过从跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到特征模型。
可选的，根据本申请上述实施例，上述更新模块包括：
提取子模块，用于对获取当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的多个特征信息；
第一获取子模块，用于获取预设概率；
替换子模块，用于通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换特征模型中的任意一个特征信息，以更新特征模型。
可选的，根据本申请上述实施例，上述第一获取子模块包括：
获取单元，用于获取当前帧图像的多个特征信息与最近一次更新的特征模型的巴氏距离；
计算单元，用于通过如下公式获取预设概率：
Figure BDA0001200626700000101
其中，p为预设概率，dmedian为特征信息与最近一次更新的特征模型的巴氏距离，σ为预设常数。
可选的，根据本申请上述实施例，上述获取单元包括：
确定子单元，用于确定当前帧图像的特征信息与最近一次更新的模型的多个巴氏距离的中值为多个特征信息与最近一次更新的模型的巴氏距离。
可选的，根据本申请上述实施例，上述构造模块包括：
去除背景子模块，用于去除跟踪目标的图像区域中的背景图像；
分割子模块，将去除背景图像的图像区域沿预设方向分割为多个图像；
第二获取子模块，用于获取均分后的多个图像的特征信息；
连接子模块，用于将均分后的多个图像的特征信息按照分割的顺序进行连接，得到跟踪目标的图像的特征信息。
可选的，根据本申请上述实施例，上述特征信息为图像颜色特征信息，其中，图像颜色特征信息包括：颜色名称信息和/色调信息。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种目标再识别方法，其特征在于，包括：
获取跟踪目标以及所述跟踪目标的图像区域；
从所述跟踪目标的图像区域中提取特征信息，并根据所述特征信息构造特征模型；
根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，所述跟踪结果的可信度由所述当前帧图像预设区域的特征信息与所述特征模型的相似度确定；
在根据所述跟踪状态确定所述跟踪目标未丢失的情况下，根据所述当前帧图像的跟踪结果更新所述特征模型；
其中，根据所述当前帧图像的跟踪结果更新所述特征模型，包括：
对获取的当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的特征信息；
获取预设概率；
通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换所述特征模型中的任意一个特征信息，以更新所述特征模型。
2.根据权利要求1所述的方法，其特征在于，根据所述特征信息构造特征模型，包括：
通过从所述跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到所述特征模型。
3.根据权利要求1所述的方法，其特征在于，获取预设概率，包括：
获取所述当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离；
通过如下公式获取所述预设概率：
Figure FDA0002988451830000011
其中，所述p为所述预设概率，所述dmedian为所述特征信息与所述最近一次更新的特征模型的巴氏距离，所述σ为预设常数。
4.根据权利要求3所述的方法，其特征在于，获取所述当前帧图像的特征信息与所述最近一次更新的特征模型的巴氏距离，包括：
确定所述当前帧图像的特征信息与所述最近一次更新的模型中的多个特征信息的多个巴氏距离的中值为所述特征信息与所述最近一次更新的模型的巴氏距离。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，从所述跟踪目标的图像区域中提取特征信息，包括：
去除所述跟踪目标的图像区域中的背景图像；
将去除所述背景图像的所述图像区域沿预设方向分割为多个图像；
获取均分后的所述多个图像的特征信息；
将均分后的所述多个图像的特征信息按照分割的顺序进行连接，得到所述跟踪目标的图像的特征信息。
6.根据权利要求1至4中任意一项所述的方法，其特征在于，所述特征信息为图像颜色特征信息，其中，所述图像颜色特征信息包括：颜色名称信息和/或色调信息。
7.一种目标再识别装置，其特征在于，包括：
获取模块，用于获取跟踪目标以及所述跟踪目标的图像区域；
构造模块，用于从所述跟踪目标的图像区域中提取特征信息，并根据所述特征信息构造特征模型；
确定模块，用于根据当前帧图像的跟踪结果的可信度确定跟踪目标的跟踪状态，其中，所述跟踪结果的可信度由所述当前帧图像预设区域的特征信息与所述特征模型的相似度确定；
更新模块，用于在根据所述跟踪状态确定所述跟踪目标未丢失的情况下，根据所述当前帧图像的跟踪结果更新所述特征模型；
所述更新模块包括：
提取子模块，用于对获取当前帧图像的跟踪结果的图像区域进行特征提取，并进行归一化处理，得到对应的特征信息；
第一获取子模块，用于获取预设概率；
替换子模块，用于通过获取的当前帧图像对应的特征信息中的预设特征信息以预设概率替换所述特征模型中的任意一个特征信息，以更新所述特征模型。
8.根据权利要求7所述的装置，其特征在于，所述构造模块包括：
初始化子模块，用于通过从所述跟踪目标的图像区域中提取的特征信息替换预设模型中的原始特征信息，得到所述特征模型。
9.根据权利要求7所述的装置，其特征在于，所述第一获取子模块包括：
获取单元，用于获取所述当前帧图像的特征信息与最近一次更新的特征模型的巴氏距离；
计算单元，用于通过如下公式获取所述预设概率：
Figure FDA0002988451830000031
其中，所述p为所述预设概率，所述dmedian为所述特征信息与所述最近一次更新的特征模型的巴氏距离，所述σ为预设常数。
10.根据权利要求9所述的装置，其特征在于，所述获取单元包括：
确定子单元，用于确定所述当前帧图像的特征信息与所述最近一次更新的模型中的多个特征信息的多个巴氏距离的中值为所述特征信息与所述最近一次更新的模型的巴氏距离。
11.根据权利要求7至10中任意一项所述的装置，其特征在于，所述构造模块包括：
去除背景子模块，用于去除所述跟踪目标的图像区域中的背景图像；
分割子模块，将去除所述背景图像的所述图像区域沿预设方向分割为多个图像；
第二获取子模块，用于获取均分后的所述多个图像的特征信息；
连接子模块，用于将均分后的所述多个图像的特征信息按照分割的顺序进行连接，得到所述跟踪目标的图像的特征信息。
12.根据权利要求7至10中任意一项所述的装置，其特征在于，所述特征信息为图像颜色特征信息，其中，所述图像颜色特征信息包括：颜色名称信息和/色调信息。
13.根据权利要求11所述的装置，其特征在于，所述特征信息为图像颜色特征信息，其中，所述图像颜色特征信息包括：颜色名称信息和/色调信息。
CN201611265859.0A 2016-12-30 2016-12-30 目标再识别方法和装置 Active CN108268823B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611265859.0A CN108268823B (zh) 2016-12-30 2016-12-30 目标再识别方法和装置
PCT/CN2017/116330 WO2018121287A1 (zh) 2016-12-30 2017-12-15 目标再识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611265859.0A CN108268823B (zh) 2016-12-30 2016-12-30 目标再识别方法和装置

Publications (2)

Publication Number Publication Date
CN108268823A CN108268823A (zh) 2018-07-10
CN108268823B true CN108268823B (zh) 2021-07-20

Family

ID=62710168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611265859.0A Active CN108268823B (zh) 2016-12-30 2016-12-30 目标再识别方法和装置

Country Status (2)

Country Link
CN (1) CN108268823B (zh)
WO (1) WO2018121287A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034109B (zh) * 2018-08-16 2021-03-23 新智数字科技有限公司 一种基于聚类算法的行人重识别方法和装置
CN111127508B (zh) * 2018-10-31 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN109635657B (zh) * 2018-11-12 2023-01-06 平安科技（深圳）有限公司 目标跟踪方法、装置、设备及存储介质
CN111753601B (zh) * 2019-03-29 2024-04-12 华为技术有限公司 一种图像处理的方法、装置以及存储介质
CN110907909B (zh) * 2019-10-30 2023-09-12 南京市德赛西威汽车电子有限公司 一种基于概率统计的雷达目标识别方法
CN112784648B (zh) * 2019-11-07 2022-09-06 中国科学技术大学 一种优化视频行人重识别系统特征提取的方法及装置
CN112927258A (zh) * 2019-11-21 2021-06-08 株式会社日立制作所 一种目标跟踪方法及装置
CN111709978A (zh) * 2020-05-06 2020-09-25 广东康云科技有限公司 一种跨屏目标跟踪方法、系统、装置及存储介质
CN111738063B (zh) * 2020-05-08 2023-04-18 华南理工大学 船舶目标跟踪方法、系统、计算机设备及存储介质
CN111860190B (zh) * 2020-06-24 2024-04-12 国汽(北京)智能网联汽车研究院有限公司 目标追踪的方法、装置、设备及存储介质
CN114545418A (zh) * 2020-11-26 2022-05-27 上海汽车集团股份有限公司 一种障碍物定位方法、装置、设备及车辆
CN113536914A (zh) * 2021-06-09 2021-10-22 重庆中科云从科技有限公司 一种对象跟踪识别方法、系统、设备及介质
CN113743262A (zh) * 2021-08-23 2021-12-03 浙江大华技术股份有限公司 目标区域车辆跟踪方法、装置、计算机设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590999B1 (en) * 2000-02-14 2003-07-08 Siemens Corporate Research, Inc. Real-time tracking of non-rigid objects using mean shift
CN101888479A (zh) * 2009-05-14 2010-11-17 汉王科技股份有限公司 检测和跟踪目标图像的方法及装置
CN102339390A (zh) * 2011-09-16 2012-02-01 天津市亚安科技股份有限公司 一种视频监控系统目标模板的更新方法及系统
CN104020466A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于变结构多模型的机动目标跟踪方法
CN104036523A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN104240266A (zh) * 2014-09-04 2014-12-24 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104252178A (zh) * 2014-09-12 2014-12-31 西安电子科技大学 一种基于强机动的目标跟踪方法
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN105931269A (zh) * 2016-04-22 2016-09-07 海信集团有限公司 一种视频中的目标跟踪方法及装置
CN106023155A (zh) * 2016-05-10 2016-10-12 电子科技大学 基于水平集的在线目标轮廓跟踪方法
CN106056627A (zh) * 2016-05-30 2016-10-26 河海大学 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
CN106097385A (zh) * 2016-05-31 2016-11-09 海信集团有限公司 一种目标跟踪的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901486B (zh) * 2009-11-17 2012-10-03 华为技术有限公司 运动目标检测方法和装置
CN105654508B (zh) * 2015-12-24 2018-06-01 武汉大学 基于自适应背景分割的监控视频移动目标跟踪方法及系统
CN105930833B (zh) * 2016-05-19 2019-01-22 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590999B1 (en) * 2000-02-14 2003-07-08 Siemens Corporate Research, Inc. Real-time tracking of non-rigid objects using mean shift
CN101888479A (zh) * 2009-05-14 2010-11-17 汉王科技股份有限公司 检测和跟踪目标图像的方法及装置
CN102339390A (zh) * 2011-09-16 2012-02-01 天津市亚安科技股份有限公司 一种视频监控系统目标模板的更新方法及系统
CN104020466A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于变结构多模型的机动目标跟踪方法
CN104036523A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN105405154A (zh) * 2014-09-04 2016-03-16 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104240266A (zh) * 2014-09-04 2014-12-24 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104252178A (zh) * 2014-09-12 2014-12-31 西安电子科技大学 一种基于强机动的目标跟踪方法
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN105931269A (zh) * 2016-04-22 2016-09-07 海信集团有限公司 一种视频中的目标跟踪方法及装置
CN106023155A (zh) * 2016-05-10 2016-10-12 电子科技大学 基于水平集的在线目标轮廓跟踪方法
CN106056627A (zh) * 2016-05-30 2016-10-26 河海大学 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
CN106097385A (zh) * 2016-05-31 2016-11-09 海信集团有限公司 一种目标跟踪的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于前景概率函数的目标跟踪";周斌等;《北京理工大学学报》;20110430;第31卷(第4期);第443页第3.2节 *
"自适应分块的多特征融合多目标跟踪";别秀德等;《西安电子科技大学学报（自然科学版）》;20160929;第44卷(第2期);第152-154页第2节 *

Also Published As

Publication number Publication date
WO2018121287A1 (zh) 2018-07-05
CN108268823A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN108268823B (zh) 目标再识别方法和装置
US11302315B2 (en) Digital video fingerprinting using motion segmentation
CN108229456B (zh) 目标跟踪方法和装置、电子设备、计算机存储介质
JP6619634B2 (ja) 画像処理装置及び画像処理方法
US10121068B2 (en) Information processing apparatus, information processing method and program
CN107346409B (zh) 行人再识别方法和装置
US9478039B1 (en) Background modeling and foreground extraction method based on depth image
JP6062791B2 (ja) 尤度最大化を用いたナンバープレートの文字分割
EP3373248A1 (en) Method, control device, and system for tracking and photographing target
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
US20070154066A1 (en) Object tracking systems and methods
US10007678B2 (en) Image processing apparatus, image processing method, and recording medium
US20160070976A1 (en) Image processing apparatus, image processing method, and recording medium
CN103971386A (zh) 一种动态背景场景下的前景检测方法
US9105109B2 (en) Method for superpixel life cycle management
JP6947508B2 (ja) 移動物体検出装置、移動物体検出システム、及び移動物体検出方法
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
Khorrami et al. Multiple animal species detection using robust principal component analysis and large displacement optical flow
CN113963303A (zh) 图像处理方法、视频识别方法、装置、设备及存储介质
JP2017084006A (ja) 画像処理装置およびその方法
KR101489216B1 (ko) 직선을 기반으로 장소를 인식하는 방법 및 장치
Xu et al. Unsupervised saliency estimation based on robust hypotheses
Meenatchi et al. Multiple object tracking and segmentation in video sequences
JP6468642B2 (ja) 情報端末装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant