[go: up one dir, main page]

CN111753601B - 一种图像处理的方法、装置以及存储介质 - Google Patents

一种图像处理的方法、装置以及存储介质 Download PDF

Info

Publication number
CN111753601B
CN111753601B CN201910252271.9A CN201910252271A CN111753601B CN 111753601 B CN111753601 B CN 111753601B CN 201910252271 A CN201910252271 A CN 201910252271A CN 111753601 B CN111753601 B CN 111753601B
Authority
CN
China
Prior art keywords
information
target object
component
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910252271.9A
Other languages
English (en)
Other versions
CN111753601A (zh
Inventor
白博
胡芝兰
陈茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910252271.9A priority Critical patent/CN111753601B/zh
Publication of CN111753601A publication Critical patent/CN111753601A/zh
Application granted granted Critical
Publication of CN111753601B publication Critical patent/CN111753601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法，包括：从N张目标图像的每张目标图像中获取多个部件中每个部件的包括遮挡程度信息和特征数据的第一信息，多个部件为用于目标对象识别的部件，N为大于1的整数；根据每个部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息；对每个部件的融合特征信息进行拼接以得到用于目标对象识别的整体特征信息。本申请实施例还提供相应的装置及存储介质。本申请技术方案基于目标对象组成部件的每个部件在多个图像中的遮挡程度对每个部件进行特征融合，并对多个部件进行特征拼接，得到目标对象的整体描述，从而解决遮挡部件无法被正确描述的问题，提升遮挡情况下的识别正确率。

Description

一种图像处理的方法、装置以及存储介质
技术领域
本申请涉及多媒体数据处理技术领域，具体涉及一种图像处理的方法、装置以及存储介质。
背景技术
我国平安城市建设发展迅速，利用众多的视频监控摄像头快速、准确获取场景中的人像信息对安防和公安刑侦业务十分重要。随着摄像头网络规模和数量不断增加，所监控区域的环境越来越多样，人工分析视频图像因其效率低下、需要耗用大量人力资源而越来越跟不上当前业务发展的需求。一方面，尽管基于人工智能技术的人脸识别在交通卡口和摄像头角度适合的情况下能够正常工作，但是多数监控中的人脸因图像质量不满足要求而无法进行识别；另一方面，利用视频监控进行案件侦破时，多数场合只能看清行人的身体部分，需要进行跨视域的连续跟踪查找。为了解决上述问题，基于人体特征的行人识别方案越来越受到重视。这种方案采用了行人重识别(person re-identification，person re-ID)技术，也称行人再识别，简称为ReID，可以弥补目前固定的摄像头的视觉局限，利用计算机视觉技术判断图像或者视频序列中是否存在特定行人，可以帮助人们自动完成从海量图像或者视频数据中搜寻特定人员的任务，从而可以很好的解决基于人脸识别方法的种种问题。
现有技术中基于人体的行人重识别技术，是将行人的图像当做一个整体进行识别，在人体未被遮挡的情况下，识别准确率较高。然而，由于人体形状不规则且易发生形变，且在人员拥挤密集的情况下，很容易发生遮挡，人体被遮挡的情况下，被遮挡部位常常无法被正确描述，从而引起遮挡情况下的人员识别错误，这阻碍了基于人体特征的行人识别方案的大规模使用，成为制约平安城市推进的一大瓶颈。
发明内容
本申请实施例提供一种图像处理方法、装置以及存储介质，能够解决人体遮挡部件无法被正确描述的问题，提升遮挡情况下的人体识别正确率。
有鉴于此，本申请第一方面提供一种图像处理方法，包括：从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，每个部件的第一信息包括每个部件的遮挡程度信息和每个部件的特征数据，遮挡程度信息为指示该部件在目标图像中被遮挡的程度的信息，部件的特征数据可以是部件的颜色直方图信息、方向梯度图信息或者深度学习特征等，多个部件为用于目标对象识别的部件，目标对象可以是处于各种不同状态的人，如行人、跑步者、骑行者等，多个部件可以是组成目标对象的部件，如组成目标对象人体的头部、躯干、四肢等部件，N为大于1的整数，N张图像为每张图像中都包含目标对象的至少两张图像，例如可以是若干个连续帧组中包含目标对象的N帧图像；根据每个部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息，每个部件的融合特征信息是由该部件在N张目标图像中的N组遮挡程度信息和特征数据得到的；对每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息，例如，多个部件可以是人体组成部件的头部、躯干和四肢，在分别得到该三个部件对应的融合特征信息后，将三者进行拼接，即可得到目标对象的整体描述，目标对象的整体特征信息用于目标对象的识别。由以上第一方面可知，以目标对象组成部件的各个部件为基础，根据每个部件在多个图像中的遮挡程度对每个部件的多个特征进行特征融合得到每个部件对应的融合特征，并将多个部件的融合特征进行拼接最终得到用于识别目标对象的人体组成部件的整体描述，从而可以解决遮挡情况下人体部件缺失，遮挡部分无法被正确描述的问题，提升遮挡情况下的识别正确率。
可选地，结合上述第一方面，在第一种可能的实现方式中，根据每个部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息，包括：根据每个部件在N张目标图像中的遮挡程度信息，计算每个部件的N个特征数据的加权平均值，加权平均值为融合特征信息。由以上第一方面第一种可能的实现方式可知，根据每个部件在目标图像中的遮挡程度信息，计算每个部件在N个目标图像的特征数据的加权平均值，得到能够较好描述各个部件的特征数据，可以较为准确的对目标对象各个部件进行描述，从而提升识别的准确率。
可选地，结合上述第一方面或者第一方面第一种可能的实现方式，在第二种可能的实现方式中，从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息之前，还包括：获取对目标对象进行跟踪所产生的M张序列图像，M张序列图像是指目标对象在同一跟踪轨迹中至少M个时刻的图像，例如可以是利用目标跟踪技术得到的该目标对象的一系列跟踪图像，M张序列图像中所述目标对象处于Q个不同状态，Q个不同状态中的状态可以是指目标对象的朝向以及对应的运动状态等状态；从M张序列图像中选择信息互补的N张目标图像，N张目标图像中Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，P个部件为多个部件的子集，P个部件为M张序列图像中出现过的部件，M为大于或等于N的整数。由以上第一方面第二种可能的实现方式可知，由于M张序列图像中目标对象处于Q个不同状态，Q个状态中的每个状态均可能存在多张序列图像，因此可以选取出信息最互补的若干张序列图像作为目标对象识别中需要使用到的N张目标图像，从而降低信息处理的计算量，提升目标对象的分析识别效率。
可选地，结合上述第一方面第二种可能的实现方式，在第三种可能的实现方式中，从M张序列图像中选择信息互补的N张目标图像，包括：从M张序列图像中每一张序列图像中获取目标对象的状态和每个部件的遮挡程度；在根据每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提条件下，从Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到N张目标图像。由以上第一方面第三种可能的实现方式可知，通过首先分析出每张序列图像中目标对象的状态和每个部件的遮挡程度，从而在保证每个部件至少出现一次的前提下，从每个状态下选取至少一张序列图像，即保证了每个部件均至少出现了一次，还保证了目标对象的每个状态也至少出现了一次，从而保证了选取的目标图像的信息最大化，也进一步的保证了目标对象整体特征信息的准确性。
可选地，结合上述第一方面第三种可能的实现方式，在第四种可能的实现方式中，Q个不同状态中的每个状态至少包括两个状态层级，至少两个状态层级包括第一状态层级和第二状态层级，在根据每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提条件下，从Q个不同状态的每个状态对应的序列图像中至少选取一张序列图像，以得到N张目标图像，包括：将M张序列图像按照第一状态层级所对应的状态进行第一层级分类；将第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，Q个分类样本对应于Q个不同状态；在根据每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提下，在Q个分类样本的每个分类样本中选取至少一个第一序列图像，第一序列图像为分类样本中清晰度由高到低排序排名在前的序列图像，以得到N张目标图像。由以上第一方面第四种可能的实现方式可知，通过对M个序列图像进行不同层级的状态分类，再在每个分类样本中进行目标图像的选择，从而可以保证目标对象的每个状态均被选取，选取的目标图像的信息是最互补的，从而保证目标对象的整体特征信息的精确性。
可选地，结合上述第一方面第三种或第四种可能的实现方式，在第五种可能的实现方式中，从M张序列图像中每一张序列图像中获取目标对象的状态和每个部件的遮挡程度，包括：检测目标对象在每张序列图像上的位置信息；根据目标对象的位置信息去除每张序列图像的背景以得到M张前景图像，前景图像仅包括目标对象；对M张前景图像中的目标对象进行跟踪以得到目标对象的时间序列，以及对目标对象进行部件分割以得到部件分割结果；根据时间序列和目标对象的位置信息确定每张序列图像中目标对象的状态，根据部件分割结果确定每个部件的遮挡程度。由以上第一方面第五种可能的实现方式可知，通过首先检测目标对象在每张序列图像上的位置，再根据位置信息去除背景，再对目标对象进行跟踪以及部件分割，不但很好的减轻了复杂背景对目标对象的干扰，解决了由于姿态变化带来的人体无法配准的问题，还解决了遮挡部件无法被正确描述的问题，从而很好的提升了识别的正确率。
可选地，结合上述第一方面、第一方面第一种至第五种中任意一种可能的实现方式，在第六种可能的实现方式中，对每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息之后，还包括：获取参考图像中参考对象的整体特征信息；根据多个部件中每个部件的权重信息，计算目标对象的整体特征信息和参考对象的整体特征信息之间的距离，以得到目标对象与参考对象的相似度信息，相似度信息用于指示人体识别的查询结果。由以上第一方面第六种可能的实现方式可知，通过计算整体特征信息之间距离，从而得到相似度信息，从而保证行人识别结果的精确性。
可选地，结合上述第一方面第六种可能的实现方式，在第七种可能的实现方式中，根据多个部件中每个部件的权重信息，计算目标对象的整体特征信息和参考对象的整体特征信息之间的距离之后，还包括：当距离小于预置数值时，进行警报提示。由以上第一方面第六种可能的实现方式可知，通过设置预置数值，对相似度满足预置数值的对象进行自动报警，从而节省了人力资源的使用，识别方案具有很好的实用性。
本申请第二方面提供一种图像处理装置，包括：第一获取模块，用于从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，每个部件的第一信息包括每个部件的遮挡程度信息和每个部件的特征数据，多个部件为用于目标对象识别的部件，N为大于1的整数；确定模块，用于根据第一获取模块获取的每个部件在目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息；拼接模块，用于对确定模块确定的每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息，目标对象的整体特征信息用于目标对象的识别。
可选地，结合上述第二方面，在第一种可能的实现方式中，该确定模块，用于根据第一获取模块获取的每个部件在N张目标图像中的遮挡程度信息，计算每个部件的N个特征数据的加权平均值，加权平均值为融合特征信息。
可选地，结合上述第二方面或第二方面第一种可能的实现方式，在第二种可能的实现方式中，该装置还包括：第二获取模块，用于在第一获取模块从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息之前，获取对目标对象进行跟踪所产生的M张序列图像，M张序列图像中目标对象处于Q个不同状态；选择模块，用于从第二获取模块获取的M张序列图像中选择信息互补的N张目标图像，N张目标图像中Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，P个部件为多个部件的子集，P个部件为M张序列图像中出现过的部件，M为大于或等于N的整数。
可选地，结合上述第二种可能的实现方式，在第三种可能的实现方式中，该选择模块包括：获取单元，用于从第二获取模块获取的M张序列图像中每一张序列图像中获取目标对象的状态和每个部件的遮挡程度；选取单元，用于在根据获取单元获取的每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提条件下，从Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到N张目标图像。
可选地，结合上述第三种可能的实现方式，在第四种可能的实现方式中，Q个不同状态中的每个状态至少包括两个状态层级，至少两个状态层级包括第一状态层级和第二状态层级，该选取单元，用于将M张序列图像按照第一状态层级所对应的状态进行第一层级分类；将第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，Q个分类样本对应于Q个不同状态；在根据每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提下，在Q个分类样本的每个分类样本中选取至少一个第一序列图像，第一序列图像为分类样本中清晰度由高到低排序排名在前的序列图像，以得到N张目标图像。
可选地，结合上述第三种或第四种可能的实现方式，在第五种可能的实现方式中，该获取单元，用于检测目标对象在每张序列图像上的位置信息；根据目标对象的位置信息去除每张序列图像的背景以得到M张前景图像，前景图像仅包括目标对象；对M张前景图像中的目标对象进行跟踪以得到目标对象的时间序列，以及对目标对象进行部件分割以得到部件分割结果；根据时间序列和目标对象的位置信息确定每张序列图像中目标对象的状态，根据部件分割结果确定每个部件的遮挡程度。
可选地，结合上述第二方面、第二方面第一种至第五种中任意一种可能的实现方式，在第六种可能的实现方式中，该装置还包括：第三获取模块，用于在拼接模块对每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息之后，获取参考图像中参考对象的整体特征信息；计算模块，用于根据多个部件中每个部件的权重信息，计算拼接模块得到的目标对象的整体特征信息和第三获取模块获取的参考对象的整体特征信息之间的距离，以得到目标对象与参考对象的相似度信息，相似度信息用于指示人体识别的查询结果。
可选地，结合上述第六种可能的实现方式，在第七中可能的实现方式中，该装置还包括：警报模块，用于在计算模块计算的目标对象的整体特征信息和参考对象的整体特征信息之间的距离小于预置数值时，进行警报提示。
本申请第三方面提供一种计算机设备，该计算机设备包括处理器和存储有计算机程序的计算机可读存储介质；处理器与计算机可读存储介质耦合，计算机程序被处理器执行时实现第一方面及第一方面的任一可能的实现方式中提供的图像处理方法。
本申请第四方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的图像处理方法。
本申请第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的图像处理方法。
本申请实施例采用一种图像处理方法，以目标对象组成部件的各个部件为基础，根据每个部件在多个图像中的遮挡程度对每个部件的多个特征进行特征融合从而得到每个部件对应的融合特征，将多个部件的融合特征进行拼接最终得到用于识别目标对象的人体组成部件的整体描述，从而解决遮挡情况下人体部件缺失，遮挡部分无法被正确描述的问题，提升遮挡情况下的识别正确率。
附图说明
图1是本申请实施例提出的图像处理方法所涉及的系统架构图；
图2是本申请实施例提供的图像处理方法的一个实施例示意图；
图3是本申请实施例提供的图像处理方法的另一个实施例示意图；
图4(a)是利用目标跟踪技术得到的一系列跟踪图像的示意图；
图4(b)是行人的朝向状态示意图；
图4(c)是行人的运动状态示意图；
图5是本申请实施例中图像处理的结果示意图；
图6是本申请实施例提供的图像处理方法的另一个实施例示意图；
图7是本申请实施例提供的图像处理装置的一个实施例示意图；
图8是本申请实施例提供的图像处理装置的另一个实施例示意图；
图9是本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着计算机视角技术、人工智能计算框架的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一种常见的应用场景中，对于一个特定行人，通常需要进行跨视域的连续跟踪查找。针对该多视域场景下人体形状不规则，且随着动作的变化而产生较大的形变，使得图像配准变得困难的问题，一种常见的方法是基于神经网络和深度学习算法的行人再识别方法，通过引入部件信息，从人体的全身图像中提取人体各部位的特征作为识别特征，在一定程度上解决由于人体非缸体导致的对齐困难。然而，该场景下除了上述问题之外，人体被遮挡更是一个常见问题，在人员密集或者障碍物遮挡等多数场合中，仅能获取到行人的部分身体，无法获取人体完整的全身图像，从而导致识别的准确度较低。
因此，本申请实施例提供一种图像处理方法，通过对监控视频中目标行人的多个图像进行人体各个部件的特征提取和相同部件的特征融合，最终得到目标行人的全部人体部件的整体描述，从而解决人体遮挡部件无法被正确描述的问题，提升遮挡情况下的人体识别正确率。本申请实施例还提供相应的装置及存储介质。以下分别进行详细说明。
首先对本申请实施例中所涉及的系统架构进行介绍，请参阅图1。
图1为本申请实施例提出的图像处理方法所涉及的系统架构图。
参见图1，该系统架构中主要包括服务器、摄像设备、终端以及存储设备。
其中，摄像设备具体可以为网络摄像头(IP camera，IPC)，用于采集监控场景的多媒体数据，并通过网络将采集到的多媒体数据传输至服务器。
服务器在获取到上述多媒体数据后，依次执行在多媒体数据中进行目标对象的多个部件的部件信息提取、根据每个部件的多个信息，对应确定每个部件的融合特征信息，根据每个部件的融合特征信息确定目标对象的整体特征信息等等处理，之后将确定的目标对象的整体特征信息存储到存储设备中，以完成数据库的构建。需要说明的是，当IPC中包括智能芯片，具备计算能力时，上述步骤也可以在IPC上进行。
在进行目标物检索时，一种实现方式为终端向服务器发起对特定目标物的检索请求，在获取到待查询目标对象的整体特征信息后，基于该检索请求在存储于存储设备的多个目标物集合中进行特定目标物的检索，并将得到的检索结果返回给终端。其中，在对特定目标物进行检索时，是基于特定目标物的整体特征信息进行的。
可以理解的是，本申请实施例中还可以是其他的设备(例如，其他的服务器)发起检索请求，或者服务器接收用户发送的检索请求来进行检索，本申请实施例对此不做限定。
可以理解的是，图1所示的系统架构只是示意性的，本申请实施例的方法及思想还可以应用于其他场景中，例如，可以应用与搜索系统、查询系统中，本申请实施例对此不做限定。
还可以理解的是，本申请实施例的方法不限于应用于上述系统中，该方法还可以由单独的检索的设备执行，例如，该单独的检索设备可以是个人计算机、服务器、智能移动设备、车载设备、可穿戴设备等等，本申请实施例对此不做限定。
图2为本申请实施例提供的图像处理方法的一个实施例示意图。
参阅图2，本申请实施例提供的图像处理方法的一个实施例，可以包括：
201、服务器从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，每个部件的第一信息包括每个部件的遮挡程度信息和特征数据，该多个部件为用于目标对象识别的部件，N为大于1的整数。
本申请实施例中，N张目标图像是指每张图像中都包含目标对象的N张图像，例如可以是若干个连续视频帧组中包含目标对象的N帧图像。本申请实施例中的目标对象可以是指处于各种不同状态的人，如行人、跑步者或者骑行者等，多个部件可以是指人体组成的多个人体部件，例如组成人体的头部、躯干、四肢等，可以理解的是，人体组成的多个部件还可以进行更为细致的划分，如四肢还可以进一步的被划分为更小的部件，如上臂和下臂、大腿和小腿以及脚部等，本申请实施例对此不做限定。
本申请实施例中，在接收到N张目标图像之后，服务器首先要对每张目标图像进行分析处理，分别提取每张目标图像中组成目标对象的多个部件的第一信息。如：多个部件为头部、躯干、左上肢、右上肢、左下肢和右下肢这六个组成部件，则服务器需要在每张图像中分别提取头部、躯干、左上肢、右上肢、左下肢和右下肢分别对应的第一信息。
本申请实施例中，部件的第一信息包括该部件在目标图像中的遮挡程度信息和特征数据，除此之外，第一信息中也还可以包含其他类型的信息，本申请实施例对此不做限定。其中，部件在目标图像中的遮挡程度信息是用于指示该部件在目标图像中被遮挡的程度的信息，例如编号为i的目标图像中，部件j未被遮挡，可见度为100％，则该部件j的遮挡程度信息可以用数字1表示，若部件j被遮挡物遮挡了30％，则可见度为70％，该部件j在目标图像i上对应的遮挡程度信息可以用数字0.7表示。部件的特征数据可以是部件的颜色直方图信息、方向梯度直方图(histogram of oriented gradient，HOG)信息或者深度学习(deep learning，DL)特征等，本申请实施例对部件的特征数据的类型不做具体的限定。本申请实施例中，特征提取的内容为现有技术，本处不再进行赘述。
需要说明的是，本申请实施例中的目标对象除了可以是人，也可以是其他的对象，如动物或者交通工具等，对于不同类别的目标对象，可以进行不同的部件划分，本申请实施例对此不做具体的限定。
202、服务器根据每个部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息。
本申请实施例中，组成目标对象的每个部件在N张目标图像中的每张目标图像中均对应于一个第一信息，因此N张目标图像中包含每个部件对应的N个第一信息，即每个部件对应于N组遮挡程度信息及对应的特征数据。服务器根据每个部件在N张目标图像的每张目标图像中的遮挡程度信息和对应的特征数据，可以对应确定每个部件的融合特征信息，即某个部件的融合信息是根据该部件的N组遮挡程度信息和特征数据得到的，部件的融合特征信息用于该部件的识别。
203、服务器对每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息，目标对象的整体特征信息用于目标对象的识别。
本申请实施例中，在确定每个部件的融合特征信息之后，服务器根据每个部件的融合特征信息，确定目标对象的整体特征信息，该整体特征信息为目标对象的各个部件拼接整合在一起后得到的目标对象的整体描述，用于存储在数据库中并用于目标对象的识别。例如，目标对象为人，多个部件指人体组成部件的头部、躯干和四肢，在分别获取到头部对应的融合特征信息、躯干对应的融合特征信息和四肢对应的融合特征信息后，将三者进行拼接，便可以得到可以描述该目标对象的基于多个部件的整体描述的整体特征信息。
本申请实施例采用一种图像处理的方法，以目标对象组成部件的各个部件为基础，根据每个部件在多个图像中的遮挡程度对每个部件的多个特征进行特征融合从而得到每个部件对应的融合特征，将多个部件的融合特征进行拼接最终得到用于识别目标对象的人体组成部件的整体描述，从而解决遮挡情况下人体部件缺失，遮挡部分无法被正确描述的问题，提升遮挡情况下的识别正确率。
图3为本申请实施例提供的图像处理方法的另一个实施例示意图。
参阅图3，本申请实施例提供的图像处理方法的另一个实施例，可以包括：
301、服务器获取对目标对象进行跟踪所产生的M张序列图像，M张序列图像中目标对象处于Q个不同状态。
本申请实施例中，M张序列图像是指目标对象在同一跟踪轨迹中至少M个时刻的图像,例如，可以是利用目标跟踪技术得到的该目标对象的一系列跟踪图像，如图4(a)所示。
本申请实施例中，M张序列图像中目标对象处于Q个不同状态，该Q个不同状态中的状态可以是指目标对象的朝向以及对应的运动状态等状态，例如，目标对象的朝向可以是指目标对象在序列图像中展示的为背面、正面、右侧面或者左侧面，如图4(b)所示的行人的朝向状态示意图，运动状态可以是指目标对象是步行、推车行走或者骑行，不同的运动状态下可能对应着不同的朝向，从而分别对应于Q个不同的状态，如图4(c)所示的行人的运动状态示意图中，运动状态从左到右分别为骑行左侧面、推行右侧面以及步行背面。
302、服务器从M张序列图像中选择信息互补的N张目标图像，该N张目标图像中Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，P个部件为多个部件的子集，P个部件为M张序列图像中出现过的部件，M为大于或等于N的整数。
本申请实施例中，由于M张序列图像中目标对象处于Q个不同状态，Q个状态中的每个状态均可能存在多张序列图像，因此可以选取出信息最互补的若干张序列图像作为目标对象识别中需要使用到的N张目标图像，从而降低信息处理的计算量，提升目标对象的分析识别效率。
服务器从M张序列图像中选取N张目标图像，要使选取的N张目标图像的信息最互补可以是满足以下两个条件：第一，目标对象的Q个不同状态中，每个状态下至少选取一张；第二，M张图像中出现过的目标对象的P个部件，保证每个部件都至少出现过一次。例如：M为100，有100张序列图像，其中，属于骑行左侧面状态的图像有10张，因此，服务器在进行目标图像的选取需要从该10张图像中至少选取一张图像，从而保证N张目标图像中至少包含了一张属于骑行左侧面状态的图像。本申请实施例中，组成目标对象的多个部件可以是人体的组成部件，例如人体构造的头部、躯干、左上肢、右上肢、左下肢和右下肢这六个部件，然而也可能出现人体组成的多个部件其中的某一个或若干个部件在M张序列图像中始终被遮挡或者不存在的情况，例如在M张序列图像中，目标对象的右下肢始终被遮挡或者不存在。因此，在目标对象的Q个不同状态中每个状态下至少选取一张的图像时，还需同时保证若M张序列图像中共出现过目标对象的P个部件，则这P个部件中的每个部件也至少出现过一次。
可选地，本申请实施例中服务器从M张序列图像中选择信息互补的N张目标图像的方法可以是：首先获取M张序列图像中每一张序列图像中目标对象的状态和每个部件的遮挡程度；然后可以根据每个部件的遮挡程度确定选取过程中P个部件中的每个部件至少出现一次，在这个前提条件下，从Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到N张目标图像。
可选地，由于实际应用中，一般获取到的图像不仅包括目标对象，还有目标对象所处的环境背景图，因此，本申请实施例中服务器从M张序列图像中每一张序列图像中获取目标对象的状态和每个部件的遮挡程度可以是如下方法：
首先检测目标对象在每张序列图像上的位置信息，如可以采用目标检测技术获取单帧图像上目标对象的位置；然后根据目标对象的位置信息去除每张序列图像的背景以得到M张前景图像，前景图像为仅包括目标对象，即仅包含该目标对象的干净的像素点集合的图像；接着对M张前景图像中的目标对象进行跟踪可以得到目标对象的时间序列，如可采用目标跟踪技术从而得到人体目标在时间上的序列，以及对目标对象进行部件分割可以得到部件分割结果，例如通过关键点检测、部件分割等部件检测技术可以确定人体组成的各个部件在每张图像上的具体位置，进而能够对部件进行分割；最后根据获取到的时间序列和目标对象的位置信息可以确定每张序列图像中目标对象的状态，根据部件分割结果可以确定每个部件的遮挡程度。上述对M账序列图像中每一张序列图像进行分析处理的过程也可以参阅图5进行理解，图5为本申请实施例中图像处理的结果示意图，如图5中最左边的(a)所示出的是目标对象所处的初始的环境背景图，去除环境背景后的目标对象的前景图像如图5中的(b)所示，图5中的(c)示出的是通过关键点定位的方法确定的各个部件在图像上的具体位置的示意图。
本申请实施例中去除背景像素的方法有多种，例如可以采用“运动目标检测”的算法来去除背景像素，或者采用图像分割算法来去除背景像素，上述的目标检测技术、目标跟踪技术、关键点检测、部件分割等部件检测技术等均为现有技术，不应理解为对本申请实施例的限制，本处在此不进行赘述。
可选地，本申请实施例中Q个不同状态中的每个状态可以至少包括两个状态层级，即第一状态层级和第二状态层级。具体地，如上述步骤301中所述，Q个不同状态中的状态可以是指目标对象的朝向以及对应的运动状态等状态，目标对象的朝向是指目标对象在序列图像中展示的为背面、正面、右侧面或者左侧面，运动状态是指目标对象是步行、推车行走或者骑行，不同的运动状态下还对应着不同的朝向，从而分别对应于Q个不同的状态，如：“骑行左侧面”、“推行右侧面”以及“步行背面”等。可以看出Q个不同的状态均包含两个状态层级，第一状态层级可以是朝向状态如背面、正面、右侧面或者左侧面，第二状态层级可以是运动状态如步行、推车行走或者骑行，以“骑行左侧面”为例，它包括第一状态层级中的“左侧面”，又包括了第二状态层级中的“骑行”。因此，服务器在根据每个部件的遮挡程度确定P个部件中的每个部件至少出现一次的前提条件下，从Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到N张目标图像的具体方法可以是如下步骤：
首先将M张序列图像按照第一状态层级所对应的状态进行第一层级分类，如上所述的朝向状态，按照目标对象在各个序列图像中的不同朝向先将M张序列图像分为“背面”、“正面”、“右侧面”和“左侧面”这四类，当然，若其中一种或者几种朝向在M张序列图像中并不存在，则不用进行该种朝向的分类；再将第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，Q个分类样本对应于Q个不同状态，例如，在前述将M张序列图像按照不同朝向进行了第一状态层级的四个分类之后，可以再按照运动状态将每个类别下的图片分为“骑行”“推行”和“行走”这三类，即第二层级状态的分类，如当第一状态层级“正面”这一类别下有x张序列图像，x小于等于M，这x张序列图像又可以继续根据目标对象在序列图像中的运动状态被分类为“骑行”“推行”和“行走”，从而得到了12个分类样本，对应于12个不同的状态。需要说明的是，对M张序列图像进行不同层级的分类，除了朝向、运动状态，也可以是其他类别的层级分类，除了包含第一层级状态和第二层级状态，还可以进一步地包含第三层级状态或者更多的层级状态，本申请实施例对此不做限定。
接着，根据每个部件的遮挡程度，在从Q个分类样本的每个分类样本中选取至少一个图像时，尽量保证M张序列图像中出现的部件中，每个部件都至少出现一次，从而保证所选取的N个目标图像是信息最互补的图像。需要说明的是，在选取图像的过程中，在满足上述条件的情况下，可以尽量选取部件未被遮挡的图像，与此同时尽量选择分类样本中清晰度较高的图像，清晰度较高的图像一般颜色较为真实、光照均匀，从而提升识别的准确性。
303、服务器从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，每个部件的第一信息包括每个部件的遮挡程度信息和特征数据，多个部件为用于目标对象识别的部件，N为大于1的整数。
本申请实施例中，在选取N张信息最互补的目标图像之后，服务器从该N张目标图像中的每张目标图像中获取组成目标对象的每个部件的第一信息。
本申请实施例中，部件的第一信息包括部件的遮挡程度信息及特征数据。特征数据可以是颜色直方图信息、HOG信息或者DL特征等，例如，可以根据关键点定位技术所确定的每张目标图像中部件的位置信息以及对应的图像内容和去除背景后的分割结果，提取对该部件的DL特征。例如，本申请实施例中N张目标图像中序号为i的目标图像中，部件序号为j的部件的特征数据可以表示为fi j，当该部件j被完全遮挡时，fi j＝φ。本申请实施例中具体的特征提取方法为现有技术的内容，本处不再赘述。遮挡程度信息是用于指示部件的遮挡程度的信息。例如，N张目标图像中的第i张目标图像上，部件j的可视度为30％，即该部件j有70％的部分为被遮挡状态不可见，则第i张目标图像上部件j的遮挡程度可以表示为部件j在目标图像i上的质量评价打分当部件j被完全遮挡时，则该部件j可视度为0时，部件j完全不可见，其质量评价打分为/>
需要说明的是，本申请实施例中的第一信息中除了可以包括部件的特征数据和遮挡程度信息，还可以包含其他类型的信息，本申请实施例对此不做具体的限定。
具体的，本申请实施例也可以参阅图2中的步骤201进行理解。
304、服务器根据每个部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息。
本申请实施例中，N张目标图像中，每个部件在每张目标图像中均对应于一个第一信息，因此每个部件均对应于N个第一信息，服务器根据每个部件的N个第一信息，即N组遮挡程度信息及特征数据，可以对应确定每个部件对应的融合信息。
可选地，服务器根据部件在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别该部件的融合特征信息的方法，可以是根据每张目标图像中该部件的遮挡程度信息计算的该部件的N个特征数据的加权平均值。例如：将组成目标对象的多个部件中的第j个部件在N张目标图像中序号为i的目标图像中特征数据表示为fi j，第i张目标图像上部件j的质量评价打分表示为则部件j的融合特征信息fj可以是部件j在N张目标图像中的N个第一信息的加权平均融合：/>可选地，部件的融合特征信息也可以是部件在N张目标图像中的N个第一信息中的最大值，如质量评价打分最好的第一信息，当第i张目标图像上部件j的质量评价打分最高，则选取第i张目标图像上部件j的特征数据fi j作为部件j的融合特征信息fj。可以理解的是，部件的融合特征信息也可以是根据部件的N个第一信息所采用其他的融合方法计算出来的，本申请实施例对此不做限定。
305、服务器对所述每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息，目标对象的整体特征信息用于目标对象的识别。
本申请实施例中，在确定每个部件的融合特征信息之后，服务器可以将每个部件的融合特征信息进行拼接，从而得到目标对象的整体特征信息，该目标对象的整体特征信息可以用于存储在数据库中，用于目标对象的识别。
目标对象的整体特征信息可以是将各个部件的融合信息拼接在一起的整合信息，如：部件j的融合特征信息为fj，当多个部件的数量为M时，则目标对象的整体特征信息可以是f＝[f1,f2,...,fM]。
本申请实施例提供的图像处理的方法，通过对摄像头获取到的原始图像进行一系列的处理，从中选取信息最互补的目标图像从而提升人体再识别的计算效率，再从信息最互补的目标图像中对目标对象进行以部件为基础的特征提取，根据部件在多个图像中的遮挡程度为对每个部件的多个特征进行特征融合从而得到每个部件的融合特征，最后将多个部件的融合特征进行拼接得到用于目标对象识别的人体组成部件的整体描述，从而解决遮挡情况下人体部件缺失，遮挡部分无法被正确描述的问题，提升遮挡情况下的人体识别正确率。
图6为本申请实施例提供的图像处理方法的另一个实施例示意图。
参阅图6，本申请实施例提供的图像处理方法的另一个实施例，可以包括：
601、服务器从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，每个部件的第一信息包括每个部件的遮挡程度信息和特征数据，多个部件为用于目标对象识别的部件，N为大于1的整数。
本申请实施例可以参阅图3的步骤303进行理解，本处不再赘述。
602、服务器根据每个部件的在N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别每个部件的融合特征信息。
本申请实施例可以参阅图3的步骤304进行理解，本处不再赘述。
603、服务器对每个部件的融合特征信息进行拼接以得到目标对象的整体特征信息，目标对象的整体特征信息用于目标对象的识别。
本申请实施例可以参阅图3的步骤305进行理解，本处不再赘述。
604、服务器获取参考图像中参考对象的整体特征信息。
本申请实施例中，获取参考图像中参考对象的整体特征信息需要与上述获取目标对象的整体特征信息一致，如：若目标对象的整体特征信息f＝[f1,f2,...,fP]中包含的是目标对象的P个部件的融合特征信息f1,f2,...,fP，则参考对象的整体特征信息g＝[g1,g2,...,gP]也应是参考对象的该P个部件对应的融合特征信息g1,g2,...,gP，且信息的类型需一致。
本申请实施例中的参考图像的数目可以是一个，也可以是多个，本申请实施例对此不做限定。具体的，本申请实施例中获取参考图像中参考对象的整体特征信息可以是与步骤303-步骤305中获取目标对象的整体特征信息的方法相同，即：服务器从参考图像的每张参考图像中获取多个部件中每个部件的第一信息，多个部件为与目标对象再识别的部件相同；服务器根据每个部件的在所述每张参考图像中的遮挡程度信息和对应的特征数据，对应确定参考对象的每个部件的融合特征信息；服务器对参考对象的每个部件的融合特征信息进行拼接以得到参考对象的整体特征信息。需要说明的是，服务器从参考图像的每张参考图像中获取多个部件中每个部件的第一信息的过程中，确定参考图像中参考对象的位置信息、去除背景以及部件定位等分析操作也可以采用用户手动操作完成的方法，本申请实施例对此不做限定。
605、根据多个部件中每个部件的权重信息，计算目标对象的整体特征信息和参考对象的整体特征信息之间的距离，以得到目标对象与参考对象的相似度信息，相似度信息用于指示人体识别的查询结果。
本申请实施例中，对于待查询的参考对象，可以通过首先获取参考对象的整体特征信息，然后计算参考对象和目标对象的整体特征信息之间的距离的方法来计算参考对象与目标对象之间的相似度。
本申请实施例中，多个部件中的每个部件的的权重信息可以是与选取的特征类型以及先验信息有关，例如，在选定对每个部件需要提取的特征类型之后，分别对每个部件的特征进行单独的精确度测试，按照每个部件的精确度来确定每个部件在多个部件中所占的权重，例如多个部件为头部、躯干、四肢，四肢的精确度最高，头部的精确度最低，根据数据结果计算出头部、躯干、四肢的权重分别为0.1、0.4、0.5。根据每个部件的权重信息，计算出目标对象和参考对象的整体特征信息之间的距离，既可以代表目标对象与参考对象的相似度，如可以采用如下公式进行距离计算：
其中，wi为部件i的权重，ε为一个无穷小的正数。
当目标对象的整体特征信息与参考对象的整体特征信息之间的距离越接近时，即代表目标对象与参考对象的相似度越高，根据该距离可以确定目标对象与参考对象的相似度，从而指示识别的结果。
本申请实施例中，通过对监控视频中目标行人的多个图像进行人体各个部件的特征进行提取，通过部件之间的权重提升用于人体识别的整体表达能力，从而解决遮挡情况下人体部件缺失的问题，提升遮挡情况下基于人体特征的检索准确性和适用范围。
可选地，本申请实施例在步骤605计算出目标对象的整体特征信息与参考对象的整体特征信息之间的距离之后，还包括：
606、当该距离小于预置数值时，进行警报提示。
本申请实施例中，可以设置一个预置数值，当参考对象和目标对象的整体特征信息之间的距离小于该预置数值时，表示两者的相似度满足要求，进行警报提示。例如，在监控视频预警的应用场景下，将即将入数据库的参考对象的整体特征信息与黑名单中的目标对象的整体特征信息进行比较，当参考对象的整体特征信息与目标对象的整体特征信息之间的距离小于预置的数值，即可疑目标出现时，发出警报，从而提升人体识别的准确性，节省人力资源。
上述对本申请实施例提供的图形处理的方法进行了介绍，接下来将介绍本申请实施例中图形处理的装置，请参阅图7。
图7为本申请实施例提供的图像处理装置的一个实施例示意图。
参阅图7，本申请实施例提供的图像处理装置70，可以包括：
第一获取模块701，用于从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，所述每个部件的第一信息包括所述每个部件的遮挡程度信息和所述每个部件的特征数据，所述多个部件为用于目标对象识别的部件，所述N为大于1的整数；
确定模块702，用于根据所述第一获取模块701获取的所述每个部件在所述目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息；
拼接模块703，用于对所述确定模块702确定的所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息，所述目标对象的整体特征信息用于所述目标对象的识别。
图8为本申请实施例提供的图像处理装置的另一个实施例示意图。
参阅图8，本申请实施例提供的图像处理装置80包括：
第二获取模块801，用于获取对所述目标对象进行跟踪所产生的M张序列图像，所述M张序列图像中所述目标对象处于Q个不同状态；
选择模块802，用于从所述第二获取模块801获取的所述M张序列图像中选择信息互补的所述N张目标图像，所述N张目标图像中所述Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，所述P个部件为所述多个部件的子集，所述P个部件为所述M张序列图像中出现过的部件，所述M为大于或等于N的整数。
第一获取模块803，用于从所述选择模块802选择的N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，所述每个部件的第一信息包括所述每个部件的遮挡程度信息和所述每个部件的特征数据，所述多个部件为用于目标对象识别的部件，所述N为大于1的整数；
确定模块804，用于根据所述第一获取模块803获取的所述每个部件在所述目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息；
拼接模块805，用于对所述确定模块804确定的所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息，所述目标对象的整体特征信息用于所述目标对象的识别。
可选地，所述确定模块804，用于根据所述第一获取模块803获取的所述每个部件在所述N张目标图像中的遮挡程度信息，计算所述每个部件的N个特征数据的加权平均值，所述加权平均值为所述融合特征信息。
可选地，所述选择模块802包括获取单元8021和选取单元8022，所述获取单元8021用于从所述第二获取模块801获取的所述M张序列图像中每一张序列图像中获取所述目标对象的状态和所述每个部件的遮挡程度；选取单元8022，用于在根据所述获取单元8021获取的所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提条件下，从所述Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到所述N张目标图像。
可选地，所述Q个不同状态中的每个状态至少包括两个状态层级，所述至少两个状态层级包括第一状态层级和第二状态层级，所述选取单元8022，用于根据所述获取单元8021获取的所述目标对象的状态和所述每个部件的遮挡程度，将所述M张序列图像按照所述第一状态层级所对应的状态进行第一层级分类；将所述第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，所述Q个分类样本对应于所述Q个不同状态；在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提下，在所述Q个分类样本的每个分类样本中选取至少一个第一序列图像，所述第一序列图像为所述分类样本中清晰度由高到低排序排名在前的序列图像，以得到所述N张目标图像。
可选地，所述获取单元8021，用于检测所述目标对象在所述第二获取模块801获取的所述每张序列图像上的位置信息；根据所述目标对象的位置信息去除所述每张序列图像的背景以得到M张前景图像，所述前景图像仅包括所述目标对象；对所述M张前景图像中的所述目标对象进行跟踪以得到所述目标对象的时间序列，以及对所述目标对象进行部件分割以得到所述部件分割结果；根据所述时间序列和所述目标对象的位置信息确定所述每张序列图像中所述目标对象的状态，根据所述部件分割结果确定所述每个部件的遮挡程度。
可选地，本申请实施例提供的图像处理装置80还包括：第三获取模块806，用于在所述拼接模块805对所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息之后，获取参考图像中参考对象的整体特征信息；计算模块807，用于根据所述多个部件中每个部件的权重信息，计算所述拼接模块805得到的所述目标对象的整体特征信息和所述第三获取模块806获取的所述参考对象的整体特征信息之间的距离，以得到所述目标对象与所述参考对象的相似度信息，所述相似度信息用于指示人体识别的查询结果。
可选地，本申请实施例提供的图像处理装置80还包括警报模块808，用于在所述计算模块807计算的所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离小于预置数值时，进行警报提示。
图9是本申请实施例提供的一种图像处理装置的结构示意图。应理解，图9所示的图像处理装置90能够实现图2、图3和图6方法实施例中涉及图像处理方法的各个过程。
如图9所示，图像处理装置90可以包括至少一个处理器910、存储器950和至少一个通信接口930，存储器950可以包括只读存储器和随机存取存储器，并向处理器910提供操作指令和数据。存储器950的一部分还可以包括非易失性随机存取存储器(NVRAM)。
处理器910控制图像处理装置90的操作，处理器910还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器950可以包括只读存储器和随机存取存储器，并向处理器910提供指令和数据。存储器950的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的图像处理装置90的各个组件通过总线系统920耦合在一起，其中总线系统920除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统920。
上述本发明实施例揭示的方法可以应用于处理器910中，或者由处理器910实现。处理器910可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器910中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器910可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器950，处理器910读取存储器950中的信息，结合其硬件完成上述方法的步骤。
具体而言，通过调用存储器950存储的操作指令，处理器910用于执行如下步骤：
从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，所述每个部件的第一信息包括所述每个部件的遮挡程度信息和所述每个部件的特征数据，所述多个部件为用于目标对象识别的部件，所述N为大于1的整数；
根据所述每个部件在所述N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息；
对所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息，所述目标对象的整体特征信息用于所述目标对象的识别。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
根据所述每个部件在所述N张目标图像中的遮挡程度信息，计算所述每个部件的N个特征数据的加权平均值，所述加权平均值为所述融合特征信息。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
获取对所述目标对象进行跟踪所产生的M张序列图像，所述M张序列图像中所述目标对象处于Q个不同状态；
从所述M张序列图像中选择信息互补的所述N张目标图像，所述N张目标图像中所述Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，所述P个部件为所述多个部件的子集，所述P个部件为所述M张序列图像中出现过的部件，所述M为大于或等于N的整数。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
从所述M张序列图像中每一张序列图像中获取所述目标对象的状态和所述每个部件的遮挡程度；
在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提条件下，从所述Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到所述N张目标图像。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
当所述Q个不同状态中的每个状态至少包括两个状态层级，所述至少两个状态层级包括第一状态层级和第二状态层级时，将所述M张序列图像按照所述第一状态层级所对应的状态进行第一层级分类；
将所述第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，所述Q个分类样本对应于所述Q个不同状态；
在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提下，在所述Q个分类样本的每个分类样本中选取至少一个第一序列图像，所述第一序列图像为所述分类样本中清晰度由高到低排序排名在前的序列图像，以得到所述N张目标图像。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
检测所述目标对象在所述每张序列图像上的位置信息；
根据所述目标对象的位置信息去除所述每张序列图像的背景以得到M张前景图像，所述前景图像仅包括所述目标对象；
对所述M张前景图像中的所述目标对象进行跟踪以得到所述目标对象的时间序列，以及对所述目标对象进行部件分割以得到所述部件分割结果；
根据所述时间序列和所述目标对象的位置信息确定所述每张序列图像中所述目标对象的状态，根据所述部件分割结果确定所述每个部件的遮挡程度。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
获取参考图像中参考对象的整体特征信息；
根据所述多个部件中每个部件的权重信息，计算所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离，以得到所述目标对象与所述参考对象的相似度信息，所述相似度信息用于指示人体识别的查询结果。
可选地，在本申请的一些实施例中，处理器910还用于执行以下步骤：
当所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离小于预置数值时，进行警报提示。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本申请实施例所提供的图像处理方法以及装置和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，所述每个部件的第一信息包括所述每个部件的遮挡程度信息和所述每个部件的特征数据，所述多个部件为用于目标对象识别的部件，所述N为大于1的整数；
根据所述每个部件在所述N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息；
对所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息，所述目标对象的整体特征信息用于所述目标对象的识别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个部件在所述N张目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息，包括：
根据所述每个部件在所述N张目标图像中的遮挡程度信息，计算所述每个部件的N个特征数据的加权平均值，所述加权平均值为所述融合特征信息。
3.根据权利要求1或2所述的方法，其特征在于，所述从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息之前，还包括：
获取对所述目标对象进行跟踪所产生的M张序列图像，所述M张序列图像中所述目标对象处于Q个不同状态；
从所述M张序列图像中选择信息互补的所述N张目标图像，所述N张目标图像中所述Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，所述P个部件为所述多个部件的子集，所述P个部件为所述M张序列图像中出现过的部件，所述M为大于或等于N的整数。
4.根据权利要求3所述的方法，其特征在于，所述从所述M张序列图像中选择信息互补的所述N张目标图像，包括：
从所述M张序列图像中每一张序列图像中获取所述目标对象的状态和所述每个部件的遮挡程度；
在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提条件下，从所述Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到所述N张目标图像。
5.根据权利要求4所述的方法，其特征在于，所述Q个不同状态中的每个状态至少包括两个状态层级，所述至少两个状态层级包括第一状态层级和第二状态层级，所述在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提条件下，从所述Q个不同状态的每个状态对应的序列图像中至少选取一张序列图像，以得到所述N张目标图像，包括：
将所述M张序列图像按照所述第一状态层级所对应的状态进行第一层级分类；
将所述第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，所述Q个分类样本对应于所述Q个不同状态；
在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提下，在所述Q个分类样本的每个分类样本中选取至少一个第一序列图像，所述第一序列图像为所述分类样本中清晰度由高到低排序排名在前的序列图像，以得到所述N张目标图像。
6.根据权利要求4或5所述的方法，其特征在于，所述从所述M张序列图像中每一张序列图像中获取所述目标对象的状态和所述每个部件的遮挡程度，包括：
检测所述目标对象在所述每张序列图像上的位置信息；
根据所述目标对象的位置信息去除所述每张序列图像的背景以得到M张前景图像，所述前景图像仅包括所述目标对象；
对所述M张前景图像中的所述目标对象进行跟踪以得到所述目标对象的时间序列，以及对所述目标对象进行部件分割以得到所述部件分割结果；
根据所述时间序列和所述目标对象的位置信息确定所述每张序列图像中所述目标对象的状态，根据所述部件分割结果确定所述每个部件的遮挡程度。
7.根据权利要求1-6任一所述的方法，其特征在于，所述对所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息之后，所述方法还包括：
获取参考图像中参考对象的整体特征信息；
根据所述多个部件中每个部件的权重信息，计算所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离，以得到所述目标对象与所述参考对象的相似度信息，所述相似度信息用于指示人体识别的查询结果。
8.根据权利要求7所述的方法，其特征在于，所述根据所述多个部件中每个部件的权重信息，计算所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离之后，所述方法还包括：
当所述距离小于预置数值时，进行警报提示。
9.一种图像处理装置，其特征在于，包括：
第一获取模块，用于从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息，所述每个部件的第一信息包括所述每个部件的遮挡程度信息和所述每个部件的特征数据，所述多个部件为用于目标对象识别的部件，所述N为大于1的整数；
确定模块，用于根据所述第一获取模块获取的所述每个部件在所述目标图像中的遮挡程度信息和对应的特征数据，对应确定用于识别所述每个部件的融合特征信息；
拼接模块，用于对所述确定模块确定的所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息，所述目标对象的整体特征信息用于所述目标对象的识别。
10.根据权利要求9所述的装置，其特征在于，
所述确定模块，用于根据所述第一获取模块获取的所述每个部件在所述N张目标图像中的遮挡程度信息，计算所述每个部件的N个特征数据的加权平均值，所述加权平均值为所述融合特征信息。
11.根据权利要求9或10所述的装置，其特征在于，还包括：
第二获取模块，用于在所述第一获取模块从N张目标图像的每张目标图像中获取多个部件中每个部件的第一信息之前，获取对所述目标对象进行跟踪所产生的M张序列图像，所述M张序列图像中所述目标对象处于Q个不同状态；
选择模块，用于从所述第二获取模块获取的所述M张序列图像中选择信息互补的所述N张目标图像，所述N张目标图像中所述Q个不同状态中的每一个状态至少出现过一次，且P个部件中每个部件至少出现过一次，所述P个部件为所述多个部件的子集，所述P个部件为所述M张序列图像中出现过的部件，所述M为大于或等于N的整数。
12.根据权利要求11所述的装置，其特征在于，所述选择模块包括：
获取单元，用于从所述第二获取模块获取的所述M张序列图像中每一张序列图像中获取所述目标对象的状态和所述每个部件的遮挡程度；
选取单元，用于在根据所述获取单元获取的所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提条件下，从所述Q个不同状态的每个状态对应的序列图像中选取至少一张序列图像，以得到所述N张目标图像。
13.根据权利要求12所述的装置，其特征在于，所述Q个不同状态中的每个状态至少包括两个状态层级，所述至少两个状态层级包括第一状态层级和第二状态层级，
所述选取单元，用于将所述M张序列图像按照所述第一状态层级所对应的状态进行第一层级分类；将所述第一层级分类的每个类别下的序列图像，按照第二状态层级所对应的状态进行第二层级的分类以得到Q个分类样本，所述Q个分类样本对应于所述Q个不同状态；在根据所述每个部件的遮挡程度确定所述P个部件中的每个部件至少出现一次的前提下，在所述Q个分类样本的每个分类样本中选取至少一个第一序列图像，所述第一序列图像为所述分类样本中清晰度由高到低排序排名在前的序列图像，以得到所述N张目标图像。
14.根据权利要求12或13所述的装置，其特征在于，
所述获取单元，用于检测所述目标对象在所述每张序列图像上的位置信息；根据所述目标对象的位置信息去除所述每张序列图像的背景以得到M张前景图像，所述前景图像仅包括所述目标对象；对所述M张前景图像中的所述目标对象进行跟踪以得到所述目标对象的时间序列，以及对所述目标对象进行部件分割以得到所述部件分割结果；根据所述时间序列和所述目标对象的位置信息确定所述每张序列图像中所述目标对象的状态，根据所述部件分割结果确定所述每个部件的遮挡程度。
15.根据权利要求9-14任一所述的装置，其特征在于，还包括：
第三获取模块，用于在所述拼接模块对所述每个部件的融合特征信息进行拼接以得到所述目标对象的整体特征信息之后，获取参考图像中参考对象的整体特征信息；
计算模块，用于根据所述多个部件中每个部件的权重信息，计算所述拼接模块得到的所述目标对象的整体特征信息和所述第三获取模块获取的所述参考对象的整体特征信息之间的距离，以得到所述目标对象与所述参考对象的相似度信息，所述相似度信息用于指示人体识别的查询结果。
16.根据权利要求15所述的装置，其特征在于，还包括：
警报模块，用于在所述计算模块计算的所述目标对象的整体特征信息和所述参考对象的整体特征信息之间的距离小于预置数值时，进行警报提示。
17.一种图像处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN201910252271.9A 2019-03-29 2019-03-29 一种图像处理的方法、装置以及存储介质 Active CN111753601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910252271.9A CN111753601B (zh) 2019-03-29 2019-03-29 一种图像处理的方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910252271.9A CN111753601B (zh) 2019-03-29 2019-03-29 一种图像处理的方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN111753601A CN111753601A (zh) 2020-10-09
CN111753601B true CN111753601B (zh) 2024-04-12

Family

ID=72672560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910252271.9A Active CN111753601B (zh) 2019-03-29 2019-03-29 一种图像处理的方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111753601B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920419A (zh) * 2021-11-01 2022-01-11 中国人民解放军国防科技大学 一种图像数据处理方法及系统
CN114187463A (zh) * 2021-11-09 2022-03-15 深圳云天励飞技术股份有限公司 电子档案生成方法、装置、终端设备及存储介质
CN115941529B (zh) * 2022-11-28 2024-07-05 国网江苏省电力工程咨询有限公司 一种基于机器人的电缆隧道检测方法和系统
CN117710417B (zh) * 2023-12-04 2024-08-20 成都臻识科技发展有限公司 一种单相机多路多目标跟踪方法、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049297A (ja) * 2008-08-19 2010-03-04 Secom Co Ltd 画像監視装置
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标再识别方法和装置
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN108805828A (zh) * 2018-05-22 2018-11-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108166A1 (en) * 2011-10-28 2013-05-02 Eastman Kodak Company Image Recomposition From Face Detection And Facial Features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049297A (ja) * 2008-08-19 2010-03-04 Secom Co Ltd 画像監視装置
CN108268823A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标再识别方法和装置
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN108805828A (zh) * 2018-05-22 2018-11-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法

Also Published As

Publication number Publication date
CN111753601A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Xu et al. Segment as points for efficient online multi-object tracking and segmentation
Qu et al. RGBD salient object detection via deep fusion
CN111753601B (zh) 一种图像处理的方法、装置以及存储介质
CN106354816B (zh) 一种视频图像处理方法及装置
CN111222500B (zh) 一种标签提取方法及装置
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
CN109948425A (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
CN107766791A (zh) 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
Wang et al. When pedestrian detection meets nighttime surveillance: A new benchmark
CN112614102A (zh) 一种车辆检测方法、终端及其计算机可读存储介质
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN113221770A (zh) 基于多特征混合学习的跨域行人重识别方法及系统
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
Dousai et al. Detecting humans in search and rescue operations based on ensemble learning
Siva et al. Weakly Supervised Action Detection.
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN111539257A (zh) 人员重识别方法、装置和存储介质
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
Shf et al. Review on deep based object detection
Nandhini et al. Transfer learning based SSD model for helmet and multiple rider detection
Li et al. Size-invariance matters: Rethinking metrics and losses for imbalanced multi-object salient object detection
Yamamoto et al. Nighttime Traffic Sign and Pedestrian Detection Using RefineDet with Time‐Series Information
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN113705304B (zh) 一种图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant