CN112749668A - 目标图像的聚类方法、装置、电子设备和计算机可读介质 - Google Patents
目标图像的聚类方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112749668A CN112749668A CN202110064499.2A CN202110064499A CN112749668A CN 112749668 A CN112749668 A CN 112749668A CN 202110064499 A CN202110064499 A CN 202110064499A CN 112749668 A CN112749668 A CN 112749668A
- Authority
- CN
- China
- Prior art keywords
- feature
- vector
- isolated
- matrix
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 239000013598 vector Substances 0.000 claims abstract description 194
- 239000011159 matrix material Substances 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000007704 transition Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 241000287107 Passer Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种目标图像的聚类方法、装置、电子设备和计算机可读介质方法，属于图像技术领域。方法包括：将获取到的目标图像输入特征提取模型，得到特征提取模型输出的目标图像的特征矩阵；通过第一聚类方案对特征矩阵进行处理，得到特征矩阵中的孤立向量；在孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中，其中，所述转移概率值应用在所述特征矩阵的处理过程中。本申请提高聚类的准确性。
Description
技术领域
本申请涉及图像技术领域，尤其涉及一种目标图像的聚类方法、装置、电子设备和计算机可读介质。
背景技术
人脸聚类是一种面向未知(未注册)批量人脸数据，为每个个体分配ID的技术手段。在有用户频繁到访的场所中，比如汽车4S店、餐厅、酒店等公共场所，可以使用监控视频采集到访用户的脸部信息，并处理成特征向量保存成特征矩阵，然后从该特征矩阵中查找出频繁到访用户的特征并赋予其独立的ID，等该ID等待用户再次到访时，可以快速感知并预先准备提供该用户需要的服务。
目前一般采用聚类算法对人脸进行分类，聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类算法以同一个用户的脸部图片的相似性为基础，对人脸进行分类，同一个聚类中的人脸特征比不在同一聚类中的人脸特征之间具有更多的相似性。但由于聚类算法属于一种无监督学习，其聚类结果不可知，无法判断最终聚类效果，因此也无法提高聚类准确度。
发明内容
本申请实施例的目的在于提供一种目标图像的聚类方法、装置、电子设备和计算机可读介质，以解决聚类准确度低的问题。具体技术方案如下：
第一方面，提供了一种目标图像的聚类方法，所述方法包括：
将获取到的目标图像输入特征提取模型，得到所述特征提取模型输出的所述目标图像的特征矩阵，其中，所述特征矩阵中包含每个所述目标图像的特征向量；
通过第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量，其中，所述处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个所述区块表示目标图像的一种类型，每个所述特征向量表示一个目标图像，所述孤立向量表示所述区块中有且仅有一个向量；
在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中，其中，所述转移概率值应用在所述特征矩阵的处理过程中。
可选地，所述通过所述第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量包括：
通过第二聚类方案确定所述特征矩阵中每个特征向量的多个最近邻近点；
根据所述多个最近邻近点将所述特征矩阵划分为不同区块，得到最近邻矩阵；
通过所述第一聚类方案对所述最近邻矩阵进行处理，得到所述最近邻矩阵中的孤立向量。
可选地，在调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中之后，所述方法还包括：
根据调整后的孤立向量和区块生成目标矩阵，其中，所述目标矩阵包括多个区块，每个所述区块对应至少一个特征向量；
将所述区块和所述区块对应的特征向量存入特征索引库中。
可选地，将所述区块和所述区块对应的特征向量存入特征索引库中之后，所述方法还包括：
确定所述目标矩阵中的孤立向量和所述孤立向量对应的第一图像；
对所述第一图像进行数据增强得到第二图像，并通过深度学习方案提取所述第二图像中的图像向量；
根据所述图像向量与所述特征索引库中的特征向量得到置信度；
在所述置信度大于预设阈值的情况下，将所述孤立向量纳入所述索引库中对应的区块中。
可选地，所述根据所述图像向量与所述特征索引库中的特征向量得到置信度包括：
确定所述图像向量与所述特征索引库中的特征向量之间的距离；
将所述距离作为所述置信度。
可选地，根据所述图像向量与所述特征索引库中的特征向量得到置信度之后，所述方法还包括：
在所述置信度大于所述预设阈值的情况下，舍弃所述孤立向量。
可选地，所述在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值包括：
在所述孤立向量的数量与区块的数量的比值小于所述预设数值区间的情况下，增大所述第一聚类方案中的转移概率值；
在所述孤立向量的数量与区块的数量的比值大于所述预设数值区间的情况下，减小所述第一聚类方案中的转移概率值。
第二方面，提供了一种目标图像的聚类装置，所述装置包括：
输入模块，用于将获取到的目标图像输入特征提取模型，得到所述特征提取模型输出的所述目标图像的特征矩阵，其中，所述特征矩阵中包含每个所述目标图像的特征向量；
处理模块，用于通过第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量，其中，所述处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个所述区块表示目标图像的一种类型，每个所述特征向量表示一个目标图像，所述孤立向量表示所述区块中有且仅有一个向量；
调整模块，用于在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中，其中，所述转移概率值应用在所述特征矩阵的处理过程中。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的方法步骤。
本申请实施例有益效果：
本申请通过比值和预设数值区间的关系，进行不断的迭代聚类，实现聚类结果的量化，使聚类结果满足需求，提高聚类的准确性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标图像的聚类方法硬件环境示意图；
图2为本申请实施例提供的一种目标图像的聚类的方法流程图；
图3为本申请实施例提供的一种目标图像的聚类流程示意图；
图4为本申请实施例提供的一种目标图像的聚类装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种目标图像的聚类方法的实施例。
可选地，在本申请实施例中，上述目标图像的聚类方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。
本申请实施例中的一种目标图像的聚类方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行。
本申请实施例提供了一种目标图像的聚类方法，可以应用于服务器，用于将人类图像进行准确分类。
下面将结合具体实施方式，对本申请实施例提供的一种目标图像的聚类方法进行详细的说明，如图2所示，具体步骤如下：
步骤201：将获取到的目标图像输入特征提取模型，得到特征提取模型输出的目标图像的特征矩阵。
其中，特征矩阵中包含每个目标图像的特征向量。
在本申请实施例中，服务器通过拍摄装置不断的拍摄，获取一段时长内的多个目标图像，然后将目标图像输入特征提取模型，得到特征提取模型输出的目标图像的特征矩阵，其中特征矩阵中包括多个特征向量，每个特征向量表示一个目标图像。
示例性地，目标图像可以为人脸图像，服务器通过拍摄装置获取一段时长内的多张人脸图像，然后将人脸图像输入人脸特征提取模型，得到人脸特征提取模型输出的人脸图像的特征矩阵，特征矩阵中的每个特征向量表示每个人脸图像。
步骤202：通过第一聚类方案对特征矩阵进行处理，得到特征矩阵中的孤立向量。
其中，处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个区块表示目标图像的一种类型，每个特征向量表示一个目标图像，孤立向量表示区块中有且仅有一个向量。
服务器通过第一聚类方案对特征矩阵进行处理，具体为对特征矩阵中的特征向量进行聚类，得到多个区块，每个区块中包括至少一个特征向量，每个区块表示目标图像的一种类型，每个特征向量表示一个目标图像。
若目标图像为人脸图像，则每个区块表示一个用户ID，一个用户ID只能表示一个用户，每个区块中的至少一个特征向量表示同一个用户ID的至少一张人脸图像。若区块中有且仅有一个向量，则该特征向量为孤立向量，即一个用户ID只有一张人脸图像。
步骤203：在孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整第一聚类方案中的转移概率值，直至孤立向量的数量与区块的数量的比值位于预设数值区间中。
其中，转移概率值应用在特征矩阵的处理过程中。
孤立向量的数量为一个图像类型只有一张目标图像的数量，区块的数量为目标图像的全部类型的数量，服务器确定孤立向量的数量与区块的数量的比值，然后判断该比值是否位于预设数值区间中。若服务器确定该比值位于预设数值区间中，表示孤立向量的数量适中，则根据该特征矩阵建立特征索引库。示例性地，预设数值区间范围为0.4～0.5。
若服务器确定该比值不位于预设数值区间中，表示孤立向量的数量过多或过少，若孤立向量的数量与区块的数量的比值大于预设数值区间，则一张图像占据一个图像类型的数量过多，表明该图像出现次数少；若孤立向量的数量与区块的数量的比值小于预设数值区间，则一张图像占据一个图像类型的数量过少，表明该图像可能聚类错误。第一聚类方案对特征矩阵进行处理过程中运用到了转移概率值，该转移概率值可以用于调整孤立向量和区块的数量，因此，服务器调整第一聚类方案中的转移概率值，直至孤立向量的数量与区块的数量的比值位于预设数值区间中。
可选地，服务器确定孤立向量的数量与区块的数量的比值小于预设数值区间时，增大第一聚类方案中的转移概率值；服务器确定孤立向量的数量与区块的数量的比值大于预设数值区间时，减小第一聚类方案中的转移概率值。示例性地，第一聚类方案可以为informap算法。
示例性地，孤立向量表示一个用户ID只含有一张目标图像，区块表示不同用户ID的数量，若孤立向量的数量与区块的数量的比值大于预设数值区间，表明一个用户ID只含有一张目标图像的数量过多，该用户为不常到访的用户，如过路人、快递员等，无需对该类用户进行存储登记。若孤立向量的数量与区块的数量的比值小于预设数值区间，表明一个用户ID只含有一张目标图像的数量过少，一般来讲，在一段时长内，拍摄装置会获取到大多数用户的多张图像，若用户ID只有一张图像的情况过少，可能会出现图像聚类错误，例如，A用户的唯一一张图像成为了B用户的多张图像之一，A用户没有ID，B用户图像中包含了一张非B用户的图像。若孤立向量的数量与区块的数量的比值位于预设数值区间中，则对至少含有一个特征向量的区块所表示的用户进行登记，该用户为经常到访用户，当再次检测到该用户时，可以快速感知并发出提醒，以预先准备提供该用户需要的服务。
在本申请中，检测到孤立向量的数量与区块的数量的比值不位于预设数值区间中时，可以通过调整转移概率值从而调整孤立向量和区块的分配，以实现特征向量相对于区块的聚类。本申请通过比值和预设数值区间的关系，进行不断的迭代聚类，实现聚类结果的量化，使聚类结果满足需求，提高聚类的准确性。
作为一种可选的实施方式，通过第一聚类方案对特征矩阵进行处理，得到特征矩阵中的孤立向量包括：通过第二聚类方案确定特征矩阵中每个特征向量的多个最近邻近点；根据多个最近邻近点将特征矩阵划分为不同区块，得到最近邻矩阵；通过第一聚类方案对最近邻矩阵进行处理，得到最近邻矩阵中的孤立向量。
在本申请实施例中，服务器得到特征矩阵后，首先确定特征矩阵中每个特征向量，然后通过第二聚类方案确定每个特征向量的多个最近邻近点，该多个临近点的类型与多个临近点最近的特征向量的类型一致，因此，服务器根据多个最近邻近点将特征矩阵划分为不同区块，每个区块中包括多个最近临近点的特征向量，每个区块表示多个最近临近点的类型，多个区块构成最近邻矩阵，通过第二聚类方案得到的区块中的特征向量的准确度较低，因此本申请采用第一聚类方案继续对最近邻矩阵进行处理，对区块中的特征向量进行聚类升级，对区块的划分进行编整，得到最近邻矩阵中的孤立向量。
示例性地，第二聚类方案为KNN算法，服务器通过KNN算法确定每个特征向量的K个最近邻点，通过K个最近邻点生成最近邻矩阵，然后通过informap算法对最近邻矩阵进行处理，得到最近邻矩阵中的孤立向量。K值可以由用户到访时长与拍摄间隔时刻确定，该参数对聚类结果影响极小。
可选地，服务器在生成最近邻矩阵的过程中，还可以引入GPU(GraphicsProcessing Unit，图像处理器)进行加速，从而实现在较短时长内处理更大规模的数据，提高数据处理速率。
在本申请中，服务器首先通过第二聚类方案生成最近邻矩阵，得到初始的聚类结果，然后通过第一聚类方案对最近邻矩阵进行分解与重构，通过可量化的聚类方案优化聚类结果，提高了聚类效率和聚类准确度。本申请可以通过迭代的聚类方法实现转移概率值的调整，从而进行孤立向量的筛选，提升聚类能力和效果。
与单一的聚类过程相比，本申请通过两种聚类方案得到聚类后的人脸类别，减少人脸类别数量，提升聚类结果的召回率；与暴力搜索的聚类方法相比，本申请引入孤立向量的数量，为聚类迭代方向提供参考；与直接使用人脸识别库比对的方法相比，本申请能够在建立特征索引库后在进行深度学习提取特征，大幅度降低深度学习算法运行时长，减少设备占用时长。
作为一种可选的实施方式，在调整第一聚类方案中的转移概率值，直至孤立向量的数量与区块的数量的比值位于预设数值区间中之后，方法还包括：根据调整后的孤立向量和区块生成目标矩阵，其中，目标矩阵包括多个区块，每个区块对应至少一个特征向量；将区块和区块对应的特征向量存入特征索引库中。
服务器确定孤立向量的数量与区块的数量的比值位于预设数值区间中之后，表明矩阵聚类结果准确，则通过区块和每个区块中包含的特征向量生成目标矩阵，目标矩阵相对于最近邻矩阵的聚类结果更为准确，目标矩阵包括多个区块，每个区块对应至少一个特征向量，服务器建立区块和区块中所包含的特征向量之间的对应关系，然后将该对应关系存入特征索引库中。
示例性地，服务器建立用户类别和该用户类别下多张图像的特征向量之间的对应关系，然后将该对应关系存入特征索引库中。
作为一种可选的实施方式，将区块和区块对应的特征向量存入特征索引库中之后，方法还包括：确定目标矩阵中的孤立向量和孤立向量对应的第一图像；对第一图像进行数据增强得到第二图像，并通过深度学习方案提取第二图像中的图像向量；根据图像向量与特征索引库中的特征向量得到置信度；在置信度大于预设阈值的情况下，将孤立向量纳入索引库中对应的区块中。
在本申请实施例中，对于无法聚类的孤立向量，服务器确定该孤立向量对应的第一图像，然后对第一图像进行数据增强得到第二图像，数据增强包括加强光照、缩放、添加噪声、平移等手段。采用深度学习算法提取第二图像中的图像特征，数据增强后的第二图像相对于第一图像来说，图像特征更明显。
服务器确定第二图像中图像向量与特征索引库中的特征向量之间的距离，并将该距离作为置信度，距离与置信度成反比，距离越小，表明图像向量和特征索引库中的特征向量越相近，则置信度越高。其中，向量之间的距离计算方法可以采用欧式距离计算方法，本申请对具体的距离计算方法不做限制。
服务器判断置信度是否大于预设阈值，若服务器判定置信度大于预设阈值，表明置信度较高，图像向量和特征索引库中的特征向量很相近，则可以将图像向量纳入该特征向量所在的区块，即将图像向量对应的孤立人脸纳入对应的用户ID。若服务器判定置信度不大于预设阈值，表明置信度较低，图像向量和特征索引库中的特征向量相差较多，则该图像向量对应的用户是非经常到访用户，则可以舍弃该图像向量，即不对该非经常到访用户进行登记，避免造成特征索引库数据量过多，减少数据存储消耗，有利于提高特征索引库检索效率。
可选的，本申请实施例还提供了目标图像的聚类的处理流程，如图3所示，具体步骤如下。
1.将获取到的目标图像输入特征提取模型，得到特征提取模型输出的目标图像的特征矩阵。
2.采用KNN算法确定每个特征向量的K个最近邻点，生成最近邻矩阵。
3.通过informap算法对最近邻矩阵进行处理，得到最近邻矩阵中的孤立向量。
4.判断孤立向量的数量与区块的数量的比值是否位于预设数值区间中，若是，则执行步骤5，若否，则执行步骤6。
5.根据该特征矩阵建立特征索引库。
6.调整第一聚类方案中的转移概率值，直至孤立向量的数量与区块的数量的比值位于预设数值区间中。
7.对孤立向量对应的第一图像进行数据增强得到第二图像。
8.通过深度学习方案提取第二图像中的图像向量，根据图像向量与特征索引库中的特征向量得到置信度。
9.判断置信度是否大于预设阈值，若是，则执行步骤10，若否，则执行步骤11。
10.将孤立向量纳入索引库中对应的区块中。
11.舍弃该图像向量(孤立向量)。
其中，步骤4和7为并列步骤。
基于相同的技术构思，本申请实施例还提供了一种目标图像的聚类装置，如图4所示，该装置包括：
输入模块401，用于将获取到的目标图像输入特征提取模型，得到特征提取模型输出的目标图像的特征矩阵，其中，特征矩阵中包含每个目标图像的特征向量；
处理模块402，用于通过第一聚类方案对特征矩阵进行处理，得到特征矩阵中的孤立向量，其中，处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个区块表示目标图像的一种类型，每个特征向量表示一个目标图像，孤立向量表示区块中有且仅有一个向量；
调整模块403，用于在孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整第一聚类方案中的转移概率值，直至孤立向量的数量与区块的数量的比值位于预设数值区间中，其中，转移概率值应用在特征矩阵的处理过程中。
可选地，处理模块402包括：
第一确定单元，用于通过第二聚类方案确定特征矩阵中每个特征向量的多个最近邻近点；
划分单元，用于根据多个最近邻近点将特征矩阵划分为不同区块，得到最近邻矩阵；
处理单元，用于通过第一聚类方案对最近邻矩阵进行处理，得到最近邻矩阵中的孤立向量。
可选地，该装置还包括：
生成模块，用于根据调整后的孤立向量和区块生成目标矩阵，其中，目标矩阵包括多个区块，每个区块对应至少一个特征向量；
存入模块，用于将区块和区块对应的特征向量存入特征索引库中。
可选地，该装置还包括：
确定模块，用于确定目标矩阵中的孤立向量和孤立向量对应的第一图像；
增强模块，用于对第一图像进行数据增强得到第二图像，并通过深度学习方案提取第二图像中的图像向量；
得到模块，用于根据图像向量与特征索引库中的特征向量得到置信度；
纳入模块，用于在置信度大于预设阈值的情况下，将孤立向量纳入索引库中对应的区块中。
可选地，得到模块包括：
第二确定单元，用于确定图像向量与特征索引库中的特征向量之间的距离；
作为单元，用于将距离作为置信度。
可选地，该装置还包括：
舍弃模块，用于在置信度大于预设阈值的情况下，舍弃孤立向量。
可选地，调整模块403包括：
增大单元，用于在孤立向量的数量与区块的数量的比值小于预设数值区间的情况下，增大第一聚类方案中的转移概率值；
减小单元，用于在孤立向量的数量与区块的数量的比值大于预设数值区间的情况下，减小第一聚类方案中的转移概率值。
根据本申请实施例的另一方面，本申请提供了一种电子设备，如图5所示，包括存储器503、处理器501、通信接口502及通信总线504，存储器503中存储有可在处理器501上运行的计算机程序，存储器503、处理器501通过通信接口502和通信总线504进行通信，处理器501执行计算机程序时实现上述方法的步骤。
上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行上述方法的程序代码：
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种目标图像的聚类方法，其特征在于，所述方法包括：
将获取到的目标图像输入特征提取模型，得到所述特征提取模型输出的所述目标图像的特征矩阵，其中，所述特征矩阵中包含每个所述目标图像的特征向量；
通过第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量，其中，所述处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个所述区块表示目标图像的一种类型，每个所述特征向量表示一个目标图像，所述孤立向量表示所述区块中有且仅有一个向量；
在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中，其中，所述转移概率值应用在所述特征矩阵的处理过程中。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量包括：
通过第二聚类方案确定所述特征矩阵中每个特征向量的多个最近邻近点；
根据所述多个最近邻近点将所述特征矩阵划分为不同区块，得到最近邻矩阵；
通过所述第一聚类方案对所述最近邻矩阵进行处理，得到所述最近邻矩阵中的孤立向量。
3.根据权利要求1所述的方法，其特征在于，在调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中之后，所述方法还包括：
根据调整后的孤立向量和区块生成目标矩阵，其中，所述目标矩阵包括多个区块，每个所述区块对应至少一个特征向量；
将所述区块和所述区块对应的特征向量存入特征索引库中。
4.根据权利要求3所述的方法，其特征在于，将所述区块和所述区块对应的特征向量存入特征索引库中之后，所述方法还包括：
确定所述目标矩阵中的孤立向量和所述孤立向量对应的第一图像；
对所述第一图像进行数据增强得到第二图像，并通过深度学习方案提取所述第二图像中的图像向量；
根据所述图像向量与所述特征索引库中的特征向量得到置信度；
在所述置信度大于预设阈值的情况下，将所述孤立向量纳入所述索引库中对应的区块中。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像向量与所述特征索引库中的特征向量得到置信度包括：
确定所述图像向量与所述特征索引库中的特征向量之间的距离；
将所述距离作为所述置信度。
6.根据权利要求4所述的方法，其特征在于，根据所述图像向量与所述特征索引库中的特征向量得到置信度之后，所述方法还包括：
在所述置信度大于所述预设阈值的情况下，舍弃所述孤立向量。
7.根据权利要求2所述的方法，其特征在于，所述在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值包括：
在所述孤立向量的数量与区块的数量的比值小于所述预设数值区间的情况下，增大所述第一聚类方案中的转移概率值；
在所述孤立向量的数量与区块的数量的比值大于所述预设数值区间的情况下，减小所述第一聚类方案中的转移概率值。
8.一种目标图像的聚类装置，其特征在于，所述装置包括：
输入模块，用于将获取到的目标图像输入特征提取模型，得到所述特征提取模型输出的所述目标图像的特征矩阵，其中，所述特征矩阵中包含每个所述目标图像的特征向量；
处理模块，用于通过第一聚类方案对所述特征矩阵进行处理，得到所述特征矩阵中的孤立向量，其中，所述处理后的特征矩阵中包含多个区块，每个区块中包括至少一个特征向量，每个所述区块表示目标图像的一种类型，每个所述特征向量表示一个目标图像，所述孤立向量表示所述区块中有且仅有一个向量；
调整模块，用于在所述孤立向量的数量与区块的数量的比值不位于预设数值区间中的情况下，调整所述第一聚类方案中的转移概率值，直至所述孤立向量的数量与区块的数量的比值位于所述预设数值区间中，其中，所述转移概率值应用在所述特征矩阵的处理过程中。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110064499.2A CN112749668A (zh) | 2021-01-18 | 2021-01-18 | 目标图像的聚类方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110064499.2A CN112749668A (zh) | 2021-01-18 | 2021-01-18 | 目标图像的聚类方法、装置、电子设备和计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749668A true CN112749668A (zh) | 2021-05-04 |
Family
ID=75652341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110064499.2A Pending CN112749668A (zh) | 2021-01-18 | 2021-01-18 | 目标图像的聚类方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749668A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777727A (zh) * | 2023-06-21 | 2023-09-19 | 北京忆元科技有限公司 | 存算一体芯片、图像处理方法、电子设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101523412A (zh) * | 2006-10-11 | 2009-09-02 | 惠普开发有限公司 | 基于人脸的图像聚类 |
| CN105844647A (zh) * | 2016-04-06 | 2016-08-10 | 哈尔滨伟方智能科技开发有限责任公司 | 一种基于颜色属性的核相关目标跟踪方法 |
| CN108280477A (zh) * | 2018-01-22 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于聚类图像的方法和装置 |
| CN109086720A (zh) * | 2018-08-03 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸聚类方法、装置和存储介质 |
| CN109727295A (zh) * | 2018-12-17 | 2019-05-07 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 电磁图像提取方法、装置、计算机设备和存储介质 |
| CN109993221A (zh) * | 2019-03-25 | 2019-07-09 | 新华三大数据技术有限公司 | 一种图像分类方法及装置 |
| CN110110671A (zh) * | 2019-05-09 | 2019-08-09 | 谷泽丰 | 一种性格分析方法、装置及电子设备 |
| CN110245714A (zh) * | 2019-06-20 | 2019-09-17 | 厦门美图之家科技有限公司 | 图像识别方法、装置及电子设备 |
| CN110399890A (zh) * | 2019-07-29 | 2019-11-01 | 厦门美图之家科技有限公司 | 图像识别方法、装置、电子设备及可读存储介质 |
| CN110825894A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技（深圳）有限公司 | 数据索引建立、数据检索方法、装置、设备和存储介质 |
| CN110889433A (zh) * | 2019-10-29 | 2020-03-17 | 平安科技（深圳）有限公司 | 人脸聚类方法、装置、计算机设备及存储介质 |
| CN111507931A (zh) * | 2019-01-14 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| CN111581416A (zh) * | 2020-04-14 | 2020-08-25 | 上海明略人工智能(集团)有限公司 | 一种图片检索方法、装置、及存储介质 |
| CN112036362A (zh) * | 2020-09-11 | 2020-12-04 | 上海明略人工智能(集团)有限公司 | 图像处理方法、装置、计算机设备和可读存储介质 |
| CN112233132A (zh) * | 2020-10-26 | 2021-01-15 | 上海明略人工智能(集团)有限公司 | 一种基于无监督学习的脑磁共振图像分割方法及装置 |
-
2021
- 2021-01-18 CN CN202110064499.2A patent/CN112749668A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101523412A (zh) * | 2006-10-11 | 2009-09-02 | 惠普开发有限公司 | 基于人脸的图像聚类 |
| CN105844647A (zh) * | 2016-04-06 | 2016-08-10 | 哈尔滨伟方智能科技开发有限责任公司 | 一种基于颜色属性的核相关目标跟踪方法 |
| CN108280477A (zh) * | 2018-01-22 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于聚类图像的方法和装置 |
| CN109086720A (zh) * | 2018-08-03 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸聚类方法、装置和存储介质 |
| CN109727295A (zh) * | 2018-12-17 | 2019-05-07 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 电磁图像提取方法、装置、计算机设备和存储介质 |
| CN111507931A (zh) * | 2019-01-14 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| CN109993221A (zh) * | 2019-03-25 | 2019-07-09 | 新华三大数据技术有限公司 | 一种图像分类方法及装置 |
| CN110110671A (zh) * | 2019-05-09 | 2019-08-09 | 谷泽丰 | 一种性格分析方法、装置及电子设备 |
| CN110245714A (zh) * | 2019-06-20 | 2019-09-17 | 厦门美图之家科技有限公司 | 图像识别方法、装置及电子设备 |
| CN110399890A (zh) * | 2019-07-29 | 2019-11-01 | 厦门美图之家科技有限公司 | 图像识别方法、装置、电子设备及可读存储介质 |
| CN110825894A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技（深圳）有限公司 | 数据索引建立、数据检索方法、装置、设备和存储介质 |
| CN110889433A (zh) * | 2019-10-29 | 2020-03-17 | 平安科技（深圳）有限公司 | 人脸聚类方法、装置、计算机设备及存储介质 |
| CN111581416A (zh) * | 2020-04-14 | 2020-08-25 | 上海明略人工智能(集团)有限公司 | 一种图片检索方法、装置、及存储介质 |
| CN112036362A (zh) * | 2020-09-11 | 2020-12-04 | 上海明略人工智能(集团)有限公司 | 图像处理方法、装置、计算机设备和可读存储介质 |
| CN112233132A (zh) * | 2020-10-26 | 2021-01-15 | 上海明略人工智能(集团)有限公司 | 一种基于无监督学习的脑磁共振图像分割方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| HENG-CHAO LI 等: "Gabor Feature Based Unsupervised Change Detection of Multitemporal SAR Images Based on Two-Level Clustering", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 12, no. 12, 31 December 2015 (2015-12-31), XP011589734, DOI: 10.1109/LGRS.2015.2484220 * |
| 王玉辉 等: "基于马尔可夫的属性图聚类算法", 《计算机科学》, vol. 45, no. 10, 31 October 2018 (2018-10-31) * |
| 谢炜;: "一种基于迭代式稀疏谱聚类的图像集分类算法", 计算机工程, no. 04, 15 April 2016 (2016-04-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777727A (zh) * | 2023-06-21 | 2023-09-19 | 北京忆元科技有限公司 | 存算一体芯片、图像处理方法、电子设备及存储介质 |
| CN116777727B (zh) * | 2023-06-21 | 2024-01-09 | 北京忆元科技有限公司 | 存算一体芯片、图像处理方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209563B (zh) | 一种网络入侵检测方法及系统 | |
| WO2019200782A1 (zh) | 样本数据分类方法、模型训练方法、电子设备及存储介质 | |
| CN111143597B (zh) | 图像检索方法、终端及存储装置 | |
| KR20210110823A (ko) | 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기 | |
| CN111581046A (zh) | 数据异常检测方法、装置、电子设备及存储介质 | |
| CN109376786A (zh) | 一种图像分类方法、装置、终端设备及可读存储介质 | |
| CN109241318B (zh) | 图片推荐方法、装置、计算机设备及存储介质 | |
| CN110825894B (zh) | 数据索引建立、数据检索方法、装置、设备和存储介质 | |
| CN110245714B (zh) | 图像识别方法、装置及电子设备 | |
| CN110827924B (zh) | 基因表达数据的聚类方法、装置、计算机设备及存储介质 | |
| CN109242002A (zh) | 高维数据分类方法、装置及终端设备 | |
| CN110717554A (zh) | 图像识别方法、电子设备及存储介质 | |
| CN110909222B (zh) | 基于聚类的用户画像建立方法、装置、介质及电子设备 | |
| CN110348516B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN112015901A (zh) | 文本分类方法及装置、警情分析系统 | |
| CN106570015B (zh) | 图像搜索方法和装置 | |
| CN112348079B (zh) | 数据降维处理方法、装置、计算机设备及存储介质 | |
| CN110909817B (zh) | 分布式聚类方法及系统、处理器、电子设备及存储介质 | |
| CN112307934B (zh) | 图像检测方法及相关模型的训练方法、装置、设备、介质 | |
| CN112016623A (zh) | 一种人脸聚类方法、装置、设备及存储介质 | |
| CN114547365A (zh) | 一种图像检索方法和设备 | |
| CN110084232B (zh) | 车牌中汉字字符的识别方法、装置及终端设备 | |
| CN112749668A (zh) | 目标图像的聚类方法、装置、电子设备和计算机可读介质 | |
| CN112214639B (zh) | 视频筛选方法、视频筛选装置及终端设备 | |
| CN112836747A (zh) | 眼动数据的离群处理方法及装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |