CN110717497B - 图像相似度匹配方法、装置及计算机可读存储介质 - Google Patents
图像相似度匹配方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110717497B CN110717497B CN201910845692.2A CN201910845692A CN110717497B CN 110717497 B CN110717497 B CN 110717497B CN 201910845692 A CN201910845692 A CN 201910845692A CN 110717497 B CN110717497 B CN 110717497B
- Authority
- CN
- China
- Prior art keywords
- image
- scale space
- extreme point
- image set
- binarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003711 image thresholding Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241001584785 Anavitrinella pampinaria Species 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000002759 z-score normalization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人工智能技术，揭露了一种图像相似度匹配方法，包括：获取图像集，对所述图像集进行预处理操作，得到二值化图像集；对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；将所述极值点集进行特征提取，生成图像特征描述子集；通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。本发明还提出一种图像相似度匹配装置以及一种计算机可读存储介质。本发明实现了图像相似度的精准匹配。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像相似度匹配方法、装置及计算机可读存储介质。
背景技术
图像相似度计算主要用于计算两幅图像之间内容的相似程度并进行打分，根据分数高低确定图像相近程度。目前市面上的图像相似度算法主要有基于直方图的相似度匹配，基于SSIM结构相似性相似度匹配，基于感知哈希算法的相似度匹配。其中，直方图基于图像像素统计，缺少图像像素的空间位置信息，易出现误判；SSIM从亮度、对比度、结构三个方面度量图像相似性，考虑移动滑动窗口的局部统计特征，并计算均值，方差，协方差指标，计算较为复杂，且易受尺度，旋转角度影响；基于感知哈希算法其思想是对每张图像产生指纹字符串和指纹字符串对应的散列函数，当比对不同图像的指纹时，计算各图像散列函数所有可能的子指纹字符串的散列值，并判断散列值是否相同，如两图像的子字符串各有M、N个，其对应的每个子指纹字符串散列值分别为t、k，最终判断子指纹字符串中相同的散列值个数，如散列值相同数大于80％，则图像被判断为相似，该算法主要依赖于局部区域的灰阶大小变化表征图像特性，容易受光照，尺度影响(不要用半角的标点符号)。
发明内容
本发明提供一种图像相似度匹配方法、装置及计算机可读存储介质，其主要目的在于当用户进行识别图像相似度时，给用户呈现出精准的匹配结果。
为实现上述目的，本发明提供的一种图像相似度匹配方法，包括：
获取图像集，对所述图像集进行预处理操作，得到二值化图像集；
对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；
将所述极值点集进行特征提取，生成图像特征描述子集；
通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
可选地，所述对所述图像集进行预处理操作，得到二值化图像集，包括：
通过各比例法将所述图像集转换为灰度图像集，利用高斯滤波对所述灰度图像集进行减噪；
采用中值滤波对减噪后的所述灰度图像集进行消除孤立噪声点，并利用对比度增强对消除孤立噪声点后的所述灰度图像集进行对比度增强；
根据OTSU算法将对比度增强后的所述灰度图像集进行阈值化操作，得到所述二值化图像集。
可选地，所述对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集，包括：
利用多尺度高斯核对所述二值化图像集进行卷积操作，得到所述二值化图像集的尺度空间集；
将所述尺度空间集中的每一个采样点与其相邻尺度空间对应的采样点进行比较，当所述采样点是其中的最大或最小值时，得到所述尺度空间集中的一个极值点，从而得到所述尺度空间集的极值点集；
通过边缘检测算法对所述尺度空间集边界的极值点进行检测，得到所述尺度空间集边界的极值点集；
将所述边界的极值点集与所述尺度空间集的极值点集进行组合后得到所述二值化图像集的极值点集。
可选地，所述边缘检测算法包括：
其中，Edge(E)代表尺度空间的梯度大小，Dir(θ)表示尺度空间的梯度方向，Ix和Iy分别代表二维图像I(x,y)在x方向和Y方向的梯度值。
可选地，所述预设的距离公式为：
其中，d(Ti,Hi)表示图像特征描述子Ti与图像特征描述子Hi的距离，n表示图像特征描述子的总量，j表示图像特征描述子的数量，tij表示图像特征描述子Ti中的描述子数量，hij表示图像特征描述子Hi中的描述子数量。
此外，为实现上述目的，本发明还提供一种图像相似度匹配装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的图像相似度匹配程序，所述图像相似度匹配程序被所述处理器执行时实现如下步骤：
获取图像集，对所述图像集进行预处理操作，得到二值化图像集；
对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；
将所述极值点集进行特征提取，生成图像特征描述子集；
通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
可选地，所述对所述图像集进行预处理操作，得到二值化图像集，包括：
通过各比例法将所述图像集转换为灰度图像集，利用高斯滤波对所述灰度图像集进行减噪；
采用中值滤波对减噪后的所述灰度图像集进行消除孤立噪声点，并利用对比度增强对消除孤立噪声点后的所述灰度图像集进行对比度增强；
根据OTSU算法将对比度增强后的所述灰度图像集进行阈值化操作，得到所述二值化图像集。
可选地，所述对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集，包括：
利用多尺度高斯核对所述二值化图像集进行卷积操作，得到所述二值化图像集的尺度空间集；
将所述尺度空间集中的每一个采样点与其相邻尺度空间对应的采样点进行比较，当所述采样点是其中的最大或最小值时，得到所述尺度空间集中的一个极值点，从而得到所述尺度空间集的极值点集；
通过边缘检测算法对所述尺度空间集边界的极值点进行检测，得到所述尺度空间集边界的极值点集；
将所述边界的极值点集与所述尺度空间集的极值点集进行组合后得到所述二值化图像集的极值点集。
可选地，所述边缘检测算法包括：
其中，Edge(E)代表尺度空间的梯度大小，Dir(θ)表示尺度空间的梯度方向，Ix和Iy分别代表二维图像I(x,y)在x方向和Y方向的梯度值。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像相似度匹配程序，所述图像相似度匹配程序可被一个或者多个处理器执行，以实现如上所述的图像相似度匹配方法的步骤。
本发明提出的图像相似度匹配方法、装置及计算机可读存储介质，在用户进行识别图像相似度时，对获取的图像进行预处理以及检测处理，得到所述图像的特征描述子集，并用预设的距离公式计算出所述特征描述子集的距离，得到所述特征描述子集的匹配度，对所述匹配度进行归一化处理后案预设的规则排序，根据用户需求输出相似的图像，从而可以给用户呈现出精准的匹配结果。
附图说明
图1为本发明一实施例提供的图像相似度匹配方法的流程示意图；
图2为本发明一实施例提供的图像相似度匹配装置的内部结构示意图；
图3为本发明一实施例提供的图像相似度匹配装置中图像相似度匹配程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种图像相似度匹配方法。参照图1所示，为本发明一实施例提供的图像相似度匹配方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，图像相似度匹配方法包括：
S1、获取图像集，对所述图像集进行预处理操作，得到二值化图像集。
本发明较佳实施例中，所述图像集通过以下两种方式得到：方式一、利用关键字从网页中搜索获取得到；方式二、从图像库下载获取得到，例如，所述图像库可以为中国植物图像库，人脸图像库等等。
所述预处理操作包括：通过各比例法将所述图像集转换为灰度图像集，利用高斯滤波对所述灰度图像集进行减噪；采用中值滤波对减噪后的所述灰度图像集进行消除孤立噪声点，并利用对比度增强对消除孤立噪声点后的所述灰度图像集进行对比度增强；根据OTSU算法将对比度增强后的所述灰度图像集进行阈值化操作，得到所述二值化图像集。
详细地，所述预处理操作具体实施步骤如下所示：
a.灰度化处理：
所述灰度化处理是将述分帧图像集中的图像转换为灰度图像。其中，所述灰度图像的亮度信息完全能够表达图像的整体和局部的特征，并且对图像进行灰度化处理之后可以大大降低后续工作的计算量。
本发明较佳实施例通过各比例法对所述图像集灰度化处理。所述各比例法是将图像像素点的R、G、B分量转换为YUV的颜色空间的Y分量，即亮度值，其中，所述Y分量的计算方法如下式所示:
Y＝0.3R+0.59G+0.11B
其中R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
b.降噪：
所述高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。本发明通过所述高斯滤波对所述灰度图像进行减噪。其中，所述高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，其N维空间正态分布方程为：
其中σ是正态分布的标准差，σ值越大，图像越模糊(平滑)。r为模糊半径，模糊半径是指模板元素到模板中心的距离。
所述中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。所述中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。所述中值滤波的方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。其中，二维中值滤波输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，其中，f(x,y)，g(x,y)分别为原始图像和处理后图像,W为二维模板。本发明实施例中，选用圆形作为模板，并对处理后的图像进行裁剪，得到最长边为256个像素的图像，从而完成对对减噪后的所述灰度图像集进行消除孤立噪声点。
c.对比度增强：
所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本发明较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。
进一步地，本发明根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时，本质上是实现灰度值变换。本发明通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
Db＝f(Da)＝a*Da+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中Da代表输入图像灰度值，Db代表输出图像灰度值。
d.图像阈值化处理：
所述图像阈值化处理通过OTSU算法将对比度增强后的所述灰度图像进行二值化的高效算法，以得到二值化图像。本发明较佳实施例预设灰度t为灰度图像的前景与背景的分割阈值，并假设前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则灰度图像的总平均灰度为：
u＝w0*u0+w1*u1，
灰度图像的前景和背景图象的方差为：
g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1),
其中，当方差g最大时，则此时前景和背景差异最大，此时的灰度t为最佳阈值，并将对比度增强后的所述灰度图像中大于所述灰度t的灰度值设置为255，小于所述灰度t的灰度值设置为0，得到对比度增强后的所述灰度图像的二值化图像。
S2、对所述二值化图像集进行尺度空间检测，得到所述二值化图像集的特征关键点集。
本发明较佳实施例中，所述尺度空间极值点检测实施步骤包括：利用多尺度高斯(Gaussian)核对所述二值化图像集进行卷积操作，得到所述二值化图像集的尺度空间集；将所述尺度空间集中的每一个采样点与其相邻尺度空间对应的采样点进行比较，当所述采样点是其中的最大或最小值时，本发明将所述采样点作为所述尺度空间集中的一个极值点，从而得到所述尺度空间集的极值点集。
进一步地，由于所述尺度空间边界点无法与相邻的尺度空间的采样点进行对比，本发明通过边缘检测算法对所述尺度空间集边界的极值点进行检测，得到所述尺度空间边界的极值点集。进一步地，本发明将所述边界的极值点集与所述尺度空间集的极值点集进行组合后得到所述二值化图像集的极值点集。其中，所述边缘检测算法包括：
其中，Edge(E)代表尺度空间的梯度大小，Dir(θ)表示尺度空间的梯度方向，Ix和Iy分别代表二维图像I(x,y)在x方向和Y方向的梯度值。根据计算结果对所述尺度空间的边界点进行极大值抑制，并预设上下界阙值判断所述边界点是否为极值点。
进一步地，本发明为了生成更精确的极值点，本发明实施例中对上述得到的极值点进行筛选。详细地，本发明利用泰勒二次展开式拟合曲线，并通过所述采样点多尺度空间位置的Hessian矩阵计算所述采样点的主曲率，用于删除高斯差分尺度空间局部曲率不对称的极值点。其中，所述Hessian矩阵为：
其中，H表示所述采样点的主曲率，其中x，y分别表示所述采样点的横坐标和纵坐标。
S3、将所述极值点集进行特征提取，生成图像特征描述子集。
本发明较佳实施例将所述极值点集中的极值点为中心，直径预设为16的圆形区域作为所述极值点区域，并以两个像素为单位，半径依次递减，划分为4个极值点同心圆区域，其中，所述极值点用M(p1,p2)表示，半径最大为8，于是，所述圆形区域可表示为：
(x-p1)2+(x-p2)2＝r2
进一步地，本发明计算所述极值点同心圆区域的12个方向梯度累加值，得到所述极值点同心圆区域的半径从内到外依次为2、4、6、8，因此对所述极值点的梯度累加值依次进行权重为0.4、0.3、0.2、0.1的加权处理，于是，生成12个方向的特征向量，并按照由内向外得到顺序，取内侧圆环的12维向量作为所述极值点的描述子前12个元素，将第二个圆环的12维向量作为所述极值点的描述子第13至24个元素，以此类推，最终极值点的特征描述子，即为4×12的48维的特征向量，从而生成所述图像特征描述子集。
进一步地，本发明为使所述生成的图像特征描述子集同样具有旋转不变性，本发明对上述特征向量进行排序，将内侧圆环的大值循环左移到第一个元素的位置，其他同心圆也按照第一个圆环的转动角度进行转动。这样使得圆环旋转了相同的角度，从而保证了所述图像特征描述子集具有旋转不变性。
S4、通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
本发明实施例中，所述预设的距离公式为：
其中，d(Ti,Hi)表示图像特征描述子Ti与图像特征描述子Hi的距离，n表示图像特征描述子的总量，j表示图像特征描述子的数量，tij表示图像特征描述子Ti中的描述子数量，hij表示图像特征描述子Hi中的描述子数量。
例如，本发明预设图像特征描述子用8组不同的Ti＝(ti1,ti2,…ti16)来表示，待匹配图像特征描述子也有8组不同的Hi＝(hi1,hi2,…hi16)来表示，根据所述距离公式得到两者欧式距离：
根据计算结果得到两者图像特征描述子的匹配度。
进一步地，本发明对所述匹配度进行归一化处理，将所述计算结果映射到[0,1]区间中，并按照匹配程度从大到小排序，根据用户需求输出TOP-N的相似图像。所述TOP-N是以推荐列表的形式给用户推送信息，其中N表示用户需要得到图像的数量。其中，所述归一化处理方法是z-score归一化方法，其核心思想如下所示：
X＝(x-μ)/σ
其中，x为归一化的数据，μ为数据的均值，σ为数据的方差。
发明还提供一种图像相似度匹配装置。参照图2所示，为本发明一实施例提供的图像相似度匹配装置的内部结构示意图。
在本实施例中，所述图像相似度匹配装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该图像相似度匹配装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是图像相似度匹配装置1的内部存储单元，例如该图像相似度匹配装置1的硬盘。存储器11在另一些实施例中也可以是图像相似度匹配装置1的外部存储设备，例如图像相似度匹配装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括图像相似度匹配装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于图像相似度匹配装置1的应用软件及各类数据，例如图像相似度匹配程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图像相似度匹配程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在图像相似度匹配装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及图像相似度匹配程序01的图像相似度匹配装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对图像相似度匹配装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有图像相似度匹配程序01；处理器12执行存储器11中存储的图像相似度匹配程序01时实现如下步骤：
步骤一、获取图像集，对所述图像集进行预处理操作，得到二值化图像集。
本发明较佳实施例中，所述图像集通过以下两种方式得到：方式一、利用关键字从网页中搜索获取得到；方式二、从图像库下载获取得到，例如，所述图像库可以为中国植物图像库，人脸图像库等等。
所述预处理操作包括：通过各比例法将所述图像集转换为灰度图像集，利用高斯滤波对所述灰度图像集进行减噪；采用中值滤波对减噪后的所述灰度图像集进行消除孤立噪声点，并利用对比度增强对消除孤立噪声点后的所述灰度图像集进行对比度增强；根据OTSU算法将对比度增强后的所述灰度图像集进行阈值化操作，得到所述二值化图像集。
详细地，所述预处理操作具体实施步骤如下所示：
e.灰度化处理：
所述灰度化处理是将述分帧图像集中的图像转换为灰度图像。其中，所述灰度图像的亮度信息完全能够表达图像的整体和局部的特征，并且对图像进行灰度化处理之后可以大大降低后续工作的计算量。
本发明较佳实施例通过各比例法对所述图像集灰度化处理。所述各比例法是将图像像素点的R、G、B分量转换为YUV的颜色空间的Y分量，即亮度值，其中，所述Y分量的计算方法如下式所示:
Y＝0.3R+0.59G+0.11B
其中R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
f.降噪：
所述高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。本发明通过所述高斯滤波对所述灰度图像进行减噪。其中，所述高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，其N维空间正态分布方程为：
其中σ是正态分布的标准差，σ值越大，图像越模糊(平滑)。r为模糊半径，模糊半径是指模板元素到模板中心的距离。
所述中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。所述中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。所述中值滤波的方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。其中，二维中值滤波输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，其中，f(x,y)，g(x,y)分别为原始图像和处理后图像,W为二维模板。本发明实施例中，选用圆形作为模板，并对处理后的图像进行裁剪，得到最长边为256个像素的图像，从而完成对对减噪后的所述灰度图像集进行消除孤立噪声点。
g.对比度增强：
所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本发明较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。
进一步地，本发明根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时，本质上是实现灰度值变换。本发明通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
Db＝f(Da)＝a*Da+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中Da代表输入图像灰度值，Db代表输出图像灰度值。
h.图像阈值化处理：
所述图像阈值化处理通过OTSU算法将对比度增强后的所述灰度图像进行二值化的高效算法，以得到二值化图像。本发明较佳实施例预设灰度t为灰度图像的前景与背景的分割阈值，并假设前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则灰度图像的总平均灰度为：
u＝w0*u0+w1*u1，
灰度图像的前景和背景图象的方差为：
g＝w0*(u0-u)*(u0-u)+w1*(u1-u)*(u1-u)＝w0*w1*(u0-u1)*(u0-u1),
其中，当方差g最大时，则此时前景和背景差异最大，此时的灰度t为最佳阈值，并将对比度增强后的所述灰度图像中大于所述灰度t的灰度值设置为255，小于所述灰度t的灰度值设置为0，得到对比度增强后的所述灰度图像的二值化图像。
步骤二、对所述二值化图像集进行尺度空间检测，得到所述二值化图像集的特征关键点集。
本发明较佳实施例中，所述尺度空间极值点检测实施步骤包括：利用多尺度高斯(Gaussian)核对所述二值化图像集进行卷积操作，得到所述二值化图像集的尺度空间集；将所述尺度空间集中的每一个采样点与其相邻尺度空间对应的采样点进行比较，当所述采样点是其中的最大或最小值时，本发明将所述采样点作为所述尺度空间集中的一个极值点，从而得到所述尺度空间集的极值点集。
进一步地，由于所述尺度空间边界点无法与相邻的尺度空间的采样点进行对比，本发明通过边缘检测算法对所述尺度空间集边界的极值点进行检测，得到所述尺度空间边界的极值点集。进一步地，本发明将所述边界的极值点集与所述尺度空间集的极值点集进行组合后得到所述二值化图像集的极值点集。其中，所述边缘检测算法包括：
其中，Edge(E)代表尺度空间的梯度大小，Dir(θ)表示尺度空间的梯度方向，Ix和Iy分别代表二维图像I(x,y)在x方向和Y方向的梯度值。根据计算结果对所述尺度空间的边界点进行极大值抑制，并预设上下界阙值判断所述边界点是否为极值点。
进一步地，本发明为了生成更精确的极值点，本发明实施例中对上述得到的极值点进行筛选。详细地，本发明利用泰勒二次展开式拟合曲线，并通过所述采样点多尺度空间位置的Hessian矩阵计算所述采样点的主曲率，用于删除高斯差分尺度空间局部曲率不对称的极值点。其中，所述Hessian矩阵为：
其中，H表示所述采样点的主曲率，其中x，y分别表示所述采样点的横坐标和纵坐标。
步骤三、将所述极值点集进行特征提取，生成图像特征描述子集。
本发明较佳实施例将所述极值点集中的极值点为中心，直径预设为16的圆形区域作为所述极值点区域，并以两个像素为单位，半径依次递减，划分为4个极值点同心圆区域，其中，所述极值点用M(p1,p2)表示，半径最大为8，于是，所述圆形区域可表示为：
(x-p1)2+(x-p2)2＝r2
进一步地，本发明计算所述极值点同心圆区域的12个方向梯度累加值，得到所述极值点同心圆区域的半径从内到外依次为2、4、6、8，因此对所述极值点的梯度累加值依次进行权重为0.4、0.3、0.2、0.1的加权处理，于是，生成12个方向的特征向量，并按照由内向外得到顺序，取内侧圆环的12维向量作为所述极值点的描述子前12个元素，将第二个圆环的12维向量作为所述极值点的描述子第13至24个元素，以此类推，最终极值点的特征描述子，即为4×12的48维的特征向量，从而生成所述图像特征描述子集。
进一步地，本发明为使所述生成的图像特征描述子集同样具有旋转不变性，本发明对上述特征向量进行排序，将内侧圆环的大值循环左移到第一个元素的位置，其他同心圆也按照第一个圆环的转动角度进行转动。这样使得圆环旋转了相同的角度，从而保证了所述图像特征描述子集具有旋转不变性。
步骤四、通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
本发明实施例中，所述预设的距离公式为：
其中，d(Ti,Hi)表示图像特征描述子Ti与图像特征描述子Hi的距离，n表示图像特征描述子的总量，j表示图像特征描述子的数量，tij表示图像特征描述子Ti中的描述子数量，hij表示图像特征描述子Hi中的描述子数量。
例如，本发明预设图像特征描述子用8组不同的Ti＝(ti1,ti2,…ti16)来表示，待匹配图像特征描述子也有8组不同的Hi＝(hi1,hi2,…hi16)来表示，根据所述距离公式得到两者欧式距离：
根据计算结果得到两者图像特征描述子的匹配度。
进一步地，本发明对所述匹配度进行归一化处理，将所述计算结果映射到[0,1]区间中，并按照匹配程度从大到小排序，根据用户需求输出TOP-N的相似图像。所述TOP-N是以推荐列表的形式给用户推送信息，其中N表示用户需要得到图像的数量。其中，所述归一化处理方法是z-score归一化方法，其核心思想如下所示：
X＝(x-μ)/σ
其中，x为归一化的数据，μ为数据的均值，σ为数据的方差。
可选地，在其他实施例中，图像相似度匹配程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述图像相似度匹配程序在图像相似度匹配装置中的执行过程。
例如，参照图3所示，为本发明图像相似度匹配装置一实施例中的图像相似度匹配程序的程序模块示意图，该实施例中，所述图像相似度匹配程序可以被分割为图像预处理模块10、极值点检测模块20、特征提取模块30以及匹配模块40，示例性地：
所述图像预处理模块10用于：获取图像集，对所述图像集进行预处理操作，得到二值化图像集。
所述极值点检测模块20用于：对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集。
所述特征提取模块30用于：将所述极值点集进行特征提取，生成图像特征描述子集。
所述匹配模块40用于：通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
上述图像预处理模块10、极值点检测模块20、特征提取模块30以及匹配模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像相似度匹配程序，所述图像相似度匹配程序可被一个或多个处理器执行，以实现如下操作：
获取图像集，对所述图像集进行预处理操作，得到二值化图像集；
对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；
将所述极值点集进行特征提取，生成图像特征描述子集；
通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
本发明计算机可读存储介质具体实施方式与上述图像相似度匹配装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种图像相似度匹配方法，其特征在于，所述方法包括：
获取图像集，对所述图像集进行预处理操作，得到二值化图像集；
对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；
将所述极值点集进行特征提取，生成图像特征描述子集；
通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像；
其中，所述对所述图像集进行预处理操作，得到二值化图像集，包括：通过各比例法将所述图像集转换为灰度图像集，利用高斯滤波对所述灰度图像集进行减噪；采用中值滤波对减噪后的所述灰度图像集进行消除孤立噪声点，并利用对比度增强对消除孤立噪声点后的所述灰度图像集进行对比度增强；根据OTSU算法将对比度增强后的所述灰度图像集进行阈值化操作，得到所述二值化图像集；
所述对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集，包括：利用多尺度高斯核对所述二值化图像集进行卷积操作，得到所述二值化图像集的尺度空间集；将所述尺度空间集中的每一个采样点与其相邻尺度空间对应的采样点进行比较，当所述采样点是其中的最大或最小值时，得到所述尺度空间集中的一个极值点，从而得到所述尺度空间集的极值点集；通过边缘检测算法对所述尺度空间集边界的极值点进行检测，得到所述尺度空间集边界的极值点集；将所述边界的极值点集与所述尺度空间集的极值点集进行组合后得到所述二值化图像集的极值点集；
所述边缘检测算法包括：
其中，代表尺度空间的梯度大小，/>表示尺度空间的梯度方向，/>和/>分别代表二维图像/>在x方向和Y方向的梯度值；
所述对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集，还包括：利用泰勒二次展开式拟合曲线，并通过所述采样点的多尺度空间位置的Hessian矩阵计算所述采样点的主曲率，用于删除高斯差分尺度空间局部曲率不对称的极值点；
其中，所述Hessian矩阵为：
其中，表示所述采样点的主曲率，其中x，y分别表示所述采样点的横坐标和纵坐标；
所述将所述极值点集进行特征提取，生成图像特征描述子集，包括：对提取的特征的特征向量进行排序，以保证所述图像特征描述子集具有旋转不变性。
2.如权利要求1所述的图像相似度匹配方法，其特征在于，所述预设的距离公式为：
其中，表示图像特征描述子/>与图像特征描述子/>的距离，n表示图像特征描述子的总量，j表示图像特征描述子的数量，/>表示图像特征描述子/>中的描述子数量，/>表示图像特征描述子/>中的描述子数量。
3.一种图像相似度匹配装置，用于实现如权利要求1至2中任一项所述的图像相似度匹配方法，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的图像相似度匹配程序，所述图像相似度匹配程序被所述处理器执行时实现如下步骤：
获取图像集，对所述图像集进行预处理操作，得到二值化图像集；
对所述二值化图像集进行尺度空间极值点检测，得到所述二值化图像集的极值点集；
将所述极值点集进行特征提取，生成图像特征描述子集；
通过预设的距离公式计算出所述图像特征描述子集之间的距离，得到所述图像特征描述子集之间的匹配度，并对所述匹配度进行归一化处理，将归一化处理后的所述匹配度按预设的规则进行排序，根据用户需求输出相似的图像。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像相似度匹配程序，所述图像相似度匹配程序可被一个或者多个处理器执行，以实现如权利要求1至2中任一项所述的图像相似度匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845692.2A CN110717497B (zh) | 2019-09-06 | 2019-09-06 | 图像相似度匹配方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845692.2A CN110717497B (zh) | 2019-09-06 | 2019-09-06 | 图像相似度匹配方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717497A CN110717497A (zh) | 2020-01-21 |
| CN110717497B true CN110717497B (zh) | 2023-11-07 |
Family
ID=69209783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910845692.2A Active CN110717497B (zh) | 2019-09-06 | 2019-09-06 | 图像相似度匹配方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717497B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340109B (zh) * | 2020-02-25 | 2024-01-26 | 深圳市景阳科技股份有限公司 | 图像匹配方法、装置、设备及存储介质 |
| CN111950476A (zh) * | 2020-08-17 | 2020-11-17 | 重庆大学 | 基于深度学习的复杂环境下河道船舶自动识别方法 |
| CN112734673B (zh) * | 2021-01-13 | 2022-06-21 | 山东大学 | 一种基于多表达式融合的低照度图像增强方法及系统 |
| CN113012132B (zh) * | 2021-03-22 | 2023-08-25 | 平安科技（深圳）有限公司 | 一种图像相似度确定方法、装置及计算设备、存储介质 |
| CN113436221A (zh) * | 2021-05-31 | 2021-09-24 | 华东师范大学 | 一种利用几何形状分层的图像分割弱标注方法 |
| CN116681702B (zh) * | 2023-08-03 | 2023-10-17 | 山东华光新材料技术有限公司 | 一种光纤预制棒的一次拉伸评估方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| CN103077512A (zh) * | 2012-10-18 | 2013-05-01 | 北京工业大学 | 基于主成分析的数字图像的特征提取与匹配方法及装置 |
| CN107945221A (zh) * | 2017-12-08 | 2018-04-20 | 北京信息科技大学 | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 |
| CN109101995A (zh) * | 2018-07-06 | 2018-12-28 | 航天星图科技（北京）有限公司 | 一种基于融合局部特征的快速无人机图像匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9798949B1 (en) * | 2015-03-19 | 2017-10-24 | A9.Com, Inc. | Region selection for image match |
-
2019
- 2019-09-06 CN CN201910845692.2A patent/CN110717497B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| CN103077512A (zh) * | 2012-10-18 | 2013-05-01 | 北京工业大学 | 基于主成分析的数字图像的特征提取与匹配方法及装置 |
| CN107945221A (zh) * | 2017-12-08 | 2018-04-20 | 北京信息科技大学 | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 |
| CN109101995A (zh) * | 2018-07-06 | 2018-12-28 | 航天星图科技（北京）有限公司 | 一种基于融合局部特征的快速无人机图像匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717497A (zh) | 2020-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717497B (zh) | 图像相似度匹配方法、装置及计算机可读存储介质 | |
| CN110517283B (zh) | 姿态跟踪方法、装置及计算机可读存储介质 | |
| CN110097051B (zh) | 图像分类方法、装置及计算机可读存储介质 | |
| CN110738203B (zh) | 字段结构化输出方法、装置及计算机可读存储介质 | |
| EP2783328B1 (en) | Text detection using multi-layer connected components with histograms | |
| Pai et al. | Adaptive thresholding algorithm: Efficient computation technique based on intelligent block detection for degraded document images | |
| Yang et al. | A framework for improved video text detection and recognition | |
| Harraj et al. | OCR accuracy improvement on document images through a novel pre-processing approach | |
| Ebrahimi et al. | SUSurE: Speeded up surround extrema feature detector and descriptor for realtime applications | |
| CN111860309A (zh) | 一种人脸识别方法及系统 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| US20140079316A1 (en) | Segmentation co-clustering | |
| CN112001362A (zh) | 一种图像分析方法、图像分析装置及图像分析系统 | |
| Susan et al. | Text area segmentation from document images by novel adaptive thresholding and template matching using texture cues | |
| CN110795995B (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
| CN110929561B (zh) | 表格文本智能过滤方法、装置及计算机可读存储介质 | |
| CN112508017A (zh) | 数显仪表读数智能识别方法、系统、处理设备和存储介质 | |
| Tong et al. | QR code detection based on local features | |
| Wang et al. | Binarization method based on evolution equation for document images produced by cameras | |
| Belhedi et al. | Adaptive scene‐text binarisation on images captured by smartphones | |
| Mohammad et al. | Practical recognition system for text printed on clear reflected material | |
| CN110705546B (zh) | 文本图像角度纠偏方法、装置及计算机可读存储介质 | |
| Vasilopoulos et al. | Unified layout analysis and text localization framework | |
| CN115294557A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |