CN102822864A - 图像签名匹配设备 - Google Patents
图像签名匹配设备 Download PDFInfo
- Publication number
- CN102822864A CN102822864A CN2010800268867A CN201080026886A CN102822864A CN 102822864 A CN102822864 A CN 102822864A CN 2010800268867 A CN2010800268867 A CN 2010800268867A CN 201080026886 A CN201080026886 A CN 201080026886A CN 102822864 A CN102822864 A CN 102822864A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensions
- area
- dimension
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 270
- 230000008569 process Effects 0.000 claims description 66
- 238000004519 manufacturing process Methods 0.000 claims 6
- 230000000295 complement effect Effects 0.000 claims 5
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 238000013139 quantization Methods 0.000 description 547
- 238000000605 extraction Methods 0.000 description 494
- 239000013598 vector Substances 0.000 description 233
- 238000004364 calculation method Methods 0.000 description 210
- 230000000694 effects Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 31
- 238000011002 quantification Methods 0.000 description 24
- 238000009826 distribution Methods 0.000 description 12
- 230000007423 decrease Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 10
- 230000001174 ascending effect Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
通过以下产生方法产生一种用于匹配的图像签名。首先,从图像中的多个子区域对中的相应子区域提取区域特征;针对子区域对中的每一对,对构成一个子区域对的两个子区域的区域特征之间的差值进行量化;以及产生作为针对相应子区域对所计算的量化值的要素集合,作为要用于辨别所述图像的图像签名。然后,使用作为针对相应子区域对所计算的量化值的要素的集合,作为要用于对图像进行辨别的图像签名。图像签名匹配设备根据通过上述产生方法所产生的第一图像的图像签名和第二图像的图像签名指定每一个图像的空白区域。所述图像签名匹配设备通过使得下述要素的权重减小的方式,将第一图像的图像签名与第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中。
Description
技术领域
本发明涉及一种用于使用图像签名来匹配图像的设备,所述图像签名是用于辨别图像(确定图像同一性(identity))的特征。
背景技术
图像签名是用于辨别图像(确定图像同一性)的特征。通过将从图像中提取的图像签名与从另一图像中提取的图像签名进行比较,可以根据比较结果来计算指示两个图像相同程度的同一性标度(一般称为相似度或距离)。此外,通过将所计算的同一性标度与阈值进行比较,可以确定两个图像是否相同。在这里的上下文中,“两个图像相同”的含义不仅包括两个图像在图像信号(构成图像的像素的像素值)级相同的情况,还包括一个图像是另一图像通过各种变化过程的复制图像的情况,变化过程如图像的压缩格式的转换、图像的大小/宽高比的转换、图像的色调的调整、应用于图像的各种滤波过程(锐化、平滑等等)、应用于图像的局部处理(字幕叠加、剪切等等)、以及图像的重新捕捉。通过使用图像签名,由于可以检测图像的复制或者移动图像(为图像集合),例如,图像签名适用于图像或移动图像的合法拷贝检测系统。
专利文献1描述了图像签名的示例。图18是示出了专利文献1中描述的提取图像签名的方法的示意图。该图像签名是多维(在图18中为16维)特征向量。该方法包括:在图像240中,在预定位置分别计算32块矩形区域244(图18示出了其中16块矩形区域)的平均亮度值;以及计算形成对的矩形区域(图18中利用虚线248互相连接的成对矩形区域)之间的平均亮度值的差值,从而获得16维差向量250。关于差向量250,通过向量变换产生复合向量,并且使用通过对复合向量的相应维度进行量化而获取的16维量化索引向量作为图像签名。
现有技术文献
专利文献
专利文献1:日本未审专利公开No.8-500471
发明内容
本发明要解决的问题
在由多维特征向量形成的图像签名中,由于维度之间的相关性较小,特征向量保存的信息量较大(冗余较小),因此这种图像签名具有较高辨别能力(辨别不同图像的程度)。相反,如果特征向量中的维度之间的相关性较大,则由于特征向量保存的信息量较小(冗余较大),因此辨别能力较低。应当注意,维度之间的相关性是从维度的特征中出现的相似性程度,在数学上,例如,如果将每个维度的特征的出现设置为概率变量,则维度之间的相关性是被计算为概率变量之间的相关性系数或互信息量的值。因此,期望由多维特征向量形成的图像签名应当被设计为使得维度之间的相关性较小。
图像信号(构成图像的像素的像素值)具有图像的局部区域之间的相关性。一般地,由于局部区域之间的距离较短,因此相关性较大。具体地,在指定图像图案重复出现的图像中(尤其在图像图案以规则周期重复出现的情况下)(例如,以栅格图案布置的建筑物窗户的图像,见图19(A))或者在由特定纹理形成的图像中(见图19(B)),例如,图像的局部区域之间的相关性较大。
[第一问题]
对于由包括从图像的多个局部区域中提取的特征在内的特征向量形成的图像签名,如专利文献1中所述,由于对于图像中局部区域之间的相关性较大的图像,在每个维度中用于提取特征的局部区域的形状相同(在专利文献1的示例中为相同形状的矩形区域),因此所提取的特征的维度之间的相关性较大。因此,存在第一问题:图像签名(特征向量)的辨别能力较低。应当注意,形状相同意味着区域相同,包括其大小和 角度(倾斜或朝向)。
例如,专利文献1中描述的图像特征对于指定图像图案重复出现的图像(见图19(A))或由特定纹理形成的图像(见图19(B))具有较低的辨别能力。
[第二问题]
专利文献1中描述的图像签名的第二问题在于:由于用于计算特征(特征向量)的相应维度的区域的形状为相同的矩形形状(包括大小和角度),因此在频率上存在盲点,在盲点处不能检测到具有与矩形的边长相同或者是其整数分之一的周期的频率分量。这是由于,如果这种特定频率的信号分量的平均在区域内计算,则无论信号分量的幅度如何,该值变为0,使得完全不能检测到这种频率分量的信号。更具体地,假定具有与矩形边长相同周期的频率为f0,则不能检测到频率nf0的分量(n=1,2,3,…)。因此,对于信号集中于直流分量和这种频率分量的图像,像素值的平均值变为与直流分量相同,从而在区域之间没有数值上的差异。因此,作为区域之间的平均像素值的差值而提取的每个特征的值变为0,使得不能执行辨别(辨别能力显著降低)。实际上,由于不仅难以检测频率nf0的分量(n=1,2,3,…)而且难以检测特定附近频率区域,即使信号不集中于上述特定频率,也不能使用这种频带的信号分量,从而降低了辨别能力。为了减轻该问题,可以增大频率f0的值,以减小落入难以检测的频带的电信号。然而,增大频率f0的值意味着减小区域的大小,导致频率健壮性(特征不随各种改变过程或噪声而变化的程度)降低。例如,如果区域变小,则特征的值相对于较小的位置偏移变化较大,从而降低了特征的健壮性。如上所述,在使用相同的矩形区域时,极其难以在提高辨别能力的同时确保健壮性。
本发明的目的是提供一种图像签名匹配设备,能够解决上述问题,即,使用具有较低辨别能力(辨别不同图像的程度)的图像签名进行匹配降低匹配精度的问题。
解决问题的手段
根据本发明的一方面,一种图像签名匹配设备,包括:空白区域指定单元,用于根据第一图像的图像签名和第二图像的图像签名指定每个图像的空白区域,其中所述第一图像的图像签名和所述第二图像的图像签名是通过一种产生方法产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域提取区域特征;针对子区域对中的每一对,对构成一个子区域对的两个子区域的区域特征之间的差值进行量化;以及产生作为针对相应子区域对所计算的量化值的要素集合,作为要用于辨别所述图像的图像签名;以及匹配单元,用于通过使得下述要素的权重减小的方式,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中。
发明效果
由于如上所述配置本发明,可以利用具有较高辨别能力(辨别不同图像的程度)的图像签名以高精度执行第一图像与第二图像之间的匹配。具体地,针对图像中的局部区域之间的相关性较高的图像,显著地实现该有利效果。
此外,根据本发明,可以利用针对具有集中于特定频率的信号的图像不降低辨别能力的图像签名来执行匹配。
此外,根据本发明,由于通过如下方法执行匹配:其中指定了第一图像和第二图像的空白区域,并且通过使得下述要素的权重减小的方式来执行匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中;因此能够以高精度执行匹配。此外,由于空白区域是根据图像签名自身指定的,因此还具有有利效果:在图像签名的提取侧(提取阶段),用于分别指定空白区域的单元是不必要的。
附图说明
图1是示出了本发明第一实施例的框图。
图2是示出了由每维度提取信息示出的相应维度的示例提取区域对的示意图。
图3是示出了本发明第一实施例中的比较单元的示例的框图。
图4是示出了本发明第一实施例中的比较单元的另一示例的框图。
图5是示出了本发明第一实施例中的处理流程的流程图。
图6是示出了本发明第二实施例的主要部分的框图。
图7是示出了本发明第二实施例中的处理流程的流程图。
图8是示出了本发明第三实施例的框图。
图9是示出了相应维度的区域特征计算方法的示例的表。
图10是示出了本发明第三实施例中的处理流程的流程图。
图11是示出了本发明第四实施例的框图。
图12是示出了相应维度的比较和量化方法的示例的表。
图13是示出了本发明第四实施例中的处理流程的流程图。
图14-a是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-b是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-c是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-d是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-e是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-f是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-g是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-h是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图14-i是示出了在本发明的第六实施例和第七实施例中使用的每维 度提取区域信息的表。
图14-j是示出了在本发明的第六实施例和第七实施例中使用的每维度提取区域信息的表。
图15-a是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图15-b是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图15-c是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图15-d是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图15-e是示出了在本发明的第六实施例中使用的每维度区域特征计算方法信息的表。
图16-a是示出了在本发明的第七实施例中使用的每维度区域特征计算方法信息的表。
图16-b是示出了在本发明的第七实施例中使用的每维度区域特征计算方法信息的表。
图16-c是示出了在本发明的第七实施例中使用的每维度区域特征计算方法信息的表。
图16-d是示出了在本发明的第七实施例中使用的每维度区域特征计算方法信息的表。
图16-e是示出了在本发明的第七实施例中使用的每维度区域特征计算方法信息的表。
图17-a是示出了在本发明的第六实施例和第七实施例中使用的每维度比较和量化方法信息的表。
图17-b是示出了在本发明的第六实施例和第七实施例中使用的每维度比较和量化方法信息的表。
图17-c是示出了在本发明的第六实施例和第七实施例中使用的每维度比较和量化方法信息的表。
图17-d是示出了在本发明的第六实施例和第七实施例中使用的每 维度比较和量化方法信息的表。
图17-e是示出了在本发明的第六实施例和第七实施例中使用的每维度比较和量化方法信息的表。
图18是专利文献1中描述的提取图像签名的方法的示意图。
图19是示出了局部区域之间的相关性较大的图像的示例的示意图。
图20是示出了用于匹配量化索引向量的匹配单元的框图。
图21是示出了由用于匹配量化索引向量的匹配单元所执行的示例过程的流程图。
图22是示出了由用于匹配量化索引向量的匹配单元所执行的另一示例过程的流程图。
图23是示出了由用于匹配量化索引向量的匹配单元所执行的又一示例过程的流程图。
图24是示出了应用于通过将图像划分为垂直方向32部分和水平方向32部分而形成的1024块的索引的示例的表。
图25-a是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-b是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-c是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-d是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-e是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-f是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图25-g是示出了本发明的第八实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图26是示出了每个维度的区域类型、维度数目和与阈值相对应的索引之间的关系的表。
图27-a是示出了区域类型a的维度的第一和第二提取区域的示例的示意图。
图27-b是示出了区域类型b的维度的第一和第二提取区域的示例的示意图。
图27-c是示出了区域类型c的维度的第一和第二提取区域的示例的示意图。
图27-d是示出了区域类型d的维度的第一和第二提取区域的示例的示意图。
图27-e是示出了区域类型e的维度的第一和第二提取区域的示例的示意图。
图27-f是示出了区域类型f的维度的第一和第二提取区域的示例的示意图。
图27-g是示出了区域类型g的维度的第一和第二提取区域的示例的示意图。
图28是示出了用于匹配量化索引向量的匹配单元的第二实施例的配置的框图。
图29是示出了添加了空白区域(黑带)的示例性图像的示意。
图30-a是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-b是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-c是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-d是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-e是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-f是示出了本发明的第九实施例中,在与相应维度相对应的区域中属于一个类型的区域的表。
图30-g是示出了本发明的第九实施例中,在与相应维度相对应的区 域中属于一个类型的区域的表。
图31是示出了每个维度的区域类型、维度数目和与阈值相对应的索引之间的关系的表。
图32是示出了单调非增加函数f(D)的示例的图示。
图33是示出了本发明的第五实施例的框图。
图34是示出了由用于匹配量化索引向量的匹配单元所执行的又一示例过程的流程图。
图35是示出了由用于匹配量化索引向量的匹配单元所执行的另一示例过程的流程图。
图36是示出了用于匹配量化索引向量的匹配单元的第三实施例的配置的框图。
图37是示出了由用于匹配量化索引向量的匹配单元的第三实施例所执行的示例过程的流程图。
图38是示出了由用于匹配量化索引向量的匹配单元的第三实施例所执行的另一示例过程的流程图。
具体实施方式
[第一实施例]
[第一实施例的配置]
接下来,参照附图来详细描述本发明的第一实施例。
参照图1,根据本发明第一实施例的图像签名提取设备是一种针对输入图像输出由多个维度形成的特征向量(更具体为量化索引向量)作为图像签名的系统。该图像签名提取设备包括:维度确定单元1;提取区域获取单元2;区域特征计算单元3;以及比较单元4。
维度确定单元1确定接下来要提取的特征向量的维度,并将其提供给提取区域获取单元2。维度确定单元1顺序地提供要提取的特征向量的维度,并且在提取区域获取单元2提取与所提供的维度相对应的特征之后提供构成元素。例如,如果特征向量由N维形成,则维度确定单元1可以顺序地将第1维至第N维提供给提取区域获取单元2。如果最终提供了特征向量的所有维度,则可以以任何顺序来提供维度。还可以并行地提供 多个维度。
除了从维度确定单元1提供的维度之外,还向提取区域获取单元2提供每维度提取区域信息作为输入。
每维度提取区域信息是指示用于提取维度的特征的第一提取区域和第二提取区域的预定对的信息,该信息与特征向量的每个维度相关联。第一和第二提取区域具有以下特征作为先决条件。
[第一和第二提取区域的先决条件]
第一和第二提取区域的先决条件是:一对提取区域的相对位置在维度间不同,并且一对提取区域的形状的组合在维度之间不同。
图2示出了示例提取区域对,针对每维度提取区域信息所指示的每个维度,满足先决条件。与图18中所示的图像签名的提取区域不同,提取区域对的形状的组合在各个维度之间不同。形状不同包括不同角度的相同形状(例如图2中第1维度的第二提取区域和第7维度的第一提取区域)以及不同大小的相似形状(例如图2中第1维度的第二提取区域和第9维度的第二提取区域)。应当注意,最小条件是:在特征向量的所有维度中包括至少一个维度,该至少一个维度中的提取区域对具有不同形状的组合。期望特征向量包括大量维度,这些维度具有形状(的组合)互不相同的提取区域对。这是由于,当特征向量包括形状(的组合)互不相同的提取区域对时,在特征向量中,维度之间的大量相关性变小,从而辨别能力变高。例如,在特征向量的所有维度中,提取区域对的形状可以互不相同。
维度中的第一提取区域和第二提取区域不必需具有与图2的第9维度中所示的相同的形状,而是可以具有如图2的其他维度中所示的不同形状。如果在每个维度中第一提取区域和第二提取区域的形状不同,则从第一提取区域和第二提取区域中提取的特征之间的相关性变小,从而辨别能力变高。因此,这是有利的。此外,在该情况下,由于第一提取区域和第二提取区域同时变为针对相同频率的盲点的可能性较小,因此辨别能力变高。
各个提取区域可以采取任何形状。例如,任何复杂形状(如图2中 第6维度的第二提取区域)也是可接受的。如果提取区域由图像中的多个像素形成,则线段和曲线也是可接受的,如图2中的第7维度和第10维度中所示。此外,提取区域可以由多个不连续小区域组成,如第8维度的第一提取区域、第11维度的第一和第二提取区域以及第12维度的第一提取区域。如上所述,如果特征向量包括具有复杂形状的提取区域,则可以降低从其提取的特征的维度之间的相关性,从而辨别能力可以更高。
此外,第一提取区域和第二提取区域的部分还可以互相重叠,如在图2的第5维度中。此外,一对提取区域中的任一个提取区域可以包括在另一个提取区域中。如上所述,通过允许一对提取区域重叠,由于可以针对提取区域对可以采取更大量图案(相对位置、距离),因此可以增加能够降低维度之间相关性的图案,从而提高改进辨别能力的可能性。
此外,与图18中所示的图像签名的提取区域不同,如图2中所示的各个维度,提取区域的部分可以在维度之间互相重叠。如果如图18中所示的图像签名的提取区域中所示,在维度之间排他地取得提取区域,则提取区域对的可能图案是有限的。通过如图2所示允许提取区域在维度之间重叠,可以增加能够降低维度之间相关性的图案,从而提高改进辨别能力的可能性。然而,如果存在提取区域在维度之间的过多重叠部分,则维度之间的相关性变大,从而辨别能力变低。因此,这是不利的。
此外,在提取区域彼此靠近的维度(维度对)之间,期望这种维度(维度对)的提取区域对的形状的组合彼此不同。例如,在提取区域彼此靠近的维度(维度对)之间,这种维度(维度对)的提取区域对的形状的组合可以彼此不同。在这种情况下,在提取区域彼此靠近的所有维度(维度对)之间,那些维度的提取区域对的形状的组合可以彼此不同。也可能出现下列情况:在提取区域彼此靠近的维度(维度对)之中,提取区域对的形状的组合在预定比例或更大的维度(维度对)中可以彼此不同;或者在提取区域彼此靠近的维度(维度对)之中,提取区域对的形状的组合在至少一个维度对中可以彼此不同。
应当注意,提取区域彼此靠近的维度对表示其中通过预定方法所计算的两个维度的提取区域(第一提取区域和第二提取区域)之间的距离小于预定阈值的维度对。例如,可以将两个维度的提取区域(第一提取 区域和第二提取区域)之间的距离当作相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素之间的距离的平均值来计算。也可以将该距离当作例如相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素的距离的最小值来计算。例如,也可以计算相应维度的提取区域的重心坐标(第一提取区域的重心坐标和第二提取区域的重心坐标),计算重心坐标之间的距离(统共计算四个距离),并将两个维度的提取区域之间的距离定义为其平均值或最小值。然而,计算两个维度的提取区域之间的距离的方法不局限于这些计算方法。
使得提取区域对的形状的组合在提取区域彼此靠近的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域彼此靠近的维度之间,所提取的特征之间的相关性往往较大。如果那些区域中的提取区域对的形状的组合相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许提取区域对的形状的组合在那些区域中不同以抵消由于提取区域彼此靠近的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
从相反的角度,在维度对的形状的组合相同的维度(维度对)之间,期望这种维度(维度对)的提取区域之间的距离较大。例如,在提取区域对的形状的组合相同的维度(维度对)之间,这种维度(维度对)之间的距离可以大于预定阈值。在这种情况下,在提取区域对的形状的组合相同的所有维度(维度对)之间,那些维度(维度对)之间的距离可以大于预定阈值。也可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,维度(维度对)之间的距离在预定比例或更大的维度(维度对)中可以大于预定阈值;或者在提取区域对的形状的组合相同的维度(维度对)之中,维度(维度对)之间的距离在至少一个维度对中可以大于预定阈值。
此外,在提取区域彼此邻接的维度(维度对)之间,期望这种维度(维度对)的提取区域对的形状的组合彼此不同。应当注意,提取区域邻接的维度(维度对)表示提取区域的部分外围彼此接触。例如,在提取区域邻接的维度(维度对)之间,这种维度(维度对)的提取区域对 的形状的组合可以彼此不同。在这种情况下,在提取区域邻接的所有维度(维度对)之间,那些维度的提取区域对的形状的组合可以彼此不同。也可能出现下列情况:在提取区域邻接的维度(维度对)之中,提取区域对的形状的组合在预定比例或更大的维度(维度对)中可以彼此不同;或在提取区域彼此邻接的维度(维度对)之中,提取区域对的形状的组合在至少一个维度对中可以彼此不同。
使得提取区域对的形状的组合在提取区域彼此邻接的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域邻接的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域彼此邻接(图像内的临近区域之间的相关性较高)的维度之间,两个维度的提取区域靠近。如果那些区域中的提取区域对的形状的组合相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许提取区域对的形状的组合在那些区域中不同以抵消由于提取区域彼此邻接的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
从相反的角度,在维度对的形状的组合相同的维度(维度对)之间,期望这种维度(维度对)的提取区域彼此不邻接。例如,在提取区域对的形状的组合相同的维度(维度对)之间,这种维度(维度对)的提取区域可以不邻接。在这种情况下,在提取区域对的形状的组合相同的所有维度(维度对)之间,那些维度(维度对)的提取区域可以不邻接。也可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,提取区域在预定比例或更大的维度(维度对)中可以不邻接;或者在提取区域对的形状的组合相同之中,提取区域在至少一个维度对中可以不邻接。
此外,在提取区域部分重叠的维度(维度对)之间,期望这种维度(维度对)中的提取区域对的形状的组合彼此不同。例如,在提取区域部分重叠的维度(维度对)之间,这种维度(维度对)中的维度(维度对)彼此不同。在这种情况下,在提取区域部分重叠的所有维度(维度对)之间,那些维度的提取区域对的形状的组合可以彼此不同。也可能 出现下列情况:在提取区域部分重叠的维度(维度对)之中,提取区域对的形状的组合在预定比例或更大的维度中可以彼此不同;或者在提取区域部分重叠的维度(维度对)之中,提取区域对的形状的组合在至少一个维度对中彼此不同。
使得提取区域对的形状的组合在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域部分重叠的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域部分重叠的维度之间,用于计算特征的区域是部分共享的。如果那些区域中的提取区域对的形状的组合相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许提取区域对的形状的组合在那些区域中不同以抵消由于提取区域部分重叠的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
使得提取区域对的形状的组合在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现另一有利效果。使得提取区域对的形状的组合在提取区域部分重叠的维度(维度对)之间彼此不同,具有如下益处:能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。对图像的恶意窜改是例如在尝试通过从图像中提取的图像签名(特征向量)来使得同一性确定精度恶化中通过改变图像的一部分区域的像素值来实施的。在提取区域部分重叠的维度之间,如果窜改了图像的重叠区域,也就是说如果改变了重叠区域的像素值,则从中提取的特征(区域特征)受影响,由此该特征很可能不同于从未被窜改的区域中提取的特征。如果那些维度中的提取区域对的形状的组合相同,则以类似的方式影响从相应维度的提取区域中提取的特征,使得同时改变特征的可能性较高,因而鲁棒性较低。如果那些维度的提取区域对的形状的组合不同,那么即便重叠区域被窜改,也能够降低以类似方式影响特征以同时改变特征的可能性,由此能够确保鲁棒性。这样,通过同时改变共享重叠区域的多个维度的特征来窜改重叠区域变得困难。相应地,使得提取区域对的形状的组合在提取区域部分重叠的维度(维度对)之间彼此不同,能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。
从相反的角度,在提取区域对的形状的组合相同的维度(维度对)之间,期望那些维度(维度对)的提取区域彼此不重叠。例如,在提取区域对的形状的组合相同的维度(维度对)之间,这种维度(维度对)的提取区域可以彼此不重叠。在这种情况下,在提取区域对的形状的组合相同的所有维度(维度对)之间,那些维度(维度对)的提取区域可以彼此不重叠。也可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,提取区域在预定比例或更大的维度(维度对)中可以彼此不重叠;或在提取区域对的形状的组合相同的维度(维度对)之中,提取区域在至少一个维度对中可以彼此不重叠。
此外,期望将提取区域取为使得在针对所有维度将提取区域组合时,不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像)。如果如图18中的情况那样,不从中提取特征的区域较大,则图像信号(构成图像的像素的像素值)中包括的大部分信息未被使用,从而辨别能力不高。通过将提取区域取为使得在针对所有维度将提取区域组合时,不从中提取特征的区域较小(这意味着可以覆盖几乎全部屏幕图像),图像信号中包括的较大部分信息可以反映在特征上,从而辨别能力可以较高。此外,期望在针对所有维度将提取区域组合时,提取特征不偏倚,而是从整个图像中均匀地获得。然而,如果对指定区域执行局部处理(如字幕叠加)的概率较高,则期望在避免这种区域的同时获得提取区域。此外,一般地,由于图像边缘周围的区域通常不包括图像的特征部分,因此期望在避免这种环绕区域的同时获得提取区域。
此外,期望提取区域的大小和相对位置(距离、方向)服从特定分布(例如均匀分布),因为如果相对位置(距离、方向)服从均匀分布,则提取区域关于距离或方向不偏倚,从而可以实现较宽的变化。此外,由于随着相对位置接近,区域之间的相关性较大,因此为了抵消这种效应,期望随着相对位置越靠近,形状上的差异越大。
如果可以利用每维度提取区域信息来唯一指定针对每个维度的第一提取区域和第二提取区域,则该信息可以具有任何形式。此外,由于对于任何大小或宽高比的图像,提取区域必须始终为相同区域,因此每维度提取区域信息应当具有可以对于任何大小或宽高比的图像获得相同 提取区域的形式。例如,每区域提取区域可以关于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)来描述提取区域的位置和形状。在该情况下,对于以任意大小和宽高比输入的图像,首先将该图像的大小调整为具有预定大小和宽高比,然后根据在每维度提取区域信息中描述的提取区域的位置和形状来指定提取区域。相反,还可以对与输入图像的任何大小和宽高比的图像相对应的每维度提取区域信息中描述的提取区域的位置和形状进行转换,从而指定提取区域。
每维度提取区域信息中包括的指示每个提取区域的信息可以是描述构成提取区域的所有像素相对于具有预定大小和宽高比的图像(例如具有320像素水平宽度x240像素垂直宽度的图像)的坐标值集合的信息。此外,每维度提取区域信息中包括的指示每个提取区域的信息可以是利用参数来描述提取区域相对于具有预定大小和宽高比的图像的位置和形状的信息。例如,如果提取区域的形状是四边形,则该信息可以描述四边形的四个角的坐标值。此外,如果提取区域的形状是圆形,则该信息可以描述圆心的坐标值和圆的半径值。
此外,还可以采用以下方法:利用伪随机数种子作为每维度提取区域信息,在提取区域获取单元2内,通过从种子开始产生伪随机数,从而根据随机数来产生不同形状的提取区域(例如,根据随机数来确定四边形的四个角)。具体地,可以根据以下过程来获取每维度提取区域。
(1)提供伪随机数的种子,作为每维度提取区域信息。
(2)将维度n设置为n=1。
(3)产生伪随机数,确定针对维度n的第一提取区域的四边形的4个角。
(4)产生伪随机数,确定针对维度n的第二提取区域的四边形的4个角。
(5)将维度n设置为n+1,过程返回(3)。
由于基于随机数来确定提取区域,对于各个维度,所产生的提取区域互不相同。此外,如果伪随机数的种子相同,则由于每次(关于任何图像)产生相同的随机数,因此针对不同图像复制了相同的提取区域。
提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示与从维度确定单元1提供的维度相对应的第一提取区域和第二提取区域的信息,并向提取区域表示值计算单元3输出该信息。
除了来自提取区域获取单元2的输入(指示第一提取区域和第二提取区域的信息)之外,还向区域特征计算单元3提供作为图像签名的提取目标的图像以作为输入。区域特征计算单元3包括第一区域特征计算单元31和第二区域特征计算单元32。利用第一区域特征计算单元31,区域特征计算单元3根据作为输入提供的图像,基于指示从提取区域获取单元2提供的第一提取区域的信息来计算第一提取区域的特征,作为每个维度的第一区域特征,并将该特征提供给比较单元4。此外,利用第二区域特征计算单元32,区域特征计算单元3根据作为输入提供的图像,基于指示从提取区域获取单元2提供的第二提取区域的信息来计算第二提取区域的特征,作为每个维度的第二区域特征,并将该特征提供给比较单元4。
应当注意,为了基于指示第一提取区域和第二提取区域的信息,相对于输入图像来指定相应提取区域,在必要时,提取区域获取单元2将图像大小调整为具有每维度提取区域信息中的预定大小和宽高比。
区域特征计算单元3使用相应提取区域中包括的一组像素的像素值来计算相应提取区域的区域特征。在本实施例中,像素值是图像的每个像素保存的信号的值,是标量或向量。例如,如果图像是亮度图像,则像素值是亮度值(标量);如果图像是彩色图像,则像素值是指示颜色分量的向量。如果彩色图像是RGB图像,则像素值是R分量、G分量和B分量的三维向量。此外,如果彩色图像是YCbCr图像,则像素值是Y分量、Cb分量和Cr分量的三维向量。
如果计算维度的提取区域(第一提取区域和第二提取区域)的方法是恒定的(针对任何输入图像使用相同计算方法),则可以使用任何方法来计算提取区域的区域特征。
此外,要计算的区域特征可以是标量或向量。例如,如果像素值是标量(如亮度值),则区域特征可以被计算为平均值、中值、模式值、最大值、最小值等等(其中每一个是标量)。此外,例如,还可以对提取区域中包括的像素值进行排序,并从分布(排序的顺序)的顶部或底部的 预定比例位置处获得像素值作为区域特征(也是标量)。更具体地,针对百分比P%(例如P=25%)为预定比例的情况给出解释。提取区域中包括的总计N个像素的像素值(亮度值)按升序排序,并且将按升序排序的像素值(亮度值)集合表示为Y(i)={Y(0),Y(1),Y(2),...,Y(N-1)}。在本示例中,例如,从按升序排序的排列的底部P%的位置处的像素值为Y(floor(N*P/100)),因此获得该值作为提取区域的区域特征。应当注意,floor()是截断小数点之后位置的函数。在本示例中,通过对提取区域中包括的像素的亮度值应用该公式Y(floor(N*P/100))而计算的区域特征被称为“百分比亮度值特征”。
此外,如果像素值是向量(如颜色分量),则可以首先通过任何方法将该值转换为标量,然后通过上述方法来计算区域特征。例如,如果像素值是RGB分量的3维向量,则可以首先将该值转换为亮度值(标量),然后通过上述方法来计算区域特征。此外,如果像素值是向量,还可以使用提取区域中包括的像素值的平均向量作为区域特征。
此外,还可以对提取区域执行任何操作(差分操作、滤波操作),如边缘检测或模版匹配,并使用操作结果作为区域特征。例如,它可以是指示边缘方向(梯度方向)的二维向量,或者指示与模版的相似度的标量。
此外,可以获得示出提取区域中包括的颜色分布、边缘方向分布或边缘强度分布的直方图作为区域特征(其中每一个是向量)。
此外,可以使用ISO/IEC 15938-3中定义的各种特征中的任一种,包括:主导颜色、颜色布局、可缩放颜色、颜色结构、边缘直方图、均质纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动和运动活动。
比较单元4针对每个维度,将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较,并对比较结果进行量化,以输出所获取的量化索引。由于比较单元4输出针对各个维度的量化索引,最终输出由多个维度的量化索引构成的量化索引向量。
比较单元4可以使用任何方法来将第一区域特征与第二区域特征进行比较并执行量化。此外,针对每个维度,量化索引的数目也是任意的。
如果例如区域特征是标量(例如亮度值的平均值),则比较单元4可 以比较其幅度;如果第一区域特征较大,则将量化索引设置为+1,在其他情况下,将量化索引设置为-1,以将比较结果量化为+1和-1两个值的量化索引。应当注意,对于维度n,如果第一区域特征为Vn1并且第二区域特征为Vn2,则维度n的量化索引Qn可以通过以下表达式来计算。
[表达式1]
Qn=+1(if Vn1>Vn2)
-1(if Vn1≤Vn2)
图3示出了当比较单元4基于上述表达式1来执行比较和量化时,比较单元4的更详细配置图。
参照图3,比较单元4包括:幅度比较单元41和量化单元42。
当提供了第一区域特征和第二区域特征时,幅度比较单元41将第一区域特征的值与第二区域特征的值进行比较,并将比较结果提供给量化单元42。这意味着,幅度比较单元41将Vn1的幅度与Vn2的幅度进行比较,并将指示比较结果是Vn1>Vn2还是Vn1≤Vn2的信息提供给量化单元42作为幅度比较结果。
基于从幅度比较单元41提供的幅度比较结果,量化单元42根据表达式1来执行量化,并输出量化索引。因此,量化单元42以如下方式输出量化索引:使得如果提供了指示比较结果为Vn1>Vn2的信息,则量化索引为+1;而如果提供了指示比较结果为Vn1≤Vn2的信息,则量化索引为-1。
应当注意,根据表达式1的比较和量化方法以下称为比较和量化方法A。
此外,如果区域特征是标量(例如亮度值的平均值),则比较单元4可以以如下方式执行量化:使得如果差值的绝对值小于或等于预定阈值,则确定在第一区域特征与第二区域特征之间不存在差值,从而设置指示无差值的量化索引0;在其他情况下,比较单元4对其幅度进行比较,如果第一区域特征较大,则设置量化索引+1,而在其他情况下,设置量化索引-1,从而量化索引为+1、0和-1三个值中的任一个。假定维度n的第一区域特征为Vn1,其第二区域特征为Vn2,预定阈值为th,则可以根据 以下表达式来计算维度n的量化索引Qn。
[表达式2]
Qn=+1(if|Vn1-Vn2|>th and Vn1>Vn2)
0(if|Vn1-Vn2|≤th)
-1(if|Vn1-Vn2|>th and Vn1≤Vn2)
图4示出了当比较单元4基于上述表达式2来执行比较和量化时,比较单元4的更详细配置图。
参照图4,比较单元4包括:差值计算单元43和量化单元44。预先向量化单元44提供阈值作为输入,该阈值是指示量化边界的预定信息(量化边界信息)。
当提供了第一区域特征和第二区域特征时,差值计算单元43计算第一区域特征的值与第二区域特征的值之间的差值,并将所计算的差值提供给量化单元44。这意味着差值计算单元43计算Vn1-Vn2,并将结果值提供给量化单元44。
量化单元44基于从差值计算单元43提供的差值和阈值(指示作为输入提供的预定量化边界的信息(量化边界信息)),根据表达式2来执行量化,并输出量化索引。这意味着,量化单元42基于基于从差值计算单元41提供的Vn1-Vn2的值以及作为索引提供的阈值,以如下方式输出量化索引:如果|Vn1-Vn2|>th并且Vn1-Vn2>0,则量化索引为+1;如果|Vn1-Vn2|>th并且Vn1-Vn2≤0,则量化值为-1;如果|Vn1-Vn2|≤th,则量化索引为0。
基于表达式2的比较和量化方法以下称为比较和量化方法B。
尽管在本示例中,基于差值,以三个值来执行量化,但是可以根据差值的幅度,以更大数目(等级)的量化索引来执行量化。即使在该情况下,比较单元4具有图4中所示的配置,并且向量化单元44提供多个阈值(作为指示各个等级的预定量化边界的信息(量化边界信息))作为输入。基于该差值和作为输入提供的阈值来量化为4个或更多等级的比较和 量化方法以下称为比较和量化方法C。
如上所述,与根据表达式1的方法相比,通过针对第一区域特征与第二区域特征之间的差值较小(小于或等于预定阈值)从而确定不存在差值的情况引入指示不存在差值的量化索引,可以使得区域特征之间具有较小差值的一对提取区域的维度中的特征(量化索引)更加稳定,即对于各种改变过程和噪声更加健壮。因此,可以输出对于局部区域之间整体上具有较小差值的图像(即整体上具有较小变化的平坦图像,例如蓝天的图像)较为稳定并且对于各种改变过程和噪声较为健壮的图像签名(量化索引向量)。
此外,例如如果区域特征是向量,则比较单元4可以首先通过任何任意方法将向量转换为标量,然后通过上述方法来执行量化(该比较和量化方法以下称为比较和量化方法D)。例如,还可以根据第一提取区域的向量来计算差向量,该差向量是与第二提取区域的向量之差,并对该差向量进行量化,从而获得量化索引。在该情况下,提供针对各个量化索引的预定表示向量(重心向量等等),并将其分类为在表示向量与差向量之间具有最大相似度(最小距离)的量化索引(该比较和量化方法以下称为比较和量化方法E)。此外,与根据上述表达式2的标量的量化类似,如果差向量的范数小于或等于预定阈值,则可以确定第一区域特征与第一区域特征之间不存在差值,从而引入指示无差值的量化索引作为指示无差值的量化索引0。
应当注意,在对本发明中输出的量化索引向量进行匹配时(在将从图像中提取的量化索引向量与从另一图像中提取的量化索引向量进行比较以确定它们是否相同时),量化索引相符的维度数目(相似度)或者量化索引不相符的维度数目(汉明距离)可以被计算为同一性标度,将同一性标度与阈值进行比较,从而可以确定图像的同一性。
此外,如果在比较单元4中基于表达式2来计算量化索引,则同一性标度(相似度)可以计算如下。首先,在对应维度之间,将两个图像的量化索引向量互相比较,并计算不是“两个量化索引均为0”的维度数目(该值为设置为A)。接下来,在不是“两个量化索引均为0”的维度中,计算量化索引相符的维度数目(该值被设置为B)。然后,将相似度计算 为B/A。如果A=0(即如果在每个维度中两个量化索引均为0),则相似度被设置为预定数值(例如0.5)。
还可以计算在不是“两个量化索引均为0”的维度中量化索引不相符的维度的数目(该值被设置为C),从而将同一性标度(距离)计算为C/A。如果A=0(即如果在每个维度中两个量化索引均为0),则将同一性标度(距离)设置为预定数值(例如0.5)。与将同一性标度计算为B/A的方法相比,以下示出了将同一性标度计算为C/A的方法的有利效果。由于B+C=A,在计算B(量化索引相符的维度数目)以获得B/A的情况与计算C(量化索引不相符的维度数目)以获得C/A的情况之间,在图像的同一性确定精度方面不存在差异(由于B/A=1-C/A以及C/A=1-B/A,因此,两者之间的唯一差异在于,B/A将同一性标度计算为“相似度”;而C/A将同一性标度计算为“距离”)。然而,当通过将所计算的同一性标度与预先给定的阈值进行比较来确定同一性时,如果终止计算相似度标度以减小计算代价,则两种方法之间产生计算代价方面的差异。对相似度标度的计算如下终止。已经预先给定了用于同一性确定的阈值。对于相应维度,依次确定量化索引是否彼此{相符·不相符},计算量化索引彼此{相符·不相符}的维度的数目的值(递增),并且将该值与阈值进行依次比较。当量化索引彼此{相符·不相符}的维度的数目超过阈值时,可以终止计算(由于显然即使继续计算该值也将超过阈值)。应当注意,一般地,如果将同一性标度(相似度)计算为B/A,则将用于同一性确定的阈值设置为大于0.5(一半)的值;如果将同一性标度(距离)计算为C/A,则将用于同一性确定的阈值设置为小于0.5(一半)的值(在前一情况下,如果所计算的值大于阈值,则确定图像相同;而在后一情况下,如果所计算的值小于阈值,则确定图像相同)。例如,当计算B/A时,将阈值设置为0.8;当计算C/A时,将阈值设置为0.2。如果A=100,在计算B/A的情况下,依次计算B的值,当B的值超过80时,可以终止计算。在计算C/A的情况下,依次计算C的值,当C的值超过20时,可以终止计算。这意味着,在计算B的情况下,直到值超过80才可以终止计算,而在计算C的情况下,当值超过20时可以终止计算。因此,由于在将同一性标度计算为C/A而不是将其计算为B/A时,可以在较早的时间点终止计算,因此将同 一性标度计算为C/A将具有减小计算代价的有利效果。
此外,还可以将“两个量化索引均为0”的维度的数目计算为D(如果维度总数为N,则A+D=N),从而使用D的任何单调非递增函数f(D),将同一性标度计算为B/f(D)或C/f(D)。D的单调非递增函数f(D)是以下函数:其中对于D1<D2,满足f(D1)≥f(D2)。图32是示出了f(D)相对于D的示例的图(水平轴指示D,垂直轴指示f(D))。在图32中,函数(i)(其中f(D)=常数)得出与简单计算为B或C的同一性标度具有相同值的同一性标度;函数(ii)(其中f(D)=N-D=A)得出与计算为B/A或C/A的同一性标度具有相同值的同一性标度。应当注意,f(D)不必需如函数(i)或函数(ii)一样相对于D具有线性形状,只要f(D)是D的单调非递增函数,f(D)可以是如函数(iii)或函数(iv)的非线性形状。以下将提供如上所述使用D的任何单调非递增函数将同一性标度计算为B/f(D)或C/f(D)的有利效果。参照表达式2,量化索引0指示两个提取区域的区域特征的值之间不存在差值(小于或等于阈值)。在整体变化较小的平坦图像区域中(即局部区域的特征之间的差值较小(天空区域,白墙区域等等)),量化索引0的数目可能较大(例如,在整体平坦的蓝天图像中,几乎所有维度中的量化索引为0);此外,当这种平坦图像区域包括在许多图像中时,在通过比较两个图像的量化索引向量来确定同一性时,量化索引为0的维度显现出较低的有效性。在两个比较图像的量化索引向量中,认为“两个量化索引均为0”的维度是在通过比较两个图像的量化索引向量来确定同一性时有效性较低的维度。在B和C中,消除“两个量化索引均为0”的较低有效性的维度,以限于不是“两个量化索引均为0”的较高有效性的维度,从而计算量化索引相符的维度的数目(B)或者量化索引不相符的维度的数目(C)。通过消除较低有效性的维度以限于较高有效性的维度从而计算同一性标度,可以实现高精度匹配以确定图像的同一性。此外,f(D)根据“两个量化索引均为0”的维度的数目,即根据较低有效性的维度的数目,来对B或C的值进行归一化(因为D越大,A越小,使得B或C的值变小,从而通过单调非递增函数,相对于D来执行归一化)。应当注意,由于任何单调非递增函数用作用于归一化的函数,可以调整(控制)同一性标度的行为,从而提供以下有利效果:根据被执行同一性确定的图像数据库或 应用,可以实现优化。
在前一段落(段0076)中描述的计算同一性标度的方法中,消除“两个量化索引均为0”的较低有效性的维度并限于不是“两个量化索引均为0”的较高有效性的维度,从而计算同一性标度。然而,还可以不完全消除“两个量化索引均为0”的较低有效性的维度,而使用关于D(D是“两个量化索引均为0”的维度的数目)的单调非递减函数g(D),以将同一性标度计算为(B/f(D))+g(D)。应当注意,第一项B/f(D)是根据不是“两个量化索引均为0”的较高有效性维度而计算的同一性标度,后一项g(D)是根据“两个量化索引均为0”的较低有效性维度而计算的同一性标度,并且整体同一性标度定义为两者之和。通过设计单调非递减函数g(D)以使得后一项g(D)的效果(权重)变为小于第一项B/f(D)的效果(权重),可以计算同一性标度,使得具有较高有效性的第一项B/f(D)的权重较大。例如,可以使用较小加权值β,将同一性标度计算为(B/f(D))+β*D。此外,当f(D)=常数时,如果1/f(D)=α,则可以将同一性标度计算为α*B+β*D。如上所述,通过将不是“两个量化索引均为0”的较高有效性维度与“两个量化索引均为0”的较低有效性维度分离来计算同一性标度,可以在考虑整体维度的同时,调整(控制)较高有效性维度和较低有效性维度的相对权重(例如,增大较高有效性维度的权重)。这提供了有利效果,使得可以根据被执行同一性确定的图像数据库或应用来执行优化。
应当注意,在段0074至0077中,尽管基于在要比较的量化索引相信中“两个量化索引均为0”的维度(的数目)和不是“两个量化索引均为0”的维度(的数目)来描述了计算同一性标度的方法,但是还可以通过基于“任一量化索引为0”的维度(的数目)和“任一量化索引不为0”的维度(的数目)的类似计算方法来计算同一性标度。这意味着,在0074至0077段落中的“两个量化索引均为0”的维度(的数目)和不是“两个量化索引均为0”的维度(的数目)可以分别被“任一量化索引为0”的维度(的数目)和“任一量化索引不为0”的维度(的数目)所代替。
尽管基于根据表达式2来计算量化索引的前提来描述了0074至0078段中描述的匹配方法(同一性标度计算方法),但是匹配方法不限于基于表达式2来计算量化索引的情况。如果在比较单元4中引入量化索引的量 化方法,量化索引指示在作为两个提取区域(第一提取区域和第二提取区域)的特征的第一区域特征与第二区域特征之间不存在差值(差值较小,即小于或等于预定阈值),则这种匹配方法可以适用。因此,0074至0078段中的量化索引0应当被理解为“指示第一区域特征与第二区域特征之间不存在差值(差值较小,即小于或等于预定阈值)”的量化索引。
如果通过0073至0079段中描述的对从两个图像中提取的量化索引进行匹配的方法来计算同一性标度的装置是匹配装置,则可以配置包括该匹配装置作为组成元件的图像签名匹配设备。匹配单元对从比较单元4输出的第一图像的量化索引向量与第二图像的量化索引向量进行比较,计算同一性标度并将其输出。此外,除了匹配单元之外,图像签名匹配设备还可以包括同一性确定单元。同一性确定单元将从匹配单元提供的同一性标度的幅度与给定阈值进行比较,确定第一图像和第二图像是否相同,并输出确定结果。
应当注意,在0073至0080段中描述的匹配量化索引向量的方法可以适用于以下描述的所有实施例(第二实施例、第三实施例、第四实施例以及其他实施例)。
[第一实施例的操作]
接下来,参照图5的流程图来描述根据第一实施例的图像签名提取设备的操作。在图5的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2(步骤A1)。
接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3(步骤A2)。
然后,区域特征计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4(步骤A3)。
然后,比较单元4将维度n的第一区域特征与第二区域特征进行比 较,对比较结果进行量化,并输出量化索引(步骤A4)。
然后,确定是否完成了针对所有维度的量化索引的输出(即确定n<N是真还是假)(步骤A5)。如果完成了针对所有维度的量化索引的输出(即如果n<N是假),则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n<N是真),则处理继续至步骤A6。在步骤A6,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2。然后,处理返回步骤A2。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。
[第一实施例的效果]
接下来将描述本发明的第一实施例的有利效果。
第一有利效果在于,可以提高由多维特征向量构成的图像签名的辨别能力(辨别不同图像的程度)。具体地,对于在图像的局部区域之间具有较大相关性的图像,该效果较为明显。
这是因为,由于用于提取特征的区域的形状在维度之间不同(区域形状可变),因此可以降低维度之间的相关性。
第二有利效果在于,对于信号集中于特定频率的图像,辨别能力不退化。
这是因为,由于用于提取特征的区域的形状在维度之间不同(区域形状可变),因此即使对于信号集中于特定频率的图像,较少地导致所有(许多)提取区域对(维度)的特征之间同时不存在差值从而辨别能力恶化的情况。
[第二实施例]
[第二实施例的配置]
接下来参照附图来详细描述本发明的第二实施例。
本发明第二实施例与第一实施例的区别在于,利用图6中详细示出的比较单元4A替换了图1中所示的第一实施例的比较单元4。由于除了比 较单元4A之外的组件与第一实施例中相同,因此在本实施例中省略了对这些组件的描述。
参照图6,比较单元4A包括:差值计算单元43、量化边界确定单元45和量化单元44。
差值计算单元针对每个维度来计算从区域特征计算单元3提供的第一区域特征与第二区域特征之间的差值,并将该差值提供给量化边界确定单元45和量化单元44。
如果区域特征是标量(例如亮度值的平均值),则该差值是例如通过从第一区域特征中减去第一区域特征(或反之)而获得的标量。如果区域特征是向量,则也可以在通过任意方法将相应向量转换为标量之后获得标量的差值。此外,如果区域特征是向量,则还可以使用第一区域特征与第二区域特征之间的差向量作为差值(向量)。
当将从差值计算单元43提供的特征向量的所有维度的差值提供给量化边界确定单元45时,量化边界确定单元45基于所有维度的差值分布来确定量化的边界,并将与所确定的量化边界的相关的信息提供给量化单元44。应当注意,所有维度的差值分布是指对于差值(或差向量)的出现频率(概率)。
此外,确定量化边界是指,在对差值进行量化时,确定要排他地、不失败地分配给量化索引的参数。例如,如果差值是标量,则确定对于每个量化索引(量化等级)的值范围(即阈值),并且将这种值范围(阈值)提供给量化单元43作为量化边界的信息。备选地,例如,如果差值是向量,则确定例如用于执行向量量化的参数(即各个量化索引的表示向量),并将其提供给量化单元44作为量化边界的信息。
如果差值是标量并且要执行M值量化(M=2,3,…等等),则量化边界确定单元45可以基于所有维度的差值的分布来确定量化的值范围(阈值),使得对于所有维度,各个量化索引的比例变为相等。
例如,作为表达式1的变型,在使用常数α来执行2值量化(M=2)的情况下(其中如果Vn1+α>Vn2则量化索引为+1,而如果Vn1+α≤Vn则量化索引为-1),可以将差值分布的中心点(左和右分布的积分值变为相等的点)确定为量化的阈值α,使得量化索引+1和量化索引-1的比例变为 相等。类似地,在执行M值量化时,如果差值是向量,则在执行向量量化时,可以基于所有维度的差向量的分布,确定向量空间中被分配给各个量化索引的区域,或确定各个量化索引的表示向量(例如重心向量),从而对于所有维度,各个量化索引的比例变为相等。如上所述,通过允许量化索引的比例对于所有维度相等(即消除了量化索引的偏倚),可以增加熵,从而可以提高标识能力。
量化边界确定单元45确定量化边界,使得量化索引的比例对于所有维度变为相等,量化单元44基于所确定的边界来执行量化,这种比较和量化方法以下称为比较和量化方法F。
此外,例如,如果差值是标量并且利用表达式2来执行三值量化(量化索引为+1、0和-1),则量化边界确定单元45可以基于所有维度的差值分布,确定用于量化至指示无差值的量化索引0的阈值th(如果小于或等于该阈值,则量化索引设置为0),并将所确定的阈值th提供给量化单元44(在第一实施例的图4中所示的比较单元4中,预先设置阈值th)。例如,量化边界确定单元45可以计算所有维度的差值的绝对值,对所计算的值进行排序,并将从顶部或底部预定比例(例如,可以将这种预定比例作为输入提供)处的点设置为阈值th(该比较和量化方法以下称为比较和量化方法G)。此外,还可以不利用预定比例,而利用使得量化索引+1、0和-1的比例变为接近相等的方式来确定阈值th(该比较和量化方法以下称为比较和量化方法H)。比较和量化方法H对应于根据表达式2执行比较和量化方法F的特例。
利用预定百分比为P%(例如P=25%)的示例来解释比较和量化方法G的更具体方法。所有维度(维度数目=N)的差值的绝对值按升序排序,差值的绝对值集合(按升序排序)表示为D(i)={D(0),D(1),D(2),...D(N-1)}。在本示例中,从按升序方式排序的顺序的底部,P%的位置处的值为例如D(floor(N*P/100)),阈值th=D(floor(N*P/100))。应当注意,floor()是截断小数点之后位置的函数。
可以将本实施例中的方法与比较单元4采取第一实施例中图4所示的配置的情况进行比较。尽管在如第一实施例的图4所示的配置中,将预定阈值th作为输入提供,但是在第二实施例的上述方法中,量化边界确 定单元45基于所有维度的差值分布,对于图像自适应地计算阈值th。如上所述,在第一实施例中阈值th是固定的,而在第二实施例中,对于图像自适应地计算阈值th。由于对于图像自适应地计算阈值th,与阈值th固定的情况相比(尤其对于具有较少起伏的图像),可以防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高),辨别能力可以较高。例如,在如第一实施例中使用固定阈值的情况下,在具有较少起伏的图像中的特征向量的大多数维度(或所有维度)中量化索引变为0。然而,如果使用第二实施例的自适应阈值th,则由于对于具有较少起伏的图像,阈值自动调整为较小值,因此不会导致在特征向量的大多数维度中量化索引变为0的情况。
量化单元44基于从差值计算单元43提供的各个维度的差值和从量化边界确定单元45提供的量化边界的信息来执行量化,并输出量化索引。
应当注意,当量化边界确定单元45确定量化边界时,量化单元44必须按照预期的量化方法来操作,因为如果量化单元44不考虑从量化边界确定单元45输出的量化边界信息来执行量化,则将没有意义。
[第二实施例的操作]
接下来参照图7的流程图来描述根据第二实施例的图像签名提取设备的操作。在图7的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2(步骤B1)。
接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给区域特征表示值计算单元3(步骤B2)。
然后,区域特征表示值计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给差值计算单元43(步骤B3)。
然后,差值计算单元43计算维度n的第一区域特征与第二区域特征之间的差值,并将该差值提供给量化边界确定单元45和量化单元44(步 骤B4)。
然后,确定是否完成了直至针对所有维度计算差值的处理(即确定n<N是真还是假)(步骤B5)。如果完成了直至针对所有维度计算差值的处理(即如果n<N是假),则处理继续至步骤B7。如果未完成直至针对所有维度计算差值的处理(即如果n<N是真),则处理继续至步骤B6。在步骤B6,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2。然后,处理返回步骤B2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
然后,当已经提供了从差值计算单元43提供的特征向量的所有维度的差值时,量化边界确定单元45基于所有维度的差值的分布来确定量化的边界,并将所确定的量化边界信息提供给量化单元44(步骤B7)。
然后,在步骤B8,将维度1(n=1)设置为用于执行量化的第一维度(计算量化索引)。
然后,量化单元44基于维度n的差值和从量化边界确定单元45提供的量化边界来执行量化,并输出量化索引(步骤B9)。
然后,确定是否完成了针对所有维度的量化索引的输出(即确定n<N是真还是假)(步骤B10)。如果完成了针对所有维度的量化索引的输出(即如果n<N是假),则处理结束。如果未完成针对所有维度的量化索引的输出(即如果n<N是真),则处理继续至步骤B11。在步骤B11,将下一维度(n=n+1)设置为用于执行量化的特征向量的维度。然后,处理返回步骤B9。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
[第二实施例的效果]
与量化边界固定的第一实施例相比,第二示例的区别在于:对于图像,自适应(动态)计算量化边界。如果如第一实施例中量化边界固定,则存在以下情况:对于特定图像(例如具有较少起伏的平坦图像)特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高) (熵较低),导致对于这种图像辨别能力恶化的问题。另一方面,如果如第二实施例中对于图像来自适应(动态)计算量化边界,则可以对于任何图像防止特征向量的维度的值向特定量化索引偏倚(特定量化索引的出现概率较高)的情况,可以提高辨别能力。
[第三实施例]
[第三实施例的配置]
接下来参照附图来详细描述本发明的第三实施例。
参照图8,本发明第三实施例的配置与图1所示的第一实施例的配置的区别在于:增加了区域特征计算方法获取单元5,并利用区域特征计算单元3A替换了区域特征计算单元3,区域特征计算单元3A包括第一区域特征计算单元31A和第二区域特征计算单元32A。由于其他配置与第一实施例中相同,因此在本实施例中省略其描述。应当注意,尽管在本实施例中描述与第一实施例的结合,但是与第二实施例的结合也是可接受的。
向区域特征计算方法获取单元5提供来自维度确定单元1的维度和每维度区域特征计算方法信息。
每维度区域特征计算方法信息是指示计算维度中的区域特征的方法的信息,该信息与特征向量的每个维度相关联,并且先决条件是:区域特征计算方法必须在维度之间不同。应当注意,区域特征计算方法不同包括向相同过程应用不同参数(阈值等)。
在本实施例中,区域特征计算方法包括在对第一实施例的区域特征计算单元3的解释中描述的各种类型的方法及其相关联参数。
应当注意,每维度区域特征计算方法信息指示的每个维度的区域特征计算方法具有最小条件,使得在特征向量的所有维度中应当包括区域特征计算方法不同的至少一对维度。期望区域特征计算方法不同的维度数目较大,因为这种维度的数目越大,特征向量中其间相关性较小的维度数目越小,从而辨别能力越高。例如,区域特征计算方法可以在特征向量中的所有维度中不同。
应当注意,如果唯一指定了计算区域特征的方法,则示出每个维度的区域特征计算方法的信息可以采取任何形式。
图9示出了针对各个维度的区域特征计算方法的示例。如图9所示,区域特征计算方法在维度之间不同。此外,如图9的示例中所示,标量的和向量的特征可以混合(第1、3、5、6、8、9、10和12维度是标量,第2、4、7和11维度是矢量)。
此外,在提取区域彼此靠近的维度(维度对)之间,期望这种维度(维度对)的区域特征计算方法彼此不同。例如,在提取区域彼此靠近的维度(维度对)之间,这种维度(维度对)的区域特征计算方法可以彼此不同。在这种情况下,在提取区域彼此靠近的所有维度(维度对)之间,那些维度的区域特征计算方法可能彼此不同。也可能出现下列情况:在提取区域彼此靠近的维度(维度对)之中,区域特征计算方法在预定比例或更大的维度(维度对)中可以彼此不同;或者在提取区域彼此靠近的维度(维度对)之中,区域特征计算方法在至少一个维度对中可以彼此不同。
应当注意,提取区域彼此靠近的维度对表示其中通过预定方法所计算的两个维度的提取区域(第一提取区域和第二提取区域)之间的距离小于预定阈值的维度对。例如,可以将两个维度的提取区域(第一提取区域和第二提取区域)之间的距离当作相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素之间的距离的平均值来计算。也可以将该距离当作例如相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素的距离的最小值来计算。例如,也可以计算相应维度的提取区域的重心坐标(第一提取区域的重心坐标和第二提取区域的重心坐标),计算重心坐标之间的距离(统共计算四个距离),并将两个维度的提取区域之间的距离定义为其平均值或最小值。然而,计算两个维度的提取区域之间的距离的方法不局限于这些计算方法。
使得区域特征计算方法在提取区域彼此靠近的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域彼此靠近的维度之间,所提取的特征之间的相关性往往较大。如果那些区域中的区域特征计算方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许区域特征计算方法在那些区域中不同以抵消由于提取区域彼此靠近的事实而变大的提取特征之间的相关 性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
从相反的角度,在区域特征计算方法相同的维度(维度对)之间,期望这种维度(维度对)的提取区域之间的距离较大。例如,在区域特征计算方法相同的维度(维度对)之间,这种维度(维度对)之间的距离可以大于预定阈值。在这种情况下,在区域特征计算方法相同的所有维度(维度对)之间,那些维度(维度对)之间的距离可以大于预定阈值。也可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,维度(维度对)之间的距离在预定比例或更大的维度中可以大于预定阈值;或者提取区域对之间的距离在至少一个维度对中可以大于预定阈值。
此外,在提取区域彼此邻接的维度(维度对)之间,期望这种维度(维度对)的区域特征计算方法彼此不同。应当注意,提取区域邻接的维度(维度对)表示提取区域的部分外围彼此接触。例如,在提取区域邻接的维度(维度对)之间,这种维度(维度对)的区域特征计算方法可以彼此不同。在这种情况下,在提取区域邻接的所有维度(维度对)之间,那些维度的区域特征计算方法可以彼此不同。也可能出现下列情况:在提取区域邻接的维度(维度对)之中,区域特征计算方法在预定比例或更大的维度(维度对)中可以彼此不同;或在提取区域彼此邻接的维度(维度对)之中,区域特征计算方法在至少一个维度对中可以彼此不同。
使得区域特征计算方法在提取区域彼此邻接的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域邻接的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域邻接(图像内的临近区域之间的相关性较高)的维度之间,两个维度的提取区域靠近。如果那些区域中的区域特征计算方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许区域特征计算方法在那些区域中不同以抵消由于提取区域邻接的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余可以较小,从而可以防止辨识能力的恶化。
从相反的角度,在区域特征计算方法相同的维度(维度对)之间,期望这种维度(维度对)的提取区域彼此不邻接。例如,在区域特征计算方法相同的维度(维度对)之间,这种维度(维度对)的提取区域可以不邻接。在这种情况下,在区域特征计算方法相同的所有维度(维度对)之间,那些维度(维度对)的提取区域可以不邻接。也可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,提取区域在预定比例或更大的维度(维度对)中可以不邻接;或者提取区域在至少一个维度对中可以不邻接。
此外,在提取区域部分重叠的维度(维度对)之间,期望这种维度(维度对)中的区域特征计算方法彼此不同。例如,在提取区域部分重叠的维度(维度对)之间,这种维度(维度对)的区域特征计算方法可以彼此不同。在这种情况下,在提取区域部分重叠的所有维度(维度对)之间,那些维度中的区域特征计算方法可以彼此不同。也可能出现下列情况:在提取区域部分重叠的维度(维度对)之中,区域特征计算方法在预定比例或更大的维度(维度对)中可以彼此不同;或者在提取区域部分重叠的维度(维度对)之中,区域特征计算方法在至少一个维度对中可以彼此不同。
使得区域特征计算方法在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域部分重叠的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域部分重叠的维度之间,用于计算特征的区域是部分共享的。如果那些区域中的区域特征计算方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过允许区域特征计算方法在那些区域中不同以抵消由于提取区域部分重叠的事实而变大的提取特征之间的相关性偏移,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
使得区域特征计算方法在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现另一有利效果。使得区域特征计算方法在提取区域部分重叠的维度(维度对)之间彼此不同,具有如下益处:能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。对图像的恶意窜改是例如 在尝试通过从图像中提取的图像签名(特征向量)来使得同一性确定精度恶化中通过改变图像的一部分区域的像素值来实施的。在提取区域部分重叠的维度之间,如果窜改了图像的重叠区域,也就是说如果改变了重叠区域的像素值,则从中提取的特征(区域特征)受影响,由此该特征很可能不同于从未被窜改的区域中提取的特征。如果那些维度中的区域特征计算方法相同,则以类似的方式影响从相应维度的提取区域中提取的特征,使得同时改变特征的可能性较高,因而鲁棒性较低。如果那些维度的区域特征计算方法不同,那么即便重叠区域被窜改,也能够降低以类似方式影响特征以同时改变特征的可能性,由此能够确保鲁棒性。这样,通过同时改变共享重叠区域的多个维度的特征来窜改重叠区域变得困难。相应地,使得区域特征计算方法在提取区域部分重叠的维度(维度对)之间彼此不同,能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。
从相反的角度,在区域特征计算方法相同的维度(维度对)之间,期望那些维度(维度对)的提取区域彼此不重叠。例如,在区域特征计算方法相同的维度(维度对)之间,这种维度(维度对)的提取区域可以彼此不重叠。在这种情况下,在区域特征计算方法相同的所有维度(维度对)之间,那些维度(维度对)的提取区域可以彼此不重叠。也可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,提取区域在预定比例或更大的维度(维度对)中可以彼此不重叠;或在区域特征计算方法相同的维度(维度对)之中,提取区域在至少一个维度对中可以彼此不重叠。
从类似的角度,在区域特征计算方法相同的维度(维度对)之间,期望提取区域对的形状的组合不同。此外,在提取区域对的形状的组合相同的维度(维度对)之间,期望区域特征计算方法不同。例如,在区域特征计算方法相同的维度(维度对)之间,提取区域对的形状的组合可以不同。此外,在提取区域对的形状的组合相同的维度(维度对)之间,区域特征计算方法可以不同。在这种情况下,在区域特征计算方法相同的所有维度(维度对)之间,提取区域对的形状的组合可以不同。此外,在提取区域对的形状的组合相同的所有维度(维度对)之间,区 域特征计算方法可以不同。还可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,提取区域对的形状的组合在预定比例或更大的维度中可以不同。此外,还可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,区域特征计算方法在预定比例或更大的维度中可以不同。也可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,提取区域对的形状的组合在至少一个维度对中可以不同。此外,还可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,区域特征计算方法在至少一个维度对中可以不同。
区域特征计算方法获取单元5从作为输入提供的每维度区域特征计算方法信息中获取指示与从维度确定单元1提供的维度相关联的区域特征计算方法的信息,并将该信息提供给区域特征计算单元3A。
区域特征计算单元3A基于针对每个维度从提取区域获取单元提供的指示第一提取区域和第二提取区域的信息,根据从区域特征计算方法获取单元5提供的指示区域特征计算方法的信息,从作为输入提供的图像计算第一提取区域的特征和第二提取区域的特征,分别作为第一区域特征和第二区域特征,并将这些特征提供给比较单元4。
在区域特征计算单元3A中,所提供的指示提取区域的信息的维度与指示区域特征计算方法的信息的维度需要同步。
[第三实施例的操作]
接下来,参照图10的流程图来描述根据第三实施例的图像签名提取设备的操作。在图10的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2和区域特征计算方法获取单元5(步骤C1)。接下来,提取区域获取单元2从作为输入提供的每维度提取区域信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3A(步骤C2)。
然后,区域特征计算方法获取单元5从作为输入提供的每维度区域 特征计算方法信息中获取指示与维度n相对应的区域特征计算方法的信息,并将该信息提供给区域特征计算单元3A(步骤C3)。
然后,区域特征计算单元3A根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4(步骤C4)。然后,比较单元4将维度n的第一区域特征与第二区域特征进行比较,对比较结果进行量化,并输出量化索引(步骤C5)。然后,确定是否完成了针对所有维度的量化索引的输出(步骤C6)。如果完成了针对所有维度的量化索引的输出,则处理结束。如果未完成针对所有维度的量化索引的输出,则处理继续至步骤C7。在步骤C7,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2和区域特征计算方法获取单元5。然后,处理返回步骤C2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。此外,步骤C2和步骤C3的顺序可以反转。
[第三实施例的效果]
除了第一实施例的有利效果之外,第三实施例还具有以下有利效果:可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为,由于区域特征计算方法在维度之间不同(使用可变区域特征计算方法),维度之间的相关性可以较小。
[第四实施例]
[第四实施例的配置]
接下来参照附图来详细描述本发明的第四实施例。
参照图11,本发明第四实施例的配置与图1所示的第一实施例的配置的区别在于:增加了比较方法获取单元6,并利用比较单元4B替换了比较单元4。由于其他配置与第一实施例中相同,因此在本实施例中省略其描述。应当注意,尽管在本实施例中描述与第一实施例的结合,但是与第二实施例的结合以及与第三实施例的结合也是可接受的。
向比较方法获取单元6提供来自维度确定单元1的维度来每维度比较方法信息。
每维度比较和量化方法信息是指示对与特征向量的每个维度相关联的维度中的区域特征进行比较并执行量化的方法的信息,先决条件是比较和量化方法必须在维度之间不同。应当注意,比较和量化方法不同包括对相同过程应用不同参数(阈值、量化索引数目等等)。
在本实施例中,比较和量化方法包括在对第一实施例的比较单元4的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等),以及在对第二实施例的比较单元4A的解释中描述的各种类型的比较和量化方法及其相关联参数(阈值、量化索引数目等等)。
应当注意,每维度比较和量化方法信息所指示的每个维度的比较和量化方法具有以下最小条件:在特征向量的所有维度中应当包括比较和量化方法不同的至少一对维度。期望比较和量化方法不同的维度数目较大,因为这种维度的数目越大,特征向量中其间相关性较小的维度数目越小,从而辨别能力越高。例如,在特征向量中的所有维度中比较和量化方法可以不同。
应当注意,如果唯一指定了比较和量化区域特征的方法,则示出每个维度的比较和量化方法的信息可以采取任何形式。
图12示出了各个维度的比较和量化方法的示例。如图12所示,比较和量化方法在维度之间不同。此外,如在第3、5和12维度中,可以在相同比较和量化方法中设置不同参数(阈值th)。应当注意,图12中示出的各个维度的比较和量化方法的示例与图9所示的各个维度的区域特征计算方法相关联。因此,示出了针对标量的比较和量化方法,作为针对标量区域特征的示例;并且示出了针对向量的比较和量化方法,作为针对向量区域特征的示例。
此外,在提取区域彼此靠近的维度(维度对)之间,期望这种维度(维度对)的比较和量化方法彼此不同。例如,在提取区域彼此靠近的维度(维度对)之间,这种维度(维度对)的比较和量化方法彼此不同。在这种情况下,在提取区域彼此靠近的所有维度(维度对)之间,那些维度的比较和量化方法彼此不同。也可能出现下列情况:在提取区域彼 此靠近的维度(维度对)之中,比较和量化方法在预定比例或更大的维度(维度对)中可以彼此不同;或者在提取区域彼此靠近的维度(维度对)之中,比较和量化方法在至少一个维度对中可以彼此不同。
应当注意,提取区域彼此靠近的维度对表示通过预定方法所计算的两个维度的提取区域(第一提取区域和第二提取区域)之间的距离小于预定阈值的维度对。例如,可以将两个维度的提取区域(第一提取区域和第二提取区域)之间的距离当作相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素之间的距离的平均值来计算。也可以将该距离当作例如相应维度的提取区域(第一提取区域和第二提取区域)中所包括的所有像素之间的距离的最小值来计算。例如,也可以计算相应维度的提取区域的重心坐标(第一提取区域的重心坐标和第二提取区域的重心坐标),计算重心坐标之间的距离(统共计算四个距离),并将两个维度的提取区域之间的距离定义为其平均值或最小值。然而,计算两个维度的提取区域之间的距离的方法不局限于这些计算方法。
使得比较和量化方法在提取区域彼此靠近的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域彼此靠近的维度之间,所提取的特征之间的相关性往往较大。如果那些区域中的比较和量化方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过在那些区域中使用不同的比较和量化方法以抵消由于提取区域彼此靠近的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
从相反的角度,在比较和量化方法相同的维度(维度对)之间,期望那些维度(维度对)的提取区域之间的距离较大。例如,在比较和量化方法相同的维度(维度对)之间,这种维度(维度对)之间的距离可以大于预定阈值。在这种情况下,在比较和量化方法相同的所有维度(维度对)之间,那些维度(维度对)之间的距离可以大于预定阈值。也可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,维度(维度对)之间的距离在预定比例或更大的维度中可以大于预定阈值;或者在比较和量化方法相同的维度(维度对)之中,维度(维度对)之 间的距离在至少一个维度对中可以大于预定阈值。
此外,在提取区域彼此邻接的维度(维度对)之间,期望这种维度(维度对)的比较和量化方法彼此不同。应当注意,提取区域邻接的维度(维度对)表示提取区域的部分外围彼此接触。例如,在提取区域邻接的维度(维度对)之间,这种维度(维度对)的比较和量化方法彼此不同。在这种情况下,在提取区域邻接的所有维度(维度对)之间,那些维度的比较和量化方法彼此不同。也可能出现下列情况:在提取区域邻接的维度(维度对)之中,比较和量化方法在预定比例或更大的维度(维度对)中可以彼此不同;或者在提取区域邻接的维度(维度对)之中,比较和量化方法在至少一个维度对中可以彼此不同。
使得比较和量化方法在提取区域彼此邻接的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域邻接的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域彼此邻接(图像内的临近区域之间的相关性较高)的维度之间,两个维度的提取区域之间的距离接近。如果那些区域中的比较和量化方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过在那些区域中利用比较和量化方法以抵消由于提取区域邻接的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
从相反的角度,在比较和量化方法相同的维度(维度对)之间,期望那些维度(维度对)的提取区域彼此不邻接。例如,在比较和量化方法相同的维度(维度对)之间,这种维度(维度对)的比较和量化方法不邻接。在这种情况下,在比较和量化方法相同的所有维度(维度对)之间,那些维度(维度对)的提取区域不邻接。也可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,维度(维度对)的提取区域在预定比例或更大的维度中可以不邻接;或者在比较和量化方法相同的维度(维度对)之中,提取区域在至少一个维度对中可以不邻接。
此外,在提取区域部分重叠的维度(维度对)之间,期望这种维度(维度对)的比较和量化方法彼此不同。例如,在提取区域部分重叠的维度(维度对)之间,这种维度(维度对)的比较和量化方法彼此不同。 在这种情况下,在提取区域部分重叠的所有维度(维度对)之间,那些维度的比较和量化方法彼此不同。也可能出现下列情况:在提取区域部分重叠的维度(维度对)之中,比较和量化方法在预定比例或更大的维度中可以彼此不同;或者在提取区域部分重叠的维度(维度对)中,比较和量化方法在至少一个维度对中可以彼此不同。
使得比较和量化方法在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现下列有利效果。在提取区域部分重叠的维度之间,所提取的特征之间的相关性往往较大。这是因为在提取区域部分重叠的维度之间,用于计算特征的区域是部分共享的。如果那些区域中的比较和量化方法相同,则特征之间的相关性更大,由此整个特征向量的冗余变大,因而辨别能力降低。同样,通过在那些维度中使用不同的比较和量化方法以抵消由于提取区域部分重叠的事实而变大的提取特征之间的相关性,能够减小特征之间的相关性,使得整个特征向量的冗余较小,从而可以防止辨识能力的恶化。
使得比较和量化方法在提取区域部分重叠的维度(维度对)之间彼此不同,能够实现另一有利效果。使得比较和量化方法在提取区域部分重叠的维度(维度对)之间彼此不同,具有如下益处:能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。对图像的恶意窜改是例如在尝试通过从图像中提取的图像签名(特征向量)来使得同一性确定精度恶化中通过改变图像的一部分区域的像素值来实施的。在提取区域部分重叠的维度中,如果窜改了图像的重叠区域,也就是说如果改变了重叠区域的像素值,则从中提取的特征(区域特征)受影响,由此该特征很可能不同于从未被窜改的区域中提取的特征。如果那些维度中的比较和量化方法相同,则以类似的方式影响从相应维度的提取区域中提取的特征,使得同时改变特征的可能性教高,因而鲁棒性较低。如果那些维度的比较和量化方法不同,那么即便重叠区域被窜改,也能够降低以类似方式影响特征以同时改变特征的可能性,由此能够确保鲁棒性。这样,通过同时改变共享重叠区域的多个维度的特征来窜改重叠区域变得困难。相应地,通过在提取区域部分重叠的维度(维度对)之间使用不同的比较和量化方法,能够增强对抗图像的窜改(具体为恶意窜改)的容忍度。
从相反的角度,在比较和量化方法相同的维度(维度对)之间,期望那些维度(维度对)的提取区域彼此不重叠。例如,在比较和量化方法相同的维度(维度对)之间,这种维度(维度对)的提取区域可以彼此不重叠。在这种情况下,在比较和量化方法相同的所有维度(维度对)之间,那些维度(维度对)的提取区域可以彼此不重叠。也可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,提取区域在预定比例或更大的维度(维度对)中可以彼此不重叠;或在比较和量化方法相同的维度(维度对)之中,提取区域在至少一个维度对中可以彼此不重叠。
从类似的角度,在比较和量化方法相同的维度(维度对)之间,期望提取区域对的形状的组合不同。此外,在提取区域对的形状的组合相同的维度(维度对)之间,期望比较和量化方法不同。例如,在比较和量化方法相同的维度(维度对)之间,提取区域对的形状的组合可以不同。此外,在提取区域对的形状的组合相同的维度(维度对)之间,比较和量化方法可以不同。在这种情况下,在比较和量化方法相同的所有维度(维度对)之间,提取区域对的形状的组合可以不同。此外,在提取区域对的形状的组合相同的所有维度(维度对)之间,比较和量化方法可以不同。还可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,提取区域对的形状的组合在预定比例或更大的维度中可以不同。此外,还可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,比较和量化方法在预定比例或更大的维度中可以不同。也可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,提取区域对的形状的组合在至少一个维度对中可以不同。此外,还可能出现下列情况:在提取区域对的形状的组合相同的维度(维度对)之中,比较和量化方法在至少一个维度对中可以不同。
从类似的角度,在比较和量化方法相同的维度(维度对)之间,期望区域特征计算方法不同。此外,在区域特征计算方法相同的维度(维度对)之间,期望比较和量化方法不同。例如,在比较和量化方法相同的维度(维度对)之间,区域特征计算方法可以不同。此外,在区域特征计算方法相同的维度(维度对)之间,比较和量化方法可以不同。在 这种情况下,在区比较和量化方法相同的所有维度(维度对)之间,区域特征计算方法可以不同。此外,在区域特征计算方法相同的所有维度(维度对)之间,比较和量化方法可以不同。还可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,区域特征计算方法在预定比例或更大的维度中可以不同。此外,还可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,比较和量化方法在预定比例或更大的维度中可能不同。也可能出现下列情况:在比较和量化方法相同的维度(维度对)之中,区域特征计算方法在至少一个维度对中可以不同。此外,还可能出现下列情况:在区域特征计算方法相同的维度(维度对)之中,比较和量化方法在至少一个维度对中可以不同。
比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与从维度确定单元1提供的维度相对应的比较和量化方法的信息,并将该信息提供给比较单元4B。
比较单元4B针对每个维度将从区域特征计算单元3提供的第一区域特征与第二区域特征进行比较,根据从比较方法获取单元6提供的指示比较和量化方法的信息来对其进行量化,并输出量化索引。根据比较和量化方法,在需要时,比较单元4B可以具有包括第一实施例的比较单元4和第二实施例的比较单元4B的配置。
在比较单元4B中,所提供的区域特征的维度与指示比较和量化方法的信息的维度需要同步。
[第四实施例的操作]
接下来参照图13的流程图来描述根据第四实施例的图像签名提取设备的操作。在图13的流程图中,特征向量的维度(编号)表示为“n”,从1至N共有N个维度。
首先,维度确定单元1将维度1确定为用于提取特征向量的第一维度(n=1),并将其提供给提取区域获取单元2和比较方法获取单元6(步骤D1)。接下来,提取区域获取单元2从作为输入提供的每维度比较和量化方法信息中获取指示维度n的第一提取区域和第二提取区域的信息,并将该信息提供给提取区域特征计算单元3(步骤D2)。
然后,比较方法获取单元6从作为输入提供的每维度比较和量化方法信息中获取指示与维度n相对应的比较和量化方法的信息,并将其提供给比较单元4B(步骤D3)。
然后,区域特征计算单元3根据作为输入提供的图像,计算维度n的第一区域特征和第二区域特征,并将这些特征提供给比较单元4B(步骤D4)。然后,比较单元4B将维度n的第一区域特征与第二区域特征进行比较,对比较结果进行量化,并输出量化索引(步骤D5)。然后,确定是否完成了针对所有维度的量化索引的输出(步骤D6)。如果完成了针对所有维度的量化索引的输出,则处理结束。如果未完成针对所有维度的量化索引的输出,则处理继续至步骤D7。在步骤D7,维度确定单元1确定用于提取特征向量的下一维度(n=n+1),并且将其提供给提取区域获取单元2和比较方法获取单元6。然后,处理返回步骤D2。
应当注意,尽管在本实施例中按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,还可以针对多个维度并行执行提取处理,而不限于上述处理过程。此外,步骤D2和步骤D3的顺序可以反转,可以紧邻步骤D5之前执行步骤D3。
[第四实施例的效果]
除了第一实施例的有利效果之外,第四实施例具有以下有利效果:可以进一步提高辨别能力(辨别不同图像的程度)。
这是因为,由于比较和量化方法在维度之间不同(使用可变比较和量化方法),维度之间的相关性可以较小。
[第五实施例]
[第五实施例的配置]
接下来,将参照附图描述本发明的第五实施例。
参照图33,本发明第五实施例的配置与图1所示的第一实施例的配置的区别在于:增加了编码单元7。由于其他组件与第一实施例中相同,因此在本实施例中省略其描述。应当注意,尽管在本实施例中描述与第一实施例的结合,但是与第二实施例、与第三实施例、或者与第四实施 例的结合也是可接受的。
编码单元7将从比较单元4提供的量化索引向量编码为能够唯一解码的格式以减小数据量,并输出编码的量化索引向量。
编码单元7可以通过对多个维度进行整体编码,而不是对量化索引向量的每个维度进行独立编码,将量化索引向量编码为较小的数据量。
现在,描述当基于表达式2来计算量化索引时,编码单元7对量化索引向量进行有效编码的方法。当基于表达式2来计算量化索引时,每个维度的量化索引可以取三个值(+1,0,-1)中的任一个。如果对每个维度独立执行编码,则针对每个维度需要2个比特(=4个状态)。现在,如果对5个维度整体执行编码(5个维度可以是任何组合,包括例如连续的5个维度),则状态数目为3的5次方=243个状态,可以表示为1字节=8比特(=256个状态)(在256个状态内)。在该情况下,针对一个维度所需的平均比特数为8/5=1.6比特,从而与针对每个维度独立执行编码的情况相比,可以减小数据量(可以减小每维度0.4比特)。例如,如果量化索引向量的维度总数为300个维度,则当针对每个维度独立执行编码时,2比特*300=600比特=75字节。另一方面,当对5个维度整体执行编码时,1.6比特*300=480比特=60字节,从而可以减少15个字节。
以下将描述以根据表达式2计算的三进制值(+1,0,-1)对每5个维度执行编码的具体示例。尽管每组5个维度可以采取任何组合,但是存在对每组连续5个维度执行编码的方法。这意味着,对第1维度至第5维度进行整体编码,对第6维度至第10维度进行整体编码,对第11维度至第15维度进行整体编码(当然,5个维度的任何组合都是可接受的,只要它们不互相重叠)。例如,假定要整体编码的5个维度的量化索引的值为Qn,Qn+1,Qn+2,Qn+3和Qn+4(其中每一个取+1,0,-1中的任一个),则可以计算根据以下表达式编码的值Z。
[表达式3]
Z={34*(Qn+1)}+{33*(Qn+1+1)}+{32*(Qn+2+1)}+{31*(Qn+3+1)}
+{30*(Qn+4+1)}
由于编码值Z取值从0至242(243个状态),因此可以将量化索引值 编码为1字节(8比特)数据。应当注意,将整体编码的5个维度的量化索引值Qn,Qn+1,Qn+2,Qn+3和Qn+4映射为从0至242(243个状态)的值的方法不限于表达式3。可以使用任何方法,只要将5个维度中的量化索引的不同组合映射为不同的值(具有243个状态的值)。可以基于如表达式3之类的给定表达式来计算映射(编码之后的值)和执行编码,或者预先产生和存储用于映射的对应表,然后参照所存储的对应表来获取映射(编码之后的值)并执行编码。
如0187段至0190段中描述的在基于表达式2来计算量化索引时有效执行编码的方法不限于基于表达式2来计算量化值的情况,而是可以适用于任何量化索引向量,只要量化索引具有三个值的状态。这意味着,如果量化索引向量由具有三个值的状态的量化索引组成,则可以将5个维度整体编码为1字节=8比特。由于在三个值的状态下,5个维度的量化索引的243种不同组合可用,因此,通过将相应组合映射至从0至242(243个状态)的值,可以利用1字节=8比特来对其进行编码。可以基于如表达式3之类的给定表达式来计算映射(编码之后的值)和执行编码,或者预先产生和存储用于映射的对应表,然后参照所存储的对应表来获取映射(编码之后的值)并执行编码。
如上所述,通过对量化索引向量的多个维度整体进行编码而不是对每个维度单独进行编码,存在以下有利效果:与对量化索引向量的每个维度独立进行编码的情况相比,可以执行编码,同时减小数据量。
这不限于以三个值的状态来表示量化索引的情况。例如,如果以5个值的状态来表示量化索引,则通过将3个维度整体进行编码,状态数目为5的3次方=125个状态,从而可以以7比特=128个状态(在128个状态内)对量化索引进行编码。如果对3个维度进行独立编码,则需要3比特(8个状态)*3个维度=9比特。因此,通过将3个维度整体编码,可以减少2比特。
应当注意,当对从编码单元7输出的编码的量化索引向量执行匹配时(当将从图像中提取量化索引向量与从另一图像中提取的量化索引向量进行比较以确定图像是否相同时),还可以对编码状态下的每个维度的量化索引的值进行解码(在上述示例中,针对每个维度,将编码值解码 为+1,0或-1的量化索引值),并基于解码的量化索引值来计算同一性标度(量化索引相符的维度的数目(相似度))或量化索引不相符的维度的数目(汉明距离)。
此外,利用查找表,还可以在编码状态下执行匹配,而不将值解码为针对每个维度的量化索引值。这意味着,通过针对每个被编码单元以表(查找表)的形式预先存储同一性标度(相似度或距离)并参照查找表,可以针对每个被编码单元获取同一性标度(相似度或距离),并对同一性标度求和(例如计算总和),从而获得所有维度的同一性标度。
例如,在以1字节(8比特)来对5个维度整体进行编码的情况下,由于每个5维度单元具有243个状态中的任一个,因此可以通过预先产生大小为243*243的查找表来解决。即,预先计算要比较的两个5维度单元的码的所有可用组合状态(243个状态乘以243个状态)之间的同一性标度(即在5个维度中量化索引相符的数目(相似度)或5个维度中量化索引不相符的数目(汉明距离)),并将其存储为243*243大小的查找表。例如该表,可以参照针对每个5维度单元的查找表,获取针对每个5维度单元的同一性标度(而不将编码值解码为每个维度的量化索引)。例如,如果量化索引向量的维度总数为300维度,由于以1字节来编码5个维度从而以总计60字节来编码量化索引向量,则可以通过600次参照查找表,获取针对每个5维度单元的同一性标度,并将其求和,来计算整个向量(300个维度)的同一性标度(相似度或汉明距离)。利用该查找表,由于可以在不将编码值解码为每个维度的量化索引的情况下执行匹配(计算同一性标度),存在以下有利效果:可以减小匹配(计算同一性标度)的处理成本,并且可以以较高速度执行匹配。
此外,即使在基于更复杂的表达式来计算两个量化索引向量之间的同一性标度,而不是简单地将同一性标度计算为量化索引相符的维度数目(相似度)或量化索引不相符的维度数目(汉明距离)的情况下,利用查找表,也可以在不将值解码为相应维度的量化索引的情况下执行匹配(计算同一性标度)。例如,作为基于表达式2来计算量化索引的量化索引向量的同一性标度,可以考虑如以下所示的计算同一性标度的方法。首先,将两个图像的量化索引向量的对应维度进行比较,计算不是“两 个量化索引均为0”的维度的数目,并将该值设置为A。接下来,在不是“两个量化索引均为0”的维度中,将量化索引相符的维度数目计算为B(或者在不是“两个量化索引均为0”的维度中,将量化索引不相符的维度数目计算为C)。然后,将同一性标度计算为B/A(或者将同一性标度计算为C/A)。如果A=0(即如果每个维度中两个量化索引均为0),则将同一性标度设置为预定数值(例如0.5)。当采用这种计算同一性标度的方法时,需要计算A和B两个值(或C的值)。在该情况下,可以通过预先产生用于参考针对每个5维度单元的A值的、具有243*243大小的查找表和用于参考针对每个5维度单元的B(或C)值的、具有243*243大小的查找表来解决。这意味着,针对要比较的两个5维度单元的符号,预先计算所有可用组合状态(243个状态乘以243个状态)之间的A值(不是“两个量化索引均为0”的维度数目)和所有可用组合状态(243个状态乘以243个状态)之间的B值(或C值)。然后,将其中每一个存储在大小为243*243的查找表中。从而,可以参照查找表来获取每个5维度单元的A值和B值(或C值)(而不对相应维度的量化索引进行解码)。例如,如果量化索引向量的维度总数为300维度,由于以每5个维度1字节即总计60字节来对其进行编码,则可以通过60*2次参照查找表,获取针对每个5维度单元的A值和B值(或C值),并将所有维度(300维度)的A值和B值(或C值)求和,来计算A值和B值(或C值)。最终,通过计算B/A(或C/A),可以计算同一性标度。如上所述,即使在基于更复杂的表达式来计算同一性标度,而不是简单地将同一性标度计算为量化索引相符的维度数目(相似度)或量化索引不相符的维度数目(汉明距离)的情况下,参照查找表,也可以在不将值解码为相应维度的量化索引的情况下执行匹配(计算同一性标度)。这提供了以下有利效果:可以减小匹配(计算同一性标度)的处理成本,并且可以以较高速度执行匹配(计算同一性标度)。
[第五实施例的效果]
可以以较小数据量输出量化索引向量。
接下来,将示出本发明的其他实施例。
[第六实施例]
在本实施例中,要提取特征向量的维度数目为300维度(从第1至第300维度)。
在本实施例中,各个维度的提取区域(第一提取区域和第二提取区域)由各种形状的四边形形成。图14示出了在本实施例中要提供给提取区域获取单元2作为输入的每维度提取区域信息。图14示出了对于320像素宽、240像素长的图像大小(预定图像大小),各个维度的提取区域(第一提取区域和第二提取区域)的四边形的四个角的XY坐标值。例如,第一维度的提取区域由第一提取区域(由四边形构成,四边形的四个角具有坐标值(262.000,163.000)、坐标值(178.068,230.967)、坐标值(184.594,67.411)和坐标值(100.662,135.378))和第一提取区域(由四边形构成,四边形的四个角具有坐标值(161.000,133.000)、坐标值(156.027,132.477)、坐标值(164.240,102.170)和坐标值(159.268,101.647))形成。
对于相对320像素宽、240像素长的图像大小而归一化的图像,每个维度的提取区域(第一提取区域和第二提取区域)是具有由四个角的这些坐标值定义的区域中包括的整数值的坐标值的像素的集合。然而,在提取区域中不包括由四个角定义的区域中包括的负坐标值。
图15示出了在本实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在第六实施例中,针对每个维度,提取区域(第一提取区域和第二提取区域)中的每一个中包括的像素组的亮度值的平均值用作提取区域中的每一个的区域特征。
图17示出了在本实施例中作为输入提供给比较方法获取单元6的每维度比较和量化方法信息。在本实施例中,针对每个维度使用比较和量化方法B或比较和量化方法G,此外,参数值针对每个维度不同。例如,在第1维度中,使用比较和量化方法G,阈值th为D(floor(300*5.0/100))。在第2维度中,使用比较和量化方法G,阈值th为D(floor(300*10.0/100))。此外,在第9维度中,例如,使用比较和量化方法B,阈值th为3.0。
[第七实施例]
与第六实施例中相同,在本实施例中,要提取特征向量的维度数目为300维度(从第1至第300维度)。与第六实施例中相同,在本实施例中,使用图14中所示的信息作为提供给提取区域获取单元2作为输入的每维度提取区域信息。此外,与第六实施例中相同,在本实施例中,使用图17中所示的信息作为提供给比较方法获取单元6作为输入的每维度比较和量化方法信息。
图16示出了在本实施例中作为输入提供给区域特征计算方法获取单元5的每维度区域特征计算方法信息。在本实施例中,针对每个维度,使用提取区域(第一提取区域和第二提取区域)中包括的像素组的亮度值的平均值或百分比亮度值特征,即使使用相同的百分比亮度值特征,该特征对于每个维度也不同。例如,在第1维度中,使用提取区域中包括的像素的亮度值的平均值。例如,在第4维度中,使用百分比亮度值特征,该值为Y(floor(N*20.0/100))。此外,在第8维度中,使用百分比亮度值特征,该值为Y(floor(N*80.0/100))。
[第八实施例]
在本实施例中,要提取的特征向量的维度数目为325维度(第1维度至第325维度)。在本实施例中,每个区域由通过将图像垂直划分为32块并且水平划分为32块而形成的1024块中的块组合构成。如图24所示,从左上角部分开始,向相应块分配从0开始的索引,并且使用这些索引来描述区域。具体的,使用左上角块的索引“a”和右下角块的索引“b”,以“a-b”的方式来指示矩形区域。例如,将由具有0、1、32和33的索引的4个块形成的矩形描述为0-33。此外,如果使用符号“|”来合并按照这种方式形成的矩形,则它们表示通过将该符号之前和之后的矩形合并而形成的区域。例如,0-33|2-67指示通过将由0-33定义的矩形和由2-67定义的矩形进行合并而形成的区域,即,由块编号0,1,2,3,32,33,34,35,66和67形成的区域。
图25示出了与本实施例的相应维度相对应的、按照这种方式描述的区域。在图25中,通过基于325个维度在图25-a、图25-b、图25-c、图25-d、图25-e、图25-f和图25-g中的区域类型对325个维度进行分类来对325个维 度进行描述。在这些图中,区域类型意味着由具有由第一和第二提取区域之间的相对位置或形状的组合而确定的类似区域图案的维度组成的组。
具体地,图25-a对应于以下情况:通过将由垂直方向的4个块和水平方向的4个块所构成的方形沿垂直或水平方向均匀分为两部分而形成的两个区域被用作第一和第二提取区域,其示例在图27-a中示出。因此,第一和第二提取区域的形状均为由垂直方向的4个块和水平方向的2个块定义的矩形或由垂直方向的2个块和水平方向的4个块定义的矩形。此外,关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相邻的位置处,使得矩形的长边彼此重叠。
图25-b对应于以下情况:通过将由垂直方向的8个块和水平方向的8个块所构成的方形沿垂直或水平方向均匀分为4个方形,并分别将左上角和右下角方形组合、右上角和左下角方向方形而形成的两个区域被用作第一和第二提取区域,其示例在图27-b中示出。因此,第一和第二提取区域的形状均为由垂直方向的2个块和水平方向的2个块所构成、以45度或135度角布置在对角线上以共享一个顶点的两个方形。此外,关于区域之间的相对位置关系,构成第二区域的两个方形存在于与第一区域的左上角方形的右侧和下方相邻的位置处。
在图25-c的情况中,第一和第二提取区域的形状均为由垂直方向的10个块和水平方向的10个块所构成的方形,其示例在图27-c中示出。关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相距垂直方向和水平方向10个块的整数倍的位置处。
在图25-d的情况中,第一和第二提取区域的形状均为由垂直方向的8个块和水平方向的8个块所构成的方形,其示例在图27-d中示出。关于第一和第二提取区域之间的相对位置关系,它们存在于彼此相距垂直方向和水平方向6个块的整数倍的位置处。
图25-e对应于以下情况:通过将方形区域划分为中心部分和外部部分而形成的两个区域被用作第一和第二提取区域,其示例在图27-e中示出。因此,第二提取区域的形状是中心部分的方形;第一提取区域的形状是从整个方形中切去第二提取区域的方形。此外,关于区域之间的相 对位置关系,第二区域存在于第一区域的中心空洞处。
在图25-f的情况下,第一提取区域的形状是由垂直方向6个块和水平方向10个块所构成的矩形;第二提取区域的形状是由垂直方向10个块和水平方向6个块定义的矩形,其示例在图27-f中示出。关于第一和第二提取区域之间的相对位置关系,它们被布置为使得其中心位置重合。
图25-g对应于以下情况:通过将由垂直方向4个块和水平方向12个块所构成的矩形或者由垂直方向12个块和水平方向4个块所构成的矩形的长边三等分而得到的中心方形区域和另一区域而形成的两个区域被用作第一和第二提取区域,其示例在图27-g中示出。因此,第一区域的形状是由垂直方向或水平方向彼此分离4个块的、由垂直方向4个块和水平方向4个块所构成的两个方形;第二提取区域的形状是由垂直方向4个块和水平方向4个块所构成的方形。此外,关于区域之间的相对位置关系,第二区域存在于第一区域的方形之间。
以下将图25-a、图25-b、图25-c、图25-d、图25-e、图25-f和图25-g的区域类型分别称为区域类型a、区域类型b、区域类型c、区域类型d、区域类型e、区域类型f和区域类型g。
在本实施例中,将亮度值的平均值计算为图25中所示的每个区域中的区域特征,并计算每个维度的特征。当然,可以获得通过前述各种提取方法来提取的值(如中值或最大值)来代替不是亮度值的平均值作为区域特征。
为了对每个维度的特征进行量化,针对每种区域类型设置阈值以执行量化。例如,当根据表达式2将特征量化为三个值时,用于量化的阈值th可以被配置为使得:对于每种区域类型,0、1和-1出现的比例相等;并且执行量化。具体的,通过将0104段落中描述的方法应用于每个区域类型,来获得阈值th,其中P=33.333%,N表示每个区域类型的维度数目。例如,由于在区域类型a中N=113,因此通过th=D(floor(113*33.333/100))=D(37)来计算阈值。应当注意,D(i)(i=0,1,..,N-1)是第1维度值第113维度的差值的绝对值以升序排序的集合。在这种情况下,与阈值相对应的索引为37。类似地,如图26所示,可以针对另一区域类型来获得与阈值相对应的索引。通过获得每个区域类型的阈值, 与作为整体来确定阈值的情况相比,可以使每个维度中0、1和-1的出现概率均匀,从而提高辨别能力。当然,可以利用上述其他各种量化方法来执行量化。
应当注意,在本实施例的情况下,还可以首先计算图24所示的每个块的表示值(例如块内的像素的亮度值的平均值),然后提取区域特征。从而,与直接从区域内的所有像素中提取区域特征的情况相比,可以以更高速度执行提取。此外,每个区域类型的提取区域整体上可以具有对称属性。因此,即使在图像的左右或上下反转的情况下,通过合适地改变维度的对应关系和符号,可以根据从左右或上下反转的图像中提取的特征来恢复原始图像的特征。因此,也可以对左右或上下反转的图像执行匹配。
[第九实施例]
在本实施例中,要提取的特征向量的维度数目为328维度(第1维度至第325维度)。在本实施例中,如同第八实施例的情况一样,每个区域由图24所示的1024块中的块组合构成,并且通过图30-a、图30-b、图30-c、图30-d、图30-e、图30-f和图30-g中的类型对325个维度进行分类来对325个维度进行描述,这与第八实施例相同。
即使在本实施例中,也计算亮度值的平均值作为图30所示的每个区域的区域特征,并且计算每个维度的特征。当然,可以获得通过先前描述的各种提取方法提取的值(例如中值或最大值)来代替亮度值的平均值作为区域特征。
每个维度的量化也与第八实施例的相同。图31示出了与这种情况的阈值相对应的索引。当然,可以通过上面已经描述的其他各种量化方法来执行量化。
[匹配单元的实施例]
接下来,使用框图来描述用于对在本发明中输出的量化索引向量进行匹配的匹配单元。
参照图20,图20示出了用于对在本发明中输出的量化索引向量进行 匹配的匹配单元100的框图,匹配单元100包括:维度确定单元101;量化值获取单元102和103;以及标度计算单元104。
维度确定单元101连接至量化值获取单元102和103,并输出所确定的维度信息。量化值获取单元102从第一量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至标度计算单元104,作为第一量化索引值。量化值获取单元103从第二量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至标度计算单元104,作为第二量化索引值。标度计算单元104根据从量化值获取单元102和103输出的第一和第二量化索引值来计算指示同一性的标度,并将其输出。
接下来,描述图20所示的匹配单元100的操作。
首先,向匹配单元100输入:第一量化索引向量,其为从第一图像中提取的量化索引向量;以及第二量化索引向量,其为从第二图像中提取的量化索引向量。所输入的第一和第二量化索引向量被分别输入至量化值获取单元102和103。
还向量化值获取单元102和103输入从维度确定单元101输出的维度信息。维度确定单元101依次输出指定量化索引向量(为N维向量)的相应维度的信息。输出顺序不需要是从1逐一递增至N,而可以是任何顺序,只要不多不少地输出从1至N的所有维度。
量化值获取单元102和103从输入的量化索引向量中获取在从维度确定单元101输出的维度信息中指定的维度的量化索引值,并将所获取的量化索引值输出至标度确定单元104。
标度确定单元104将从量化值获取单元102输出的第一量化索引值与第二量化索引值进行比较。对各个维度执行该比较,并将第一和第二量化索引值向量之间的相似度标度(或距离标度)计算为同一性标度。
将所获取的同一性标度与预定阈值进行比较,以确定同一性。如果同一性标度是指示相似度的标度,则在标度值等于或大于阈值的情况下将其确定为相同。另一方面,如果同一性标度是指示距离的标度,则在标度值小于或等于阈值的情况下将其确定为相同。
接下来,使用流程图来描述图20中所示的匹配单元100的操作。首 先,描述使用相似度作为同一性标度的情况下的操作。
图21是示出了匹配单元100的操作的流程图。在图21的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算相似度的变量指示为B。
首先,维度确定单元101将维度1确定为用于对量化索引向量进行匹配的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量B设置为0(步骤S100)。
然后,量化获取单元102和103从第一量化索引向量和第二量化索引向量中获取维度n的第一量化索引值和第二量化索引值,并将其提供给标度计算单元104(步骤S102)。
然后,标度计算单元104根据第一量化索引值和第二量化索引值,计算与相应量化索引相对应的特征之间的相似度ΔB(步骤S104)。例如,当量化索引彼此相符时,ΔB=1;在其他情况下ΔB=0。备选地,还可以根据量化索引来计算量化之前的特征的表示值,并使用随着表示值之间的差值减小而增大的值作为ΔB。在该情况下,不是通过计算特征的表示值来获得差值,而是可以保存表,在所述表中,根据量化索引值的组合来获取ΔB的值,并且使用所述表,根据量化索引值的组合来直接获得ΔB的值。
接下来,将ΔB的值加至变量B(步骤S106)。此时,如果ΔB的值为0,则可以控制不进行相加,而不是将0加至变量B。
接下来,检查维度编号n是否达到维度数目N(步骤S108),如果未达到该数目,则处理移至步骤S112;而如果达到该数目,则将此时变量B的值输出,作为同一性标度(指示相似度的标度)(步骤S110),并且处理结束。
在步骤112,维度确定单元101根据n=n+1将下一维度确定为用于获取量化索引的维度,并将其提供给量化值获取单元102和103。然后,处理返回步骤S102。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
接下来描述使用距离作为同一性标度的情况下的操作。
图22是示出了匹配单元100的操作的另一流程图。同样,在图22的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算距离标度的变量指示为C。
尽管基本流程与图21中类似,图22的差别在于步骤S100、S104、S106和S110被分别替换为步骤S200、S204、S206和S210。
首先,在步骤S200,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量C设置为0(步骤S100)。
在步骤S204,标度计算单元104根据第一量化索引值和第二量化索引值,计算与相应量化索引相对应的特征之间的距离ΔC。例如,当量化索引彼此相符时,ΔC=0;在其他情况下ΔC=1。备选地,还可以根据量化索引来计算量化之前的特征的表示值,并使用随着表示值之间的差值减小而减小的值作为ΔC。在该情况下,不是通过计算特征的表示值来获得差值,而是可以保存表,在所述表中,根据量化索引值的组合来获取ΔC的值,并且使用所述表,根据量化索引值的组合来直接获得ΔC的值。
在步骤S206,将ΔC的值加至变量C。此时,如果ΔC的值为0,则可以控制不进行相加,而不是将0加至变量C。
在步骤S210,输出此时变量C的值作为同一性标度(指示距离的标度),并结束处理。
其他步骤与图21的情况下相同。然而,如果在步骤S108,维度编号n达到维度数目N,则处理移至步骤S210。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
接下来给出以下情况下的操作的描述:消除第一量化索引值和第二量化索引值的“两个量化索引均为0”的维度,并使用相似度作为同一性标度。
图23是示出了匹配单元100的操作的另一流程图。同样,在图23的流程图中,特征向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算相似度的变量指示为B,用于对不是“两个量化索引均为0”的维度进行计数的变量指示为A。
首先,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量A和B设置为0(步骤S300),然后移至步骤S102。
步骤S102与图21中的情况相同,当步骤S102结束时,处理移至步骤S314。
在步骤S314,标度确定单元104检查第一量化索引值和第二量化索引值是否均为0。如果两个值均为0,则处理移至步骤S108;而如果其中任一个不为0,则将变量A的值增加1(步骤S316),处理移至步骤S104。
步骤S104、S106、S108和S112的处理与图21的情况相同。如果在步骤S108维度编号达到维度数目N,则处理移至步骤S310。
在步骤S310,标度确定单元104计算B/A的值,并将其输出作为同一性标度,结束处理。然而,如果A=0,则标度确定单元104输出预定值(例如0.5)。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。
此外,如0076段中所述,在步骤S310,可以计算D=N-A并通过B/f(D)(f(D)是单调非递增函数),而不是通过计算B/A,来计算同一性标度。备选地,如0077段中所述,可以将同一性标度计算为(B/f(D))+g(D)。
此外,还可以直接计算D的值,而不计算A的值。图35示出了这种情况的流程。尽管该流程基本上与图23中相同,但是该流程与图23的流程的差别在于:在步骤S500,将变量D而不是A设置为0,如果在步骤S314两个量化索引均为0,则在步骤S516将变量D增加1,并且处理移至步骤S108;当任一量化索引不为0时,处理移至步骤S104,并在步骤S510通过上述方法根据B和D来计算同一性标度。
接下来给出以下情况下的操作的描述:消除第一量化索引值和第二量化索引值的“两个量化索引均为0”的维度,并使用距离作为同一性标度。
图34是示出了匹配单元100的操作的另一流程图。同样,在图34的流程图中,量化索引向量的维度(编号)指示为“n”,存在从1至N总计N个维度。此外,用于计算距离标度的变量指示为C,用于对不是“两个 量化索引均为0”的维度进行计数的变量指示为A。
尽管基本流程与图23中类似,图34的差别在于,步骤S300、S104、S106和S310被分别替换为步骤S400、S204、S206和S410。
首先,在步骤S400,维度确定单元101将维度1确定为用于匹配量化索引向量的第一维度(n=1),并将其提供给量化获取单元102和103,并在标度计算单元104中将变量A和C设置为0。
步骤S204和S206与图22中的情况相同。
在步骤S410,标度确定单元104计算C/A的值,并将其输出作为同一性标度,结束处理。然而,如果A=0,则标度确定单元104输出预定值(例如0.5)。
其他步骤与图23的情况下相同。然而,如果在步骤S108,维度编号n达到维度数目N,则处理移至步骤S410。
应当注意,尽管按照从维度1至维度N的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,与步骤S310的情况类似,可以计算D=N-A并通过C/f(D)等等,而不是通过计算C/A,来计算同一性标度。备选地,如图35中一样,还可以直接计算D的值,而不计算A的值。
[匹配单元的第二实施例]
接下来,使用框图来描述用于对在本发明中输出的量化索引向量进行匹配的匹配单元。
参照图28,图28示出了用于对在本发明中输出的量化索引向量进行匹配的匹配单元110的框图,匹配单元110包括:维度确定单元101;量化值获取单元102和103;空白区域指定单元105;以及校正标度计算单元106。
维度确定单元101连接至量化值获取单元102和103,并输出所确定的维度信息。量化值获取单元102从第一量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至空白区域指定单元105,作为第一量化索引值。量化值获取单元103从第二量化索引向量中获取从维度确定单元101输入的维度的量化索引值,并将该值输出至空白区域指定单元105,作为第二量化索引值。
空白区域指定单元105根据从量化值获取单元102和103输出的相应维度的第一和第二量化索引值(量化索引向量的相应维度的值)来指定相应值从其中提取的原始图像(从其中提取量化索引向量的图像,在本实施例中,被称为第一图像和第二图像)中的空白区域,并将指示所指定的空白区域的信息(空白区域信息)提供给校正标度计算单元106。例如,针对空白区域的预定的一个或多个候选中的每一个,空白区域指定单元105将表示至少一个提取区域被包括在候选的空白区域中的维度所采用的量化索引与实际量化索引相符的程度的数值与某一阈值进行比较,由此指定空白区域。应注意,如果确定了没有空白区域,则空白区域指定单元105将表示没有空白区域的信息作为空白区域信息提供给校正标度计算单元106。
在本实施例中,空白区域表示为了调整图像或视频的显示纵横比或为了呈现附加信息而添加到图像的主(中心)区域的外侧(边缘)的区域。
空白区域的代表示例是黑带。黑带是在视频自身的纵横比与显示屏的纵横比不同的情况下为了调整纵横比而添加的(按照这种方式添加了黑带的图像称为信箱模式)。尽管黑带通常是黑色的,然而它不局限于黑色(在本说明书中,不是黑色的带也称为黑带)。
图29示出了具有黑带的图像的示例。如图29所示,黑带被添加到图像的主(中心)区域(示出了花的区域)的外侧(式样包括上下、左右、四方、和L型)。
空白区域的其它示例包括:图像中用于数据广播等的数据呈现区域;以及图像中用于L型广播的L型区域。应注意,空白区域不局限于这些被添加到图像的主区域外侧的区域。
在本实施例中,将作为图像的主要部分的(中心)区域(不具有空白区域)称为主区域。
此外,可以输出指示分别关于第一图像和第二图像(作为其原始图像)所指定的空白区域的信息,作为指示所指定的空白区域的信息(空白区域信息)。也可以输出指示第一图像中的空白区域与第二图像中的空白区域重叠的区域(重叠区域)的信息。此外,还可以输出指示第一图 像的空白区域与第二图像的空白区域的求和区域的信息(求和区域)。
空白区域信息可以是标识其中提取区域包括在所指定的空白区域中的维度(维度集合)的信息(例如,指定维度的编号)。在本实施例中,提取区域包括在所指定的空白区域中的维度表示两个提取区域中的一个或二者均包括在所指定的空白区域中的维度。备选地,标识提取区域包括在所指定的空白区域以外的区域(即,主区域)中的维度(维度集合)的信息也是可接受的。
下面将示出空白区域指定单元105指定从中提取出针对相应维度的第一和第二量化索引值(量化索引向量的相应维度的值)的原始图像(从中提取量化索引向量的图像)中的空白区域所使用的示例性方法。
在该方法中,预先设置空白区域的候选区域(空白候选区域),并计算提取区域被包括在所设置的空白候选区域中的、并且量化索引值是指示区域特征“没有区别”的量化索引值的维度的百分比。如果该百分比高于某一阈值,则将所设置的空白候选区域确定为空白区域。例如,如果基于表达式2来计算量化索引,则在提取区域被包括在所设置的空白候选区域中的维度之中,如果“量化索引为0”的维度的百分比大于某一阈值,则将所设置的空白候选区域确定为空白区域。这种方法利用空白区域中(尤其是在黑带中)的两个提取区域的区域特征(亮度值等)之间没有区别的特性(例如,在黑带中,黑带内的两个提取区域的亮度值相同)。应注意,提取区域被包括在空白候选区域中的维度表示两个提取区域都被包括在空白候选区域中的维度。
下面,将对空白区域确定单元105在所要提取的特征向量具有如在第八实施例中所描述的325个维度的情况下的特定示例进行描述。
首先,预先设置空白候选区域。例如,设置图29中的(a)上下黑带(水平黑带)和(b)左右黑带(垂直黑带)作为空白候选区域。针对相应的空白候选区域,设置两个阶段的宽度(窄和宽),对应于黑带的宽度。然后,定义提取区域包括在所设置的空白候选区域中的维度的集合。在本示例中,包括在空白候选区域中的如图25-a所示的类型的维度(总共113个维度)将是目标。例如,如下(参见图25-a)所示地设置包括在(a)上下黑带(窄)、(a)上下黑带(宽)、(b)左右黑带(窄)和(b) 左右黑带(宽)中的维度。
提取区域包括在(a)上下黑带(窄)中的维度为{1,2,3,4,17,18,19,20,45,46,47,48,61,62,63,64}。
提取区域包括在(a)上下黑带(宽)中的维度为{1,2,3,4,17,18,19,20,45,46,47,48,61,62,63,64,65,66,67,68,69,70,71,107,108,109,110,111,112,113}。
提取区域包括在(b)左右黑带(窄)中的维度为{1,5,9,13,20,24,28,32,33,37,41,45,52,56,60,64}。
提取区域包括在(b)左右黑带(宽)中的维度为{1,5,9,13,20,24,28,32,33,37,41,45,52,56,60,64,65,71,72,78,79,85,86,92,93,99,100,106,107,113}。
将包括在如上所述地设置的空白候选区域中的维度的信息提供给空白区域指定单元105作为输入。
空白区域指定单元105根据所提供的量化索引值(量化索引向量的相应维度的值)计算量化索引为0(没有区别)的维度在提取区域被包括在如上所述地设置的空白候选区域中的维度之中的百分比。例如,在被包括在(a)上下黑带(窄)中的16个维度之中,如果量化索引为0的维度的数目为7个维度,则百分比为7/16。如果该百分比大于预先设置的阈值,则将设置的空白候选区域指定为从中提取量化索引向量的原始图像的空白区域。
例如,假设阈值设置为0.9。那么,如果关于预先设置的空白候选区域(即,上下黑带(窄)、上下黑带(宽)、左右黑带(窄)和左右黑带(宽))计算的量化索引为0的维度的百分比分别为16/16(1.0)、20/30(0.666)、5/16(0.3125)和10/30(0.333),则将上下黑带(宽)中的空白候选区域指定为空白区域(由于窄的包括在宽的中)。此外,当相应的百分比为16/16(1.0)、20/30(0.666)、15/16(0.9375)和18/30(0.6)时,将两种空白候选区域的求和区域(即,上下黑带(窄)和左右黑带(窄))指定为空白区域。此外,如果相应的百分比为1/16(0.0625)、4/30(0.1333)、5/16(0.3125)和10/30(0.333),则确定没有空白区域。
空白区域指定单元105对所提供的第一和第二量化索引值(量化索 引向量的相应维度的值)均执行上述处理,并指定第一图像和第二图像中的空白区域,第一图像和第二图像是从中提取空白区域的原始图像。
可以输出指示关于第一图像和第二图像分别指定的空白区域的信息,作为指示空白区域的信息(空白区域信息)。例如,如果关于第一图像将空白区域指定为上下黑带(窄),并且关于第二图像将空白区域指定为左右黑带(宽),则可以输出指示关于第一图像的空白区域是上下黑带(窄)以及关于第二图像的空白区域是左右黑带(宽)的信息(例如,指示空白候选区域的索引编号)。也可以输出相应图像的指定的空白区域的重叠区域或求和区域的信息。
可以输出指示提取区域被包括在所指定的空白区域中的维度(维度集合)的信息,作为指示空白区域的信息(空白区域信息)。例如,如果关于第一图像将空白区域指定为上下黑带(窄),并且关于第二图像将空白区域指定为左右黑带(宽),则可以输出指示关于第一图像的维度{1,2,3,4,17,18,19,20,45,46,47,48,61,62,63,64}的信息(例如,维度编号的集合)以及指示关于第二图像的维度{1,5,9,13,20,24,28,32,33,37,41,45,52,56,60,64,65,71,72,78,79,85,86,92,93,99,100,106,107,113}的信息。也可以输出指示包括在相应图像的指定的空白区域的重叠区域或求和区域中的维度(维度集合)的信息。应注意,尽管示出了包括在所指定的空白区域中的如图25-a所示的类型的维度(总共113个维度)作为示例性输出,然而也可以输出包括在所指定的空白区域中的其他类型的维度(图25-b至25-g),或者也可以输出指示提取区域被包括在所指定的空白区域以外的区域(即,主区域)中的维度(维度集合)的信息。
在空白区域指定单元105的上述示例中,使用“量化索引为0”的维度(其中,提取区域被包括在预先设置的空白候选区域中)在提取区域被包括在空白候选区域的内侧和外侧(主区域)(即,一个提取区域存在于某一空白候选区域中,而不存在于其他空白候选区域)的维度中的百分比,空白区域指定单元105可以计算“量化索引为0”的维度的百分比,以及如果百分比大于某一阈值,则将空白候选区域指定为空白区域。这利用在空白区域与主区域之间存在区域特征方面的差别的特性。此外, 在黑带的情况下,空白区域(黑带区域)的亮度值较小。这样,通过利用空白区域内的提取区域的亮度值一般小于主区域中的提取区域的亮度值的事实,可以在考虑+1和-1符号的同时计算百分比。
此外,可以将被包括在空白候选区域中的维度的典型量化索引值存储为模板,例如确定所要提供的相应维度的量化索引值之间的相似度(量化索引向量的相应维度的值),以及如果相似度大于某一阈值,则将空白候选区域指定为空白区域。
该方法不局限于这里所描述的,而是在空白区域是根据所要提供的相应维度的量化索引值自身(量化索引向量的相应维度的值)所指定的情况下,可以使用任意方法。
校正标度计算单元106通过减小提取区域被包括在由从空白区域指定单元105提供的表示空白区域的信息(空白区域信息)所指示的空白区域中的维度的权重,根据从相应的量化值获取单元102和103输出的相应维度的第一和第二量化索引值(量化索引向量的相应维度的值),来计算指示图像的同一性(相似度)的标度,并将其作为同一性标度输出。
在本实施例中,提取区域被包括在空白区域中的维度表示两个提取区域之一或二者均被包括在空白区域中的维度。
如果给第一图像和第二图像都提供了空白区域信息,则优选地获得在其中由空白区域信息表示的空白区域重叠的区域(重叠区域)或者区域的求和(求和区域),以统一空白区域。
此外,如果空白区域信息是指示提取区域被包括在空白区域中的维度(维度集合)的信息,则提取区域被包括在空白区域中的维度不局限于所提供的维度集合中所包括的维度,而可以是提取区域被包括在相同空白区域中的维度。例如,在所要提取的特征向量为第八实施例中所描述的325个维度的情况下,即便空白区域信息限定了维度是从图25-a所示的类型的维度中选择的,如果提取区域被包括在与图25-b至25-g所示的其他类型中所包括的维度相同的空白区域中,则这些维度也可以是“提取区域被包括在空白区域中的维度”的目标。
应注意,减小空白区域中所包括的维度的权重提供了与通过相对地增大空白区域中没有包括的维度(即,主区域中所包括的维度)的权重 所获得的值相同的值,以计算同一性标度。这样,可以明显增大没有包括在空白区域中的维度(主区域中包括的维度)的权重,以计算同一性标度。
此外,还可以通过将空白区域中所包括的维度的权重设置为0来计算同一性标度。这意味着,通过消除空白区域中所包括的维度,可以只使用没有包括在空白区域中的维度(主区域中包括的维度)来计算同一性标度。例如,可以只使用没有提取区域包括在空白区域中的维度来计算同一性标度。
此外,关于校正标度计算单元106,只要是通过减小空白区域中所包括的维度的权重来计算图像的同一性标度的方法,都可以用来计算同一性标度。例如,可以使用一种计算同一性标度的方法,在该方法中,根据相应维度的第一和第二量化索引值(量化索引向量的相应维度的值)比较相应维度,以获得量化索引相符(相似度)的维度数目或量化索引不相符的维度数目(汉明距离)。此外,(如果基于表示式2计算量化索引)还可以使用L1距离或L2距离(欧几里德距离)等等。此外,也可以使用上面已经描述过的计算同一性标度的方法。
应注意,如果提供指示没有空白区域的信息作为空白区域信息,则只需要利用与通常的标度计算单元104类似的方式来计算同一性标度。
例如,可以通过将空白区域中所包括的维度的权重设置为0(即,通过消除空白区域中所包括的区域、以及仅使用主区域中所包括的维度)来选择主区域中所包括的维度,并计算量化索引相符的维度数目(相似度)、量化索引不相符的维度数目(汉明距离)、L1距离、或L2距离,由此将其输出作为同一性标度。
此外,如果W1<W2,其中包括在空白区域中的维度的权重值为W1,以及没有包括在空白区域中的维度(主区域中包括的维度)的权重值为W2,例如,可以根据相应维度的第一和第二量化索引值(量化索引向量的相应维度的值)来比较相应的维度,并将维度的权重值加至量化索引相符的维度(即,如果包括在空白区域中的维度的量化索引相符,则加W1;如果没有包括在空白区域中的维度的量化索引相符,则加W2;以及针对量化索引不相符的维度,加0),由此计算同一性标度作为加权的 相似度。
将给出在要提取的特征向量具有如第八实施例所描述的325个维度的情况下提供与上下黑带(窄)相对应的维度{1,2,3,4,17,18,19,20,45,46,47,48,61,62,63,64}作为空白区域信息的情况的示例。在这种情况下,可以简单地将这些维度{1,2,3,4,17,18,19,20,45,46,47,48,61,62,63,64}(16个维度)确定为包括在空白区域中的维度,并将其他维度(325-16=309个维度)确定为没有包括在空白区域中的维度(包括在主区域中的维度)。此外,当空白区域对应于上下黑带(窄)时,可以将提取区域包括在上下黑带(窄)中的所有维度都确定为空白区域。例如,也可以将提取区域的任意子区域包括在上下黑带(窄)中的维度(即,维度{114,115,116,117,126,127,128,129})确定为包括在空白区域中的维度。在这种情况下,将其他维度(即,任意提取区域不与上下黑带(窄)重叠的维度)确定为没有包括在空白区域中的维度(包括在主区域中的维度)。
关于提取区域包括在空白区域中的维度以及提取区域不包括在空白区域中(包括在主区域中)的维度,可以计算量化索引相符的维度数目(相似度)、量化索引不相符的维度数目(汉明距离)、L1距离、或L2距离,并将其输出作为同一性标度。此外,如果W1<W2,其中包括在空白区域中的维度的权重值为W1,以及没有包括在空白区域中的维度(主区域中包括的维度)的权重值为W2,例如可以根据相应维度的第一和第二量化索引值(量化索引向量的相应维度的值)来比较相应的维度,并将维度的权重值加至量化索引相符的维度,由此计算同一性标度作为加权的相似度。
[匹配单元的第二实施例的效果]
将描述匹配单元的第二实施例的有利效果。
在匹配单元的第二实施例中,由于空白区域指定单元105指定了与同一性确定不相关的空白区域(黑带等),并且校正标度计算单元106通过减小空白区域中所包括的维度的权重来计算同一性标度(换言之,通过增大主区域的权重来计算同一性标度,以用于同一性确定),可以以更 高精度确定同一性标度。
具体地,如果对包括空白区域(例如黑带)的两个不同的图像执行匹配,则空白区域(黑带)是公共的。这样,出现了以下问题:即使对于具有不同主区域的图像,通常的匹配单元100将同一性标度作为较大的值而计算。然而,由于匹配单元的第二实施例(匹配单元100)通过减小空白区域的权重来计算同一性标度,因而将绝对不会造成这样的问题。
此外,在匹配单元的第二实施例中,由于空白区域指定单元105根据量化索引向量自身指定空白区域,因而具有以下有利效果:不需要在图像标识符的提取侧(提取阶段)上特别指定空白区域。这样,具有不会对图像标识符的提取侧造成负担(例如处理速度和安装成本等的负担)的效果。
此外,上述匹配单元的第二实施例(图28中的匹配单元110)能够与图20所示的匹配单元的实施例(匹配单元100)相连,以执行分级匹配。这意味着,首先,匹配单元100输出通常同一性标度(标度计算单元104的输出)。将从匹配单元100输出的通常同一性标度与预定阈值进行比较,以及如果同一性标度小于该阈值(同一性程度较低),则直接输出通常同一性标度。如果同一性标度大于该阈值(同一性程度较高),则匹配单元110指定空白区域,通过减小空白区域中所包括的维度的权重来计算校正的同一性标度,并将其输出。
通过由如上所述的匹配单元100和匹配单元110执行分级匹配,由于匹配单元110仅在匹配单元100所计算的通常同一性标度较大时计算校正的同一性标度,因而具有匹配处理速度较高的有利效果。通常,当在包括大量不同图像的数据库中执行同一性确定时,匹配单元100所计算的通常同一性标度在大多数情况下小于某一阈值。相应地,由于处理经常由匹配单元100结束,因而处理速度大幅度提高。
[匹配单元的第三实施例]
接下来,将使用框图来描述用于对在本发明中输出的量化索引向量进行匹配的匹配单元的第三实施例。
参照36,图36示出了用于匹配本发明中输出的量化索引向量的匹配 单元200的框图,匹配单元200包括:码确定单元201;码值获取单元202和203;以及标度计算单元204。
码确定单元201连接至码值获取单元202和203,并输出所确定的码指定信息。码值获取单元202从第一量化索引向量中获取由从码确定单元201输入的码指定信息指定的码的值,并将该值输出至标度计算单元204作为第一码值。码值获取单元203从第二量化索引向量中获取由从码确定单元201输入的码指定信息指定的码的值,并将该值输出至标度计算单元204作为第二量化索引。标度计算单元204根据从码值获取单元202和203分别输出的第一和第二码值,计算指示同一性的标度,并将其输出。
接下来描述图36中示出的匹配单元200的操作。
首先,向匹配单元200输入第一编码量化索引向量(通过对从第一图像中提取的量化索引向量进行编码而产生的向量)和第二编码量化索引向量(通过对从第二图像中提取的量化索引向量进行编码而产生的向量)。应当注意,编码量化索引向量是由通过针对多个维度对量化索引向量的量化索引值整体进行编码而获得的码串。如0187段中所述,当特征向量的相应维度的特征被量化为三个值并且以5个维度整体来进行编码时,针对每5个维度产生一个码。因此,如果特征向量的维度数目为N,则产生N/5个码。在该情况下,编码的量化索引向量是由N/5个码组成的码串。
输入的第一和第二编码量化索引向量分别输入至码值获取单元202和203。
还向码值获取单元202和203输入从码确定单元201输出的码指定信息。码确定单元201依次输出指定码串中的各个码的信息。如果码串中码的数目为M(在上述示例中,M=N/5),则输出顺序不必需从1逐一递增至M,而是可以具有任何顺序,只要不多不少地指定从1至M的所有值。
码值获取单元202和203从输入的编码量化索引向量中获取在从码确定单元101输出的码指定信息中指定的码的值,并将所获取的码值输出至标度计算单元204。
标度计算单元204将从码值获取单元201和202输出的第一码值和第二码值进行比较。在该过程中,对码值进行直接比较,而不将其解码为 量化索引值。如0195至0197段落中所述,准备查找表,利用查找表,可以获得两个码值之间的相似度,利用该表,以码为单位来计算同一性标度。对相应码执行该过程,从而将第一和第二码值之间的相似度标度(或距离标度)计算为同一性标度。
将所获取的同一性标度值与预定阈值进行比较,来确定同一性。如果同一性标度是指示相似度的标度,则在标度值等于或大于阈值的情况下将其确定为相同。另一方面,如果同一性标度是指示距离的标度,则在标度值小于或等于阈值的情况下将其确定为相同。
接下来,使用流程图来描述图36中所示的匹配单元200的操作。首先描述使用相似度作为同一性标度的情况下的操作。
图37是示出了匹配单元200的操作的流程图。在图37的流程图中,编码的量化索引向量的码数目指示为“m”,存在从1至M总计M个维度。此外,用于计算相似度的变量指示为B。
首先,码确定单元201确定获取第一码(m=1)作为要匹配的编码量化索引向量的第一码,并将其提供给码值获取单元202和203,并在标度计算单元204中将变量B设置为0(步骤S600)。
然后,码值获取单元202和203从第一量化索引向量和第二量化索引向量中获取第m个第一码值和第二码值,并将其提供给标度计算单元204(步骤S602)。
然后,标度计算单元204参照0195至0197段落中描述的查找表,根据第一码值和第二码值,计算与相应码值相对应的多个维度的特征之间的相似度ΔB(步骤S604)。
接下来,将ΔB的值加至变量B(步骤S106)。此时,如果ΔB的值为0,则可以控制不进行相加,而不是将0加至变量B。
接下来,检查码编号m是否达到码数目M(步骤S608),如果未达到该数目,则处理移至步骤S612;而如果达到该数目,则将此时变量B的值输出,作为同一性标度(指示相似度的标度)(步骤S110),并且处理结束。
在步骤612,码确定单元201根据m=m+1将下一码编号确定为用于获取量化索引的维度,并将其提供给码值获取单元202和203作为码指定信 息。然后,处理返回步骤S602。
应当注意,尽管按照从码编号m至维度M的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,尽管针对计算相似度的情况给出了描述,但是还可以以类似方式将距离标度计算为同一性标度。在该情况下,查找表适于存储距离标度而不是相似度。
图38是示出了匹配单元200的操作的另一流程图。同样,在图38的流程图中,编码的量化索引向量的码数目指示为“m”,存在从1至M总计M个维度。此外,用于计算相似度的变量指示为B,用于对不是“两个量化索引均为0”的维度进行计数的变量指示为A。
首先,码确定单元201确定获取第一码(n=1)作为要匹配的编码量化索引向量的第一码,并将其提供给码值获取单元202和203,并在标度计算单元204中将变量A和B设置为0(步骤S700),然后移至步骤S602。
步骤S602与图37中的情况相同,当该步骤结束时,处理移至步骤S714。
在步骤S714,标度计算单元204根据第一码值和第二码值,检查与码值相对应的特征向量的维度中不是“两个值均为0”的维度的数目。将该值设置为ΔA。如0197段落中所述,这还可以使用描述码值与ΔA之间关系的查找表来计算。
然后,将ΔA的值加至变量A(步骤S716)。此时,如果ΔA的值为0,则可以控制不进行相加,而不是将0加至变量A。
步骤S604、S106、S608和S612的处理与图37的情况相同。如果在步骤S608码编号达到码数目M,则处理移至步骤S310。
在步骤S310,标度计算单元204计算B/A的值,并将其输出作为同一性标度,结束处理。然而,如果A=0,则标度计算单元204输出预定值(例如0.5)。
应当注意,尽管按照从码编号m至M的顺序来执行提取处理,但是可以采用任何顺序,不限于该顺序。此外,尽管针对计算相似度的情况给出了描述,但是还可以以类似方式将距离标度计算为同一性标度。在该情况下,查找表适于存储距离标度而不是相似度。
尽管以上描述了本发明的实施例,但是本发明不限于这些示例。本 领域技术人员可以理解,可以对其中的形式和细节做出各种改变。此外,本发明的图像签名提取设备和匹配设备被适配为使得其功能能够通过计算机和程序以及硬件来实现。这种程序以被写在诸如磁盘和半导体存储器等的计算机可读介质上来提供,在例如计算机被启动时由计算机读取,并控制计算机的操作,由此允许计算机用作如上所述的实施例中的图像签名提取设备和匹配设备。
本申请基于并要求2009年6月16日提交的日本专利申请No.2009-143352和2009年6月24日提交的日本专利申请No.2009-149893的优先权,其全部公开通过引用并入此处。
参考符号说明
1 维度确定单元
2 提取区域获取单元
3、3A 区域特征计算单元
31、31A 第一区域特征计算单元
32、32A 第二区域特征计算单元
4、4B 比较单元
41 幅度比较单元
42、44 量化单元
43 差值计算单元
45 量化边界确定单元
5 区域特征计算方法获取单元
6 比较方法获取单元
7 编码单元
100,110,200 匹配单元
101 维度确定单元
102,103 量化值获取单元
104,204 标度计算单元
105 空白区域指定单元
106 校正标度计算单元
201 码确定单元
202,203 码值获取单元。
Claims (25)
1.一种图像签名匹配设备,包括:
空白区域指定单元,用于根据第一图像的图像签名和第二图像的图像签名指定每个图像的空白区域,其中所述第一图像的图像签名和所述第二图像的图像签名是通过一种产生方法产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域提取区域特征;针对子区域对中的每一对,对构成一个子区域对的两个子区域的区域特征之间的差值进行量化;以及产生作为针对相应子区域对所计算的量化值的要素的集合,作为要用于辨别所述图像的图像签名;以及
匹配单元,用于通过使得下述要素的权重减小的方式,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中。
2.根据权利要求1所述的图像签名匹配设备,其中,
所述空白区域指定单元从空白区域的一个或多个候选区域中指定每个图像的空白区域。
3.根据权利要求1或2所述的图像签名匹配设备,其中,
所述空白区域指定单元基于下述要素的量化值,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
4.根据权利要求1至3中任一项所述的图像签名匹配设备,其中,
所述空白区域指定单元基于将下述要素的量化值与一预定值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
5.根据权利要求1至4中任一项所述的图像签名匹配设备,其中,
所述空白区域指定单元基于将下述要素的量化值与一预定值进行比较、以及将相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
6.根据权利要求1至4中任一项所述的图像签名匹配设备,其中,
所述空白区域指定单元基于将下述要素的量化值与一预定值进行比较、以及将不相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
7.根据权利要求1至4中任一项所述的图像签名匹配设备,其中,
所述空白区域指定单元基于将下述要素的量化值与一量化值进行比较、以及将相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中所述一量化值是在差值的绝对值小于一规定值的情况下获得的,其中针对所述要素,构成一个子区域对的两个子区域中均被包括在候选区域中。
8.根据权利要求1至4中任一项所述的图像签名匹配设备,其中,
所述空白区域指定单元基于将下述要素的量化值与一量化值进行比较、以及将不相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中所述一量化值是在差值的绝对值小于一规定值的情况下获得的,其中针对所述要素,构成一个子区域对的两个子区域中均被包括在候选区域中。
9.根据权利要求1至8中任一项所述的图像签名匹配设备,其中,
所述空白区域是图像外侧的区域。
10.根据权利要求1至9中任一项所述的图像签名匹配设备,其中,
所述匹配单元通过消除下述要素,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在所指定的空白区域中。
11.根据权利要求1至10中任一项所述的图像签名匹配设备,其中,
所述匹配单元比较所述第一图像的图像签名和所述第二图像的图像签名的对应要素,并计算指示所述第一图像和所述第二图像的同一程度的同一性标度。
12.根据权利要求1至11中任一项所述的图像签名匹配设备,其中,
所述多个子区域对包括至少一个子区域对,所述至少一个子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的两个子区域之间的相对位置与其他子区域对中的至少一对的不同。
13.一种图像签名匹配方法,包括:
根据第一图像的图像签名和第二图像的图像签名指定每个图像的空白区域,其中所述第一图像的图像签名和所述第二图像的图像签名是通过一种产生方法产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域提取区域特征;针对子区域对中的每一对,对构成一个子区域对的两个子区域的区域特征之间的差值进行量化;以及产生作为针对相应子区域对所计算的量化值的要素的集合,作为要用于辨别所述图像的图像签名;以及
通过使得下述要素的权重减小的方式,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中。
14.根据权利要求13所述的图像签名匹配方法,其中,
指定空白区域包括:从空白区域的一个或多个候选区域中指定每个图像的空白区域。
15.根据权利要求13或14所述的图像签名匹配方法,其中,
指定空白区域包括:基于下述要素的量化值,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
16.根据权利要求13至15中任一项所述的图像签名匹配方法,其中,
指定空白区域包括:基于将下述要素的量化值与一预定值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
17.根据权利要求13至16中任一项所述的图像签名匹配方法,其中,
指定空白区域包括:基于将下述要素的量化值与一预定值进行比较、以及将相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
18.根据权利要求13至16中任一项所述的图像签名匹配方法,其中,
指定空白区域包括:基于将下述要素的量化值与一预定值进行比较、以及将不相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在候选区域中。
19.根据权利要求13至16中任一项所述的图像签名匹配方法,其中,
指定空白区域包括:基于将下述要素的量化值与一量化值进行比较、以及将相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中所述一量化值是在差值的绝对值小于一规定值的情况下获得的,其中针对所述要素,构成一个子区域对的两个子区域中均被包括在候选区域中。
20.根据权利要求13至16中任一项所述的图像签名匹配方法,其中,
指定空白区域包括:基于将下述要素的量化值与一量化值进行比较以及将不相符要素的百分比与一阈值进行比较的结果,从空白区域的一个或多个候选区域中指定每个图像的空白区域,其中所述一量化值是在差值的绝对值小于一规定值的情况下获得的,其中针对所述要素,构成一个子区域对的两个子区域中均被包括在候选区域中。
21.根据权利要求13至20中任一项所述的图像签名匹配方法,其中,
所述空白区域是图像外侧的区域。
22.根据权利要求13至21中任一项所述的图像签名匹配方法,其中,
所述匹配包括:通过消除下述要素,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在所指定的空白区域中。
23.根据权利要求13至22中任一项所述的图像签名匹配方法,其中,
所述匹配包括:比较所述第一图像的图像签名和所述第二图像的图像签名的对应要素,并计算指示所述第一图像和所述第二图像的同一程度的同一性标度。
24.根据权利要求13至23中任一项所述的图像签名匹配方法,其中,
所述多个子区域对包括至少一个子区域对,所述至少一个子区域对中的两个子区域的形状的组合和所述至少一个子区域对中的两个子区域之间的相对位置与其他子区域对中的至少一对的不同。
25.一种程序,使计算机用作:
空白区域指定单元,用于根据第一图像的图像签名和第二图像的图像签名指定每个图像的空白区域,其中所述第一图像的图像签名和所述第二图像的图像签名是通过一种产生方法产生的,所述产生方法包括:从图像中的多个子区域对中的相应子区域提取区域特征;针对子区域对中的每一对,对构成一个子区域对的两个子区域的区域特征之间的差值进行量化;以及产生作为针对相应子区域对所计算的量化值的要素的集合,作为要用于辨别所述图像的图像签名;以及
匹配单元,用于通过使得下述要素的权重减小的方式,将所述第一图像的图像签名与所述第二图像的图像签名相匹配,其中针对所述要素,构成一个子区域对的两个子区域中的至少一个被包括在指定的空白区域中。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009143352 | 2009-06-16 | ||
JP2009-143352 | 2009-06-16 | ||
JP2009-149893 | 2009-06-24 | ||
JP2009149893 | 2009-06-24 | ||
PCT/JP2010/003672 WO2010146786A1 (ja) | 2009-06-16 | 2010-06-02 | 画像識別子照合装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102822864A true CN102822864A (zh) | 2012-12-12 |
CN102822864B CN102822864B (zh) | 2016-01-13 |
Family
ID=43356121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080026886.7A Active CN102822864B (zh) | 2009-06-16 | 2010-06-02 | 图像签名匹配设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8200021B2 (zh) |
EP (1) | EP2352126A4 (zh) |
JP (1) | JP4735786B2 (zh) |
KR (1) | KR101355258B1 (zh) |
CN (1) | CN102822864B (zh) |
WO (1) | WO2010146786A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295652A (zh) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | 一种直线特征匹配方法及系统 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768064B2 (en) * | 2008-09-01 | 2014-07-01 | Nec Corporation | Image feature extraction device |
US8744193B2 (en) * | 2009-03-13 | 2014-06-03 | Nec Corporation | Image signature extraction device |
CN102349092B (zh) * | 2009-03-13 | 2015-08-12 | 日本电气株式会社 | 图像签名提取设备 |
JP5507962B2 (ja) * | 2009-11-05 | 2014-05-28 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
JP5796185B2 (ja) * | 2011-03-10 | 2015-10-21 | パナソニックIpマネジメント株式会社 | 対象物判定装置 |
WO2013008956A1 (ja) * | 2011-07-14 | 2013-01-17 | 日本電気株式会社 | 音響処理方法と音響処理システム、ビデオ処理方法とビデオ処理システム、音響処理装置およびその制御方法と制御プログラム |
US9047534B2 (en) * | 2011-08-11 | 2015-06-02 | Anvato, Inc. | Method and apparatus for detecting near-duplicate images using content adaptive hash lookups |
US9870517B2 (en) * | 2011-12-08 | 2018-01-16 | Excalibur Ip, Llc | Image object retrieval |
US10230934B2 (en) * | 2013-06-14 | 2019-03-12 | Microsoft Tehcnology Licensing, Llc | Depth map correction using lookup tables |
US10474745B1 (en) | 2016-04-27 | 2019-11-12 | Google Llc | Systems and methods for a knowledge-based form creation platform |
US11039181B1 (en) | 2016-05-09 | 2021-06-15 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
US10595054B2 (en) | 2016-05-10 | 2020-03-17 | Google Llc | Method and apparatus for a virtual online video channel |
US10750248B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for server-side content delivery network switching |
US11069378B1 (en) | 2016-05-10 | 2021-07-20 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
US10771824B1 (en) | 2016-05-10 | 2020-09-08 | Google Llc | System for managing video playback using a server generated manifest/playlist |
US10750216B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for providing peer-to-peer content delivery |
US10785508B2 (en) | 2016-05-10 | 2020-09-22 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
US11032588B2 (en) | 2016-05-16 | 2021-06-08 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
CN115496927B (zh) * | 2022-09-19 | 2023-04-07 | 广东炬森智能装备有限公司 | 基于归一化的印刷电路板影像与模板图的匹配方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1926575A (zh) * | 2004-03-03 | 2007-03-07 | 日本电气株式会社 | 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序 |
WO2007148264A1 (en) * | 2006-06-20 | 2007-12-27 | Koninklijke Philips Electronics N.V. | Generating fingerprints of video signals |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60471A (ja) | 1983-05-20 | 1985-01-05 | Fuji Xerox Co Ltd | 複写機等の現像装置 |
US5436653A (en) * | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
US6301369B2 (en) * | 1992-07-31 | 2001-10-09 | Digimarc Corporation | Image marking to permit later identification |
JPH0749874A (ja) * | 1993-08-06 | 1995-02-21 | Matsushita Electric Ind Co Ltd | インデックスの作成方法 |
US5956431A (en) * | 1997-10-02 | 1999-09-21 | S3 Incorporated | System and method for fixed-rate block-based image compression with inferred pixel values |
EP1374174A2 (en) * | 2000-09-07 | 2004-01-02 | Koninklijke Philips Electronics N.V. | Image matching |
JP2002222195A (ja) * | 2001-01-25 | 2002-08-09 | Canon Inc | 文書選別装置及び文書選別方法 |
US7536031B2 (en) * | 2003-09-02 | 2009-05-19 | Nxp B.V. | Temporal interpolation of a pixel on basis of occlusion detection |
WO2005036877A1 (en) | 2003-09-12 | 2005-04-21 | Nielsen Media Research, Inc. | Digital video signature apparatus and methods for use with video program identification systems |
JP2006268825A (ja) * | 2005-02-28 | 2006-10-05 | Toshiba Corp | オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム |
CN101427285B (zh) * | 2006-04-20 | 2012-05-30 | 艾利森电话股份有限公司 | 图像处理 |
JP2007293438A (ja) * | 2006-04-21 | 2007-11-08 | Omron Corp | 特徴量取得装置 |
JP4971964B2 (ja) | 2007-12-13 | 2012-07-11 | 日本プラスト株式会社 | カーテンエアバッグのルーフサイドモジュール |
-
2010
- 2010-06-02 WO PCT/JP2010/003672 patent/WO2010146786A1/ja active Application Filing
- 2010-06-02 CN CN201080026886.7A patent/CN102822864B/zh active Active
- 2010-06-02 JP JP2011506922A patent/JP4735786B2/ja active Active
- 2010-06-02 EP EP20100789171 patent/EP2352126A4/en not_active Withdrawn
- 2010-06-02 KR KR1020117029837A patent/KR101355258B1/ko active Active
- 2010-06-02 US US13/131,813 patent/US8200021B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1926575A (zh) * | 2004-03-03 | 2007-03-07 | 日本电气株式会社 | 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序 |
WO2007148264A1 (en) * | 2006-06-20 | 2007-12-27 | Koninklijke Philips Electronics N.V. | Generating fingerprints of video signals |
Non-Patent Citations (1)
Title |
---|
DANIEL MOHR等: "Continuous Edge Gradient-Based Template Matching for Articulated Objects", 《VISAPP 2009: PROCEEDINGS OF THE FOURTH INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS》, vol. 2, 8 February 2009 (2009-02-08), pages 519 - 524 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295652A (zh) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | 一种直线特征匹配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
KR20120033308A (ko) | 2012-04-06 |
WO2010146786A1 (ja) | 2010-12-23 |
EP2352126A1 (en) | 2011-08-03 |
JPWO2010146786A1 (ja) | 2012-11-29 |
US20110229042A1 (en) | 2011-09-22 |
US8200021B2 (en) | 2012-06-12 |
KR101355258B1 (ko) | 2014-01-27 |
CN102822864B (zh) | 2016-01-13 |
EP2352126A4 (en) | 2012-03-14 |
JP4735786B2 (ja) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102822864A (zh) | 图像签名匹配设备 | |
EP2360639B1 (en) | Image identifier matching device | |
US9042656B2 (en) | Image signature extraction device | |
EP2420973B1 (en) | Image identifier extraction device | |
EP2407931B1 (en) | Image identifier extraction device | |
EP2407932B1 (en) | Image identifier extraction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |