CN108154155A - 一种基于草图的珠宝检索方法和系统 - Google Patents
一种基于草图的珠宝检索方法和系统 Download PDFInfo
- Publication number
- CN108154155A CN108154155A CN201711111056.4A CN201711111056A CN108154155A CN 108154155 A CN108154155 A CN 108154155A CN 201711111056 A CN201711111056 A CN 201711111056A CN 108154155 A CN108154155 A CN 108154155A
- Authority
- CN
- China
- Prior art keywords
- sketch
- diamond ring
- training
- fine granularity
- hog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 229910003460 diamond Inorganic materials 0.000 claims abstract description 250
- 239000010432 diamond Substances 0.000 claims abstract description 250
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000010354 integration Effects 0.000 claims abstract description 10
- 210000000952 spleen Anatomy 0.000 claims description 18
- 238000005549 size reduction Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000002203 pretreatment Methods 0.000 claims description 6
- 244000025254 Cannabis sativa Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于草图的珠宝检索方法和系统，包括：对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和局部细粒度预处理三视草图并提取整体HOG特征和局部细粒度HOG特征建立卷积模板；获取目标钻戒三视草图，提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；将目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和局部细粒度HOG特征分数集合；根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和分类器得到目标钻戒的局部样式。
Description
技术领域
本发明涉及草图检索和机器学习技术领域，尤其涉及一种基于草图的珠宝检索方法和系统。
背景技术
草图是直观和描述性的，是非专家创建视觉内容的几种手段之一。作为查询模式，它们提供了比纯文本更自然的方式提供详细的视觉线索。随着触摸屏在电子设备的普及，基于草图的细粒度检索问题亟待解决。本发明研究基于草图的细粒度检索问题，即精确到个体的检索，并非普通的类别识别检索。但是，这个问题是十分困难的，主要体现在以下3个方面：自由草图本质上是抽象和简单的，草图对象不能准确描绘其真实世界的模型；草图和照片分为两个不同的视觉领域，即黑色和白色线条与彩色像素；细粒度差异在跨域和抽象级别执行时尤其具有挑战性。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于草图的珠宝检索方法和系统；
本发明提出的一种基于草图的珠宝检索方法，包括：
S1、对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图；
S2、提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
S3、获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；
S4、将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
S5、根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式。
优选地，步骤S1中，具体包括：
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图。
优选地，步骤S2，具体包括：
将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；
将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；
综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
优选地，步骤S2中，所述在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括：通过随机梯度下降法对卷积模板进行优化。
优选地，步骤S5中，所述预设分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
优选地，步骤S1中，所述训练钻戒三视草图，具体包括：训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
一种基于草图的珠宝检索系统，包括：
预处理模块，用于对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图；
卷积模板建立模块，用于提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
目标特征提取模块，用于获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；
特征分数计算模块，用于将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
钻戒样式确定模块，用于根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式。
优选地，所述预处理模块，具体用于：
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图。
优选地，所述卷积模板建立模块，具体用于：
将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；
将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；
综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
优选地，所述卷积模板建立模块，还用于：在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括通过随机梯度下降法对卷积模板进行优化。
优选地，所述钻戒样式确定模块，具体用于：所述分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
优选地，所述预处理模块，具体用于：所述训练钻戒三视草图包括训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
本发明通过对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图，提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征，将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合，根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式，如此，本发明提出的基于结构部件的识别检测方法，不仅针对于钻戒整体进行分析和检索，同时支持钻戒局部部件的分析和检测，提高钻戒检索的性能和细节精准度。
附图说明
图1为本发明提出的一种基于草图的珠宝检索方法的流程示意图；
图2为本发明提出的一种基于草图的珠宝检索系统的模块示意图。
具体实施方式
参照图1，本发明提出的一种基于草图的珠宝检索方法，包括：
步骤S1，对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图，具体包括：将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图，其中，所述训练钻戒三视草图，具体包括：训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
在具体方案中，获取训练钻戒三视草图，所述钻戒三视草图包括训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图，对训练钻戒三视草图进行整体预处理和局部细粒度预处理，将训练钻戒三视草图边界框的高度缩小到预设像素值，同时保留其原始宽高比，以缓解由于图片尺度，纵横比带来的误检。
步骤S2，提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，具体包括：将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，所述在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括：通过随机梯度下降法对卷积模板进行优化。
在具体方案中，低级特征如有向梯度直方图HOG是一个无处不在的描述符，用于描述局部区域中的梯度信息，我们把训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图分为密集的网格，在网格中提取HOG，并将其用作对草图的低级特征表示，具体的，通过DPM(deformable part model)模型，由HOG滤波器和几个潜在的较高分辨率的局部部件滤波器检测出草图中戒指的整体位置和局部部件的位置(脾和爪)。
步骤S3，获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征。
步骤S4，将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
步骤S5，根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式，其中，所述预设分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
在具体方案中，目标钻戒三视草图的整体HOG特征分数集合中分数最高表示该区域存在戒指的概率越大，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和脾分类器、爪分类器得到目标钻戒的脾、爪具体样式。
参照图2，本发明提出一种基于草图的珠宝检索系统，包括：
预处理模块，用于对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图，具体用于：将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图，其中，所述训练钻戒三视草图包括训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
在具体方案中，获取训练钻戒三视草图，所述钻戒三视草图包括训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图，对训练钻戒三视草图进行整体预处理和局部细粒度预处理，将训练钻戒三视草图边界框的高度缩小到预设像素值，同时保留其原始宽高比，以缓解由于图片尺度，纵横比带来的误检。
卷积模板建立模块，用于提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，具体用于：将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括通过随机梯度下降法对卷积模板进行优化。
在具体方案中，低级特征如有向梯度直方图HOG是一个无处不在的描述符，用于描述局部区域中的梯度信息，我们把训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图分为密集的网格，在网格中提取HOG，并将其用作对草图的低级特征表示，具体的，通过DPM(deformable part model)模型，由HOG滤波器和几个潜在的较高分辨率的局部部件滤波器检测出草图中戒指的整体位置和局部部件的位置(脾和爪)。
目标特征提取模块，用于获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；
特征分数计算模块，用于将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
钻戒样式确定模块，用于根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式，具体用于：所述分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
在具体方案中，目标钻戒三视草图的整体HOG特征分数集合中分数最高表示该区域存在戒指的概率越大，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和脾分类器、爪分类器得到目标钻戒的脾、爪具体样式。
本实施方式通过对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图，提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板，获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征，将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合，根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式，如此，本发明提出的基于结构部件的识别检测方法，不仅针对于钻戒整体进行分析和检索，同时支持钻戒局部部件的分析和检测，提高钻戒检索的性能和细节精准度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于草图的珠宝检索方法，其特征在于，包括：
S1、对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图；
S2、提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
S3、获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；
S4、将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
S5、根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式。
2.根据权利要求1所述的基于草图的珠宝检索方法，其特征在于，步骤S1中，具体包括：
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图。
3.根据权利要求1所述的基于草图的珠宝检索方法，其特征在于，步骤S2，具体包括：
将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；
将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；
综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
优选地，步骤S2中，所述在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括：通过随机梯度下降法对卷积模板进行优化。
4.根据权利要求1所述的基于草图的珠宝检索方法，其特征在于，步骤S5中，所述预设分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
5.根据权利要求1所述的基于草图的珠宝检索方法，其特征在于，步骤S1中，所述训练钻戒三视草图，具体包括：训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
6.一种基于草图的珠宝检索系统，其特征在于，包括：
预处理模块，用于对训练钻戒三视草图进行整体预处理和局部细粒度预处理，得到训练钻戒整体预处理三视草图和训练钻戒局部细粒度预处理三视草图；
卷积模板建立模块，用于提取训练钻戒整体预处理三视草图的整体HOG特征，提取训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征，综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
目标特征提取模块，用于获取目标钻戒三视草图，并提取目标钻戒三视草图的整体HOG特征和局部细粒度HOG特征；
特征分数计算模块，用于将目标钻戒三视草图的整体HOG特征和目标钻戒三视草图的局部细粒度HOG特征与卷积模板进行卷积，得到目标钻戒三视草图的整体HOG特征分数集合和目标钻戒三视草图的局部细粒度HOG特征分数集合；
钻戒样式确定模块，用于根据目标钻戒三视草图的整体HOG特征分数集合中最高分数得到目标钻戒的整体样式，综合目标钻戒三视草图的局部细粒度HOG特征分数集合中最高分数和预设分类器得到目标钻戒的局部样式。
7.根据权利要求6所述的基于草图的珠宝检索系统，其特征在于，所述预处理模块，具体用于：
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×256像素，得到n张训练钻戒整体预处理三视草图；
将训练钻戒三视草图边界框的高度缩小到预设像素值，将训练钻戒三视草图缩放到128×64像素，得到n张训练钻戒局部细粒度预处理三视草图。
8.根据权利要求6所述的基于草图的珠宝检索系统，其特征在于，所述卷积模板建立模块，具体用于：
将训练钻戒整体预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒整体预处理三视草图的整体HOG特征；
将训练钻戒局部细粒度预处理三视草图划分为16×16的网格，在每个网格上提取HOG特征，得到4068维度的HOG特征描述符，再通过降维算法将HOG特征描述符尺寸降低到250维度，得到训练钻戒局部细粒度预处理三视草图的局部细粒度HOG特征；
综合所述整体HOG特征和局部细粒度HOG特征建立卷积模板；
优选地，所述卷积模板建立模块，还用于：在综合整体HOG特征和局部细粒度HOG特征建立卷积模板之后，还包括通过随机梯度下降法对卷积模板进行优化。
9.根据权利要求6所述的基于草图的珠宝检索系统，其特征在于，所述钻戒样式确定模块，具体用于：所述分类器至少包括脾分类器和爪分类器；所述目标钻戒的局部样式至少包括脾和爪。
10.根据权利要求6所述的基于草图的珠宝检索系统，其特征在于，所述预处理模块，具体用于：所述训练钻戒三视草图包括训练钻戒侧视草图、训练钻戒正视草图和训练钻戒俯视草图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711111056.4A CN108154155A (zh) | 2017-11-13 | 2017-11-13 | 一种基于草图的珠宝检索方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711111056.4A CN108154155A (zh) | 2017-11-13 | 2017-11-13 | 一种基于草图的珠宝检索方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108154155A true CN108154155A (zh) | 2018-06-12 |
Family
ID=62468820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711111056.4A Pending CN108154155A (zh) | 2017-11-13 | 2017-11-13 | 一种基于草图的珠宝检索方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154155A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580302A (zh) * | 2019-08-13 | 2019-12-17 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236717A (zh) * | 2011-07-13 | 2011-11-09 | 清华大学 | 一种基于草图特征提取的图像检索方法 |
| CN104200240A (zh) * | 2014-09-24 | 2014-12-10 | 梁爽 | 一种基于内容自适应哈希编码的草图检索方法 |
| CN106484692A (zh) * | 2015-08-25 | 2017-03-08 | 北京师范大学 | 一种三维模型检索方法 |
| WO2017168125A1 (en) * | 2016-03-31 | 2017-10-05 | Queen Mary University Of London | Sketch based search methods |
-
2017
- 2017-11-13 CN CN201711111056.4A patent/CN108154155A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236717A (zh) * | 2011-07-13 | 2011-11-09 | 清华大学 | 一种基于草图特征提取的图像检索方法 |
| CN104200240A (zh) * | 2014-09-24 | 2014-12-10 | 梁爽 | 一种基于内容自适应哈希编码的草图检索方法 |
| CN106484692A (zh) * | 2015-08-25 | 2017-03-08 | 北京师范大学 | 一种三维模型检索方法 |
| WO2017168125A1 (en) * | 2016-03-31 | 2017-10-05 | Queen Mary University Of London | Sketch based search methods |
Non-Patent Citations (1)
| Title |
|---|
| KE LI ET AL.: "Fine-Grained Sketch-Based Image Retrieval: The Role of Part-Aware Attributes", 《2016 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580302A (zh) * | 2019-08-13 | 2019-12-17 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
| CN110580302B (zh) * | 2019-08-13 | 2022-12-02 | 天津大学 | 一种基于半异构联合嵌入网络的草图图像检索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | Text string detection from natural scenes by structure-based partition and grouping | |
| Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
| Ezaki et al. | Text detection from natural scene images: towards a system for visually impaired persons | |
| US8452108B2 (en) | Systems and methods for image recognition using graph-based pattern matching | |
| CN108304873A (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| CN102122390A (zh) | 基于深度图像进行人体检测的方法 | |
| CN114565675B (zh) | 一种在视觉slam前端去除动态特征点的方法 | |
| KR101449744B1 (ko) | 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법 | |
| CN106096612A (zh) | 实蝇图像识别系统及方法 | |
| CN105825228B (zh) | 图像识别方法及装置 | |
| Afakh et al. | Aksara jawa text detection in scene images using convolutional neural network | |
| Lee et al. | Automatic recognition of flower species in the natural environment | |
| CN105404885A (zh) | 一种二维字符图形验证码复杂背景噪音干扰去除方法 | |
| Anders et al. | Rule set transferability for object-based feature extraction: an example for cirque mapping | |
| CN112802049A (zh) | 一种家庭物品检测数据集构建方法及系统 | |
| CN103377379A (zh) | 文本检测设备、文本信息提取系统及其方法 | |
| Kesiman et al. | Southeast Asian palm leaf manuscript images: a review of handwritten text line segmentation methods and new challenges | |
| CN115862113A (zh) | 陌生人异常识别方法、装置、设备及存储介质 | |
| Ong et al. | Using k-nearest neighbor in optical character recognition | |
| JP7118622B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| CN108154155A (zh) | 一种基于草图的珠宝检索方法和系统 | |
| CN109741351A (zh) | 一种基于深度学习的类别敏感型边缘检测方法 | |
| CN104573663B (zh) | 一种基于鉴别性笔画库的英文场景文字识别方法 | |
| Ye et al. | Reading labels of cylinder objects for blind persons | |
| Govindaraju et al. | Newspaper image understanding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210119 Address after: Room 902, 9 / F, building F, Tianhe Software Park, Tianhe District, Guangzhou 510000 Applicant after: GUANGDONG 3VJIA INFORMATION TECHNOLOGY Co.,Ltd. Address before: 230000 A-3 / F, innovation industrial park, 800 Wangjiang West Road, high tech Zone, Hefei City, Anhui Province Applicant before: HEFEI ABACI SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180612 |
|
| WD01 | Invention patent application deemed withdrawn after publication |