CN112767348B - 一种检测信息的确定方法和装置 - Google Patents
一种检测信息的确定方法和装置 Download PDFInfo
- Publication number
- CN112767348B CN112767348B CN202110062584.5A CN202110062584A CN112767348B CN 112767348 B CN112767348 B CN 112767348B CN 202110062584 A CN202110062584 A CN 202110062584A CN 112767348 B CN112767348 B CN 112767348B
- Authority
- CN
- China
- Prior art keywords
- key point
- target
- picture
- determining
- distance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007689 inspection Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种检测信息的确定方法和装置,其中,该方法包括:获取参考图片的第一参考关键点的参考关键点信息,其中,参考图片为参考设备的图片;基于参考关键点信息确定目标图片中是否存在目标关键点,其中,目标关键点为与第一参考关键点满足目标对应关系的点,目标关键点唯一对应第一参考关键点,目标图片为待检测的目标设备的图片,目标设备与参考设备为相同型号的设备;基于确定结果确定目标设备的检测信息。本申请解决了确定目标图片中的目标关键点的效率较低的技术问题。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种检测信息的确定方法和装置。
背景技术
在工业场景中,某产品可能由若干个零部件组装得到的,当一个产品组装完成后,需要对组装的产品进行质检,以确保每个零部件是否安装完毕,相关技术中采用人工质检的方式确保每个产品的零部件安装齐全,这种方式可对包含零部件较少的产品较为适用,但当产品包含的零部件较多时,采用人工质检方式的质检速度会很慢且质检的准确率较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供了一种检测信息的确定方法和装置,以至少解决相关技术中确定目标图片中的目标关键点的效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种检测信息的确定方法和装置方法,包括:获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;基于确定结果确定所述目标设备的检测信息。
可选地,基于所述参考关键点信息确定所述目标图片中是否存在所述目标关键点包括:获取所述目标图片的第一关键点的第一关键点信息;基于所述第一关键点信息以及所述参考关键点信息在所述第一关键点中确定多个第二关键点,其中,所述第二关键点为与所述第一参考关键点的距离满足第一目标条件的所述第一关键点;在多个所述第二关键点中确定是否存在所述目标关键点。
可选地,在多个所述第二关键点中确定是否存在所述目标对应关系的所述目标关键点包括:检测多个所述第二关键点中是否存在第三关键点,其中,所述第三关键的第一距离值与所述第四关键点的第二距离值的比值小于设定阈值,第一距离值为所述第三关键点与所述参考关键点之间的距离值,所述第二距离值为第四关键点与所述参考关键点之间的距离值,所述第四关键点为多个所述第二关键点中出所述第三关键点以外的关键点;在所述第二关键点中存在所述第三关键点的情况下,确定所述第一参考关键点与所述第三关键点为第一候选匹配对;检测所述参考图片的第二参考关键点对应的第二候选匹配对中是否存在所述第三关键点,以得到检测结果,其中,所述第二参考关键点为所述参考图片中除所述第一参考关键点之外的关键点;在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中不存在所述第三关键点的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
可选地,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之后,所述方法还包括:在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中存在所述第三关键点的情况下,获取所述第二候选匹配对中的所述第三关键点与所述第二参考关键点之间的第三距离值;在所述第一距离值小于所述第三距离值的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
可选地,检测多个所述第二关键点中是否存在所述第三关键点之后,所述方法还包括:在所述第二关键点中不存在一个所述第三关键点的情况下,确定所述第二关键点中不存在所述目标关键点。
可选地,基于所述确定结果确定所述目标设备的检信息包括:在确定所述目标图片中存在所述目标关键点的情况下,生成第一检测信息;在确定所述目标图片中不存在所述目标关键点的情况下,生成第二检测信息。
可选地,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之前,所述方法还包括以下至少之一:获取所述目标图片中所述第一关键点之间的第四距离值和所述参考图片中的初始关键点之间的第五距离值,其中,所述初始关键点为所述参考图片中包含的关键点;基于所述第五距离使用聚类算法对所述第四距离值进行聚类,以得到所述第四距离值中未被聚类的所述第五距离值,删除所述第五距离值所对应的所述第一关键点;获取所述第一候选匹配对的匹配线的匹配线斜率;使用目标聚类算法对所述匹配线斜率进行聚类,以得到未被聚类的目标匹配线;删除所述目标匹配线对应的所述第三关键点;基于RANSAC算法对所述第一候选匹配对进行目标筛选,以得到筛选后的目标匹配对,删除所述目标匹配对中的所述第三关键点。
根据本申请实施例的另一方面,还提供了一种检测信息的确定装置,包括:第一获取模块,用于获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;第一确定模块,用于基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;第二确定模块,用于基于确定结果确定所述目标设备的检测信息。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本申请实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本申请实施例中,采用获取参考图片的第一参考关键点的参考关键点信息,其中,参考图片为参考设备的图片;基于参考关键点信息确定目标图片中是否存在目标关键点,其中,目标关键点为与第一参考关键点满足目标对应关系的点,目标关键点唯一对应第一参考关键点,目标图片为待检测的目标设备的图片,目标设备与参考设备为相同型号的设备;基于确定结果确定目标设备的检测信息的方式,通过将参考设备的参考图片作为样本,比对参考图片与待检测的目标图片在参考关键点处是否存在对应的目标关键点,确定出的目标关键点唯一对应一个参考图像中的参考关键点,进而得到目标设备的检测信息,从而实现根据参考设备的参考图片高效快速的确定目标设备的目标图片中是否包含目标关键点,相对于相关技术中的通过手动对比的方式确定目标图片中是否存在目标关键点的方式,采用本发明实施例可达到快速确定目标图片中的目标关键点的目的,从而实现了提高确定目标图片中的目标关键点的效率的技术效果,进而解决了确定目标图片中的目标关键点的效率较低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的检测信息的确定方法的硬件环境的示意图;
图2是根据本申请实施例的一种可选的检测信息的确定方法的流程图;
图3是根据本申请实施例的一种可选的获取参考图片的流程图;
图4是根据本申请实施例的一种可选的零件检测的流程图;
图5是根据本申请实施例的一种可选的检测信息的确定装置的示意图;
图6是根据本申请实施例的一种电子装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一方面,提供了一种检测信息的确定方法实施例。
可选地,在本实施例中,上述检测信息的确定方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。图1是根据本申请实施例的检测信息的确定方法的硬件环境的示意图,如图1所示,服务器103通过网络与终端101进行连接,可用于为终端或终端上安装的客户端提供服务(如关键点匹配服务、匹配筛选服务等),可在服务器上或独立于服务器设置数据库,用于为服务器103提供数据存储服务,上述网络包括但不限于:广域网、城域网或局域网,终端101并不限定于PC、手机、平板电脑等。本申请实施例的检测信息的确定方法可以由服务器103来执行,也可以由终端101来执行,还可以是由服务器103和终端101共同执行。其中,终端101执行本申请实施例的检测信息的确定方法也可以是由安装在其上的客户端来执行。
图2是根据本申请实施例的一种可选的检测信息的确定方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;
步骤S204,基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;
步骤S206,基于确定结果确定所述目标设备的检测信息。
通过上述步骤S202至步骤S206,通过将参考设备的参考图片作为样本,比对参考图片与待检测的目标图片在参考关键点处是否存在对应的目标关键点,确定出的目标关键点唯一对应一个参考图像中的参考关键点,进而得到目标设备的检测信息,从而实现根据参考设备的参考图片高效快速的确定目标设备的目标图片中是否包含目标关键点,相对于相关技术中的通过手动对比的方式确定目标图片中是否存在目标关键点的方式,采用本发明实施例可达到快速确定目标图片中的目标关键点的目的,从而实现了提高确定目标图片中的目标关键点的效率的技术效果,进而解决了确定目标图片中的目标关键点的效率较低的技术问题。
在步骤S202提供的技术方案中,参考图片可以是使用摄像设备拍摄的参考设备的图片。
可选地,在本实施例中,第一参考关键点可以是使用标识对图片中关键点所在的位置(即x,y坐标)进行标记的得到的。
可选地,在本实施例中,参考关键点信息可以但不限于包括参考关键点位置信息、关键点角度、关键点对应的向量等等。
可选地,在本实施例中,获取参考关键点信息的方法可以但不限于包括使用sift、surf等算法对图片提取得到的,或者还可以是获取的标注好的参考图片的关键点信息。
在步骤S204提供的技术方案中,目标图片可以是通过使用相同的拍摄装置,在相对固定的角度、固定的距离对目标设备进行拍摄得到的。
可选地,在本实施例中,目标图片中目标关键点的数量可以是1个、2个、5个、10个等等,本方案对此不作限定。
在步骤S206提供的技术方案中,确定结果可以但不限于通过目标图片中的目标关键点的坐标信息、目标图片中缺失的目标关键点的坐标信息、缺失的目标关键点的属性信息等等。
作为一种可选的实施例,基于所述参考关键点信息确定所述目标图片中是否存在所述目标关键点包括:
S11,获取所述目标图片的第一关键点的第一关键点信息;
S12,基于所述第一关键点信息以及所述参考关键点信息在所述第一关键点中确定多个第二关键点,其中,所述第二关键点为与所述第一参考关键点的距离满足第一目标条件的所述第一关键点;
S13,在多个所述第二关键点中确定是否存在所述目标关键点。
可选地,在本实施例中,获取第一关键点信息可以但不限于与包括关键点的位置信息、关键点角度信息、关键点对应的向量信息等等。
可选地,在本实施例中,获取第一关键点信息的方法可以但不限于包括使用具有关键点提取功能的算法模型、训练好的神经网络模型等对目标图片进行提取,比如使用sift算法、surf算法等对目标图片中的关键点进行提取,从而得到该关键点在该目标图片上的坐标位置、关键点角度、关键点对应的向量等等。
可选地,在本实施例中,第二关键点的数量可以为2个、3个、5个等等。
可选地,在本实施例中,第一目标条件可以但不限于包括关键点之间的距离大于设定阈值、第一关键点中与第一参考关键点距离最近的几个关键点等等。
作为一种可选的实施例,在多个所述第二关键点中确定是否存在所述目标对应关系的所述目标关键点包括:
S21,检测多个所述第二关键点中是否存在第三关键点,其中,所述第三关键的第一距离值与所述第四关键点的第二距离值的比值小于设定阈值,第一距离值为所述第三关键点与所述参考关键点之间的距离值,所述第二距离值为第四关键点与所述参考关键点之间的距离值,所述第四关键点为多个所述第二关键点中出所述第三关键点以外的关键点;
S22,在所述第二关键点中存在所述第三关键点的情况下,确定所述第一参考关键点与所述第三关键点为第一候选匹配对;
S23,检测所述参考图片的第二参考关键点对应的第二候选匹配对中是否存在所述第三关键点,以得到检测结果,其中,所述第二参考关键点为所述参考图片中除所述第一参考关键点之外的关键点;
S24,在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中不存在所述第三关键点的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
可选地,在本实施例中,设定阈值可以是大于0小于1的常数。
通过以上步骤,当确定一个参考关键点和目标图片中的第三关键点建立候选匹配对时,检测其他参考关键点的候选匹配对中是否包含第三关键点,从而使得一个第三关键点仅对应一个目标关键点,从而提高确定出的目标关键点的准确率。
作为一种可选的实施例,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之后,所述方法还包括:
S31,在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中存在所述第三关键点的情况下,获取所述第二候选匹配对中的所述第三关键点与所述第二参考关键点之间的第三距离值;
S32,在所述第一距离值小于所述第三距离值的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
通过以上步骤,当第三关键点分别与第二参考关键点以及所述第一参考关键点建立连接关系时,通过比对第三关键点与第一参考关键点以及第二参考关键点之间的大小,将第三关键点确定为距离值最小的参考关键点的目标关键点,从而去除了匹配过程中第三关键点重复匹配参考关键点的情况,从而提高匹配的准确率。
作为一种可选的实施例,检测多个所述第二关键点中是否存在所述第三关键点之后,所述方法还包括:
S41,在所述第二关键点中不存在一个所述第三关键点的情况下,确定所述第二关键点中不存在所述目标关键点。
作为一种可选的实施例,基于所述确定结果确定所述目标设备的检信息包括:
S51,在确定所述目标图片中存在所述目标关键点的情况下,生成第一检测信息;
S52,在确定所述目标图片中不存在所述目标关键点的情况下,生成第二检测信息。
可选地,在本实施例中,第一检测信息可以但不限于包括目标关键点对应的参考关键点的属性信息、位置信息等等。
可选地,在本实施例中,第二检测信息可以但不限于包括缺失的目标关键点的属性信息、位置信息等等。
可选地,在本实施例中,第一检测信息、第二检测信息可以以文本的形式存在,也可以以在一张目标图片上以高亮显示的形式存在。
作为一种可选的实施例,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之前,所述方法还包括以下至少之一:
S61,获取所述目标图片中所述第一关键点之间的第四距离值和所述参考图片中的初始关键点之间的第五距离值,其中,所述初始关键点为所述参考图片中包含的关键点;基于所述第五距离使用聚类算法对所述第四距离值进行聚类,以得到所述第四距离值中未被聚类的所述第五距离值,删除所述第五距离值所对应的所述第一关键点;
S62,获取所述第一候选匹配对的匹配线的匹配线斜率;使用目标聚类算法对所述匹配线斜率进行聚类,以得到未被聚类的目标匹配线;删除所述目标匹配线对应的所述第三关键点;
S63,基于RANSAC算法对所述第一候选匹配对进行目标筛选,以得到筛选后的目标匹配对,删除所述目标匹配对中的所述第三关键点。
图3是根据本申请实施例的一种可选的获取参考图片的流程图,如图3所示:
S301,将一个安装好全部零件的主板作为样本,在相对固定的位置,相对固定的角度在相对固定的角度拍摄主板图片。
S302,将主板图片中零件所在的位置作为参考关键点,使用已有的关键点标记模型在主板图片中标记各个参考关键点,已得到参考图片。
S303,使用sift、surf等关键点算法提取主板图片中参考关键点的参考关键点信息。
S304,将标记好关键点的参考图片以及对应的参考关键点信息进行对应存储。
图4是根据本申请实施例的一种可选的零件检测的流程图,如图4所示:
S401,使用拍摄设备拍摄待检测主板,得到测试图片,其中拍摄设备与主板之间的距离、角度、相对位置关系等与获取参考图片时大致相似。
S402,使用关键点提取算法提取测试图片中的目标关键点信息t_point_1,t_point_2,…,t_point_m。
S403,在数据库中获取参考图片,对参考图片中的参考关键点信息进行提取得到参考关键点point_1,point_2,…,point_n。
S404,使用参考图片中的参考关键点与测试图片中的目标关键点做匹配,通过计算关键点两两之间的距离作为关键点是否匹配的依据(比如通过匹配关键点的特征实现关键点匹配),对于每个关键点,保留与其距离最近的三个关键点的匹配结果。
S405,从关键点匹配算法中得到的所有的匹配对中筛选得到正确的匹配对,比如,在步骤S404中得到的结果为与point_1距离最近的三个点是t_point_1,t_point_2,t_point_3,与point_2距离最近的三个点是t_point_1,t_point_3,t_point_4。而且计算得到的距离分别为distance(1,t1),…,distance(2,t4),其中distance(1,t1)表示point_1与t_point_t1的距离。如果distance(1,t1)<ratio*distance(1,t2),那么point_1和t_point_1是可靠匹配对,否则point_1和t_point_1不是可靠匹配对,如果distance(2,t1)<ratio*distance(1,t3),那么point_2和t_point_1是可靠匹配对,否则point_2和t_point_1不是可靠匹配对(其中ratio是一个认为设定的大于0小于1的常数)。对可靠匹配度进行去重操作,如果distance(1,t1)<ratio*distance(1,t2)那么point_1和t_point_1是候选可靠匹配对,如果distance(2,t1)<ratio*distance(2,t3)那么point_2和t_point_1是候选可靠匹配对,这时候point_1和t_point_1已经是候选可靠匹配对,就再对比distance(1,t1)和distance(2,t1)的大小,如果distance(1,t1)<=distance(2,t1),那么point_2和t_point_1不再是候选匹配对否则point_1和t_point_1不再是候选匹配对,确保t_point_1对应的候选匹配对只有一个。一直到计算完point_n对应的匹配对。然后将所有的候选可靠匹配对确定为可靠匹配对。
S406,基于上述匹配结果输出对应的检测信息。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面,还提供了一种用于实施上述检测信息的确定方法的检测信息的确定装置。图5是根据本申请实施例的一种可选的检测信息的确定装置的示意图,如图检测信息的确定所示,该装置可以包括:
第一获取模块52,用于获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;
第一确定模块54,用于基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;
第二确定模块56,用于基于确定结果确定所述目标设备的检测信息。
需要说明的是,该实施例中的第一获取模块52可以用于执行本申请实施例中的步骤S202,该实施例中的第一确定模块54可以用于执行本申请实施例中的步骤S204,该实施例中的第二确定模块56可以用于执行本申请实施例中的步骤S206。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
通过上述模块,可以解决了确定目标图片中的目标关键点的效率较低的技术问题,进而达到提高确定目标图片中的目标关键点的效率的技术效果。
可选地,所述第一确定模块包括:获取单元,用于获取所述目标图片的第一关键点的第一关键点信息;第一确定单元,用于基于所述第一关键点信息以及所述参考关键点信息在所述第一关键点中确定多个第二关键点,其中,所述第二关键点为与所述第一参考关键点的距离满足第一目标条件的所述第一关键点;第二确定单元,用于在多个所述第二关键点中确定是否存在所述目标关键点。
可选地,所述第二确定单元用于:检测多个所述第二关键点中是否存在第三关键点,其中,所述第三关键的第一距离值与所述第四关键点的第二距离值的比值小于设定阈值,第一距离值为所述第三关键点与所述参考关键点之间的距离值,所述第二距离值为第四关键点与所述参考关键点之间的距离值,所述第四关键点为多个所述第二关键点中出所述第三关键点以外的关键点;在所述第二关键点中存在所述第三关键点的情况下,确定所述第一参考关键点与所述第三关键点为第一候选匹配对;检测所述参考图片的第二参考关键点对应的第二候选匹配对中是否存在所述第三关键点,以得到检测结果,其中,所述第二参考关键点为所述参考图片中除所述第一参考关键点之外的关键点;在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中不存在所述第三关键点的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
可选地,所述装置还包括:第二获取模块,用于检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之后,在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中存在所述第三关键点的情况下,获取所述第二候选匹配对中的所述第三关键点与所述第二参考关键点之间的第三距离值;第三确定模块,用于在所述第一距离值小于所述第三距离值的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
可选地,所述装置还包括:第四确定模块,用于检测多个所述第二关键点中是否存在所述第三关键点之后,在所述第二关键点中不存在一个所述第三关键点的情况下,确定所述第二关键点中不存在所述目标关键点。
可选地,所述第二确定模块包括:第一生成单元,用于在确定所述目标图片中存在所述目标关键点的情况下,生成第一检测信息;第二生成单元,用于在确定所述目标图片中不存在所述目标关键点的情况下,生成第二检测信息。
可选地,所述装置还包括以下至少之一:第以处理模块,用于检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之前,获取所述目标图片中所述第一关键点之间的第四距离值和所述参考图片中的初始关键点之间的第五距离值,其中,所述初始关键点为所述参考图片中包含的关键点;基于所述第五距离使用聚类算法对所述第四距离值进行聚类,以得到所述第四距离值中未被聚类的所述第五距离值,删除所述第五距离值所对应的所述第一关键点;第二处理模块,用于获取所述第一候选匹配对的匹配线的匹配线斜率;使用目标聚类算法对所述匹配线斜率进行聚类,以得到未被聚类的目标匹配线;删除所述目标匹配线对应的所述第三关键点;第三处理模块,用于基于RANSAC算法对所述第一候选匹配对进行目标筛选,以得到筛选后的目标匹配对,删除所述目标匹配对中的所述第三关键点。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的另一个方面,还提供了一种用于实施上述检测信息的确定方法的电子装置。
图6是根据本申请实施例的一种电子装置的结构框图,如图6所示,该电子装置可以包括:一个或多个(图中仅示出一个)处理器601、存储器603、以及传输装置605,如图6所示,该电子装置还可以包括输入输出设备607。
其中,存储器603可用于存储软件程序以及模块,如本申请实施例中的检测信息的确定方法和装置对应的程序指令/模块,处理器601通过运行存储在存储器603内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的检测信息的确定方法。存储器603可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器603可进一步包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至电子装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置605用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置605包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置605为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器603用于存储应用程序。
处理器601可以通过传输装置605调用存储器603存储的应用程序,以执行下述步骤:获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;基于确定结果确定所述目标设备的检测信息。
采用本申请实施例,提供了一种检测信息的确定方法和装置的方案。通过将参考设备的参考图片作为样本,比对参考图片与待检测的目标图片在参考关键点处是否存在对应的目标关键点,确定出的目标关键点唯一对应一个参考图像中的参考关键点,进而得到目标设备的检测信息,从而实现根据参考设备的参考图片高效快速的确定目标设备的目标图片中是否包含目标关键点,相对于相关技术中的通过手动对比的方式确定目标图片中是否存在目标关键点的方式,采用本发明实施例可达到快速确定目标图片中的目标关键点的目的,从而实现了提高确定目标图片中的目标关键点的效率的技术效果,进而解决了确定目标图片中的目标关键点的效率较低的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图6所示的结构仅为示意,电子装置可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等电子设备。图6其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图6所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行检测信息的确定方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;基于确定结果确定所述目标设备的检测信息。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种检测信息的确定方法,其特征在于,包括:
获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;
基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;
基于确定结果确定所述目标设备的检测信息;
基于所述参考关键点信息确定所述目标图片中是否存在所述目标关键点包括:
获取所述目标图片的第一关键点的第一关键点信息,其中,所述第一关键点用于指示所述目标图片中的零件;
基于所述第一关键点信息以及所述参考关键点信息在所述第一关键点中确定多个第二关键点,其中,所述第二关键点为与所述第一参考关键点的距离满足第一目标条件的所述第一关键点;
在多个所述第二关键点中确定是否存在所述目标关键点包括:对于任一个所述第一参考关键点,检测多个所述第二关键点中是否存在与所述第一参考关键点对应的第三关键点,其中,所述第三关键点的第一距离值与第四关键点的第二距离值的比值小于设定阈值,第一距离值为所述第三关键点与所述第一参考关键点之间的距离值,所述第二距离值为第四关键点与所述第一参考关键点之间的距离值,所述第四关键点为多个所述第二关键点中出除所述第三关键点以外的关键点;在所述第二关键点中存在所述第三关键点的情况下,确定所述第一参考关键点与所述第三关键点为第一候选匹配对;检测所述参考图片的第二参考关键点对应的第二候选匹配对中是否存在所述第三关键点,以得到检测结果,其中,确定出所述第二候选匹配对的方式与确定出所述第一候选匹配对的方式相同,所述第二参考关键点为所述参考图片中除所述第一参考关键点之外的关键点;在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中不存在所述第三关键点的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
2.根据权利要求1所述的方法,其特征在于,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之后,所述方法还包括:
在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中存在所述第三关键点的情况下,获取所述第二候选匹配对中的所述第三关键点与所述第二参考关键点之间的第三距离值;
在所述第一距离值小于所述第三距离值的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点。
3.根据权利要求1所述的方法,其特征在于,检测多个所述第二关键点中是否存在所述第三关键点之后,所述方法还包括:
在所述第二关键点中不存在一个所述第三关键点的情况下,确定所述第二关键点中不存在所述目标关键点。
4.根据权利要求1所述的方法,其特征在于,基于所述确定结果确定所述目标设备的检信息包括:
在确定所述目标图片中存在所述目标关键点的情况下,生成第一检测信息;
在确定所述目标图片中不存在所述目标关键点的情况下,生成第二检测信息。
5.根据权利要求1所述的方法,其特征在于,检测所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中是否存在所述第三关键点之前,所述方法还包括以下至少之一:
获取所述目标图片中所述第一关键点之间的第四距离值和所述参考图片中的初始关键点之间的第五距离值,其中,所述初始关键点为所述参考图片中包含的关键点;基于所述第五距离使用聚类算法对所述第四距离值进行聚类,以得到所述第四距离值中未被聚类的所述第五距离值,删除所述第五距离值所对应的所述第一关键点;
获取所述第一候选匹配对的匹配线的匹配线斜率;使用目标聚类算法对所述匹配线斜率进行聚类,以得到未被聚类的目标匹配线;删除所述目标匹配线对应的所述第三关键点;
基于RANSAC算法对所述第一候选匹配对进行目标筛选,以得到筛选后的目标匹配对,删除所述目标匹配对中的所述第三关键点。
6.一种检测信息的确定装置,其特征在于,包括:
第一获取模块,用于获取参考图片的第一参考关键点的参考关键点信息,其中,所述参考图片为参考设备的图片;
第一确定模块,用于基于所述参考关键点信息确定目标图片中是否存在目标关键点,其中,所述目标关键点为与所述第一参考关键点满足目标对应关系的点,所述目标关键点唯一对应所述第一参考关键点,所述目标图片为待检测的目标设备的图片,所述目标设备与所述参考设备为相同型号的设备;基于所述参考关键点信息确定所述目标图片中是否存在所述目标关键点包括:获取所述目标图片的第一关键点的第一关键点信息,其中,所述第一关键点用于指示所述目标图片中的零件;基于所述第一关键点信息以及所述参考关键点信息在所述第一关键点中确定多个第二关键点,其中,所述第二关键点为与所述第一参考关键点的距离满足第一目标条件的所述第一关键点;在多个所述第二关键点中确定是否存在所述目标关键点包括:对于任一个所述第一参考关键点,检测多个所述第二关键点中是否存在与所述第一参考关键点对应的第三关键点,其中,所述第三关键点的第一距离值与第四关键点的第二距离值的比值小于设定阈值,第一距离值为所述第三关键点与所述第一参考关键点之间的距离值,所述第二距离值为第四关键点与所述第一参考关键点之间的距离值,所述第四关键点为多个所述第二关键点中出除所述第三关键点以外的关键点;在所述第二关键点中存在所述第三关键点的情况下,确定所述第一参考关键点与所述第三关键点为第一候选匹配对;检测所述参考图片的第二参考关键点对应的第二候选匹配对中是否存在所述第三关键点,以得到检测结果,其中,确定出所述第二候选匹配对的方式与确定出所述第一候选匹配对的方式相同,所述第二参考关键点为所述参考图片中除所述第一参考关键点之外的关键点;在所述检测结果为所述参考图片的所述第二参考关键点对应的所述第二候选匹配对中不存在所述第三关键点的情况下,确定所述第三关键点为与所述参考关键点唯一对应的所述目标关键点;
第二确定模块,用于基于确定结果确定所述目标设备的检测信息。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5任一项中所述的方法。
8.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行上述权利要求1至5任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062584.5A CN112767348B (zh) | 2021-01-18 | 2021-01-18 | 一种检测信息的确定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062584.5A CN112767348B (zh) | 2021-01-18 | 2021-01-18 | 一种检测信息的确定方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767348A CN112767348A (zh) | 2021-05-07 |
CN112767348B true CN112767348B (zh) | 2023-11-24 |
Family
ID=75702753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110062584.5A Active CN112767348B (zh) | 2021-01-18 | 2021-01-18 | 一种检测信息的确定方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767348B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
CN109859213A (zh) * | 2019-01-28 | 2019-06-07 | 艾瑞迈迪科技石家庄有限公司 | 关节置换手术中骨骼关键点检测方法及装置 |
CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
CN110781765A (zh) * | 2019-09-30 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种人体姿态识别方法、装置、设备及存储介质 |
CN111126457A (zh) * | 2019-12-05 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 信息的获取方法和装置、存储介质和电子装置 |
CN111340701A (zh) * | 2020-02-24 | 2020-06-26 | 南京航空航天大学 | 一种基于聚类法筛选匹配点的电路板图像拼接方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI695324B (zh) * | 2017-02-15 | 2020-06-01 | 宏達國際電子股份有限公司 | 影像處理裝置及其方法 |
-
2021
- 2021-01-18 CN CN202110062584.5A patent/CN112767348B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
CN109859213A (zh) * | 2019-01-28 | 2019-06-07 | 艾瑞迈迪科技石家庄有限公司 | 关节置换手术中骨骼关键点检测方法及装置 |
CN110111418A (zh) * | 2019-05-15 | 2019-08-09 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
CN110781765A (zh) * | 2019-09-30 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种人体姿态识别方法、装置、设备及存储介质 |
CN111126457A (zh) * | 2019-12-05 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 信息的获取方法和装置、存储介质和电子装置 |
CN111340701A (zh) * | 2020-02-24 | 2020-06-26 | 南京航空航天大学 | 一种基于聚类法筛选匹配点的电路板图像拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112767348A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109753928B (zh) | 违章建筑物识别方法和装置 | |
JP6099793B2 (ja) | 1つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム | |
CN109492536B (zh) | 一种基于5g架构的人脸识别方法及系统 | |
US8463025B2 (en) | Distributed artificial intelligence services on a cell phone | |
CN108491794B (zh) | 面部识别的方法和装置 | |
CN112001274B (zh) | 人群密度确定方法、装置、存储介质和处理器 | |
CN110287772B (zh) | 平面手掌掌心区域提取方法及装置 | |
CN111565225B (zh) | 一种人物行动轨迹确定方法及装置 | |
CN110991231B (zh) | 活体检测方法、装置、服务器和人脸识别设备 | |
CN110751215B (zh) | 一种图像识别方法、装置、设备、系统及介质 | |
CN113255685B (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
CN111241868A (zh) | 一种人脸识别系统、方法及装置 | |
CN114612531B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP6035173B2 (ja) | 画像検索システム及び画像検索方法 | |
CN112132231B (zh) | 对象的识别方法和装置、存储介质及电子设备 | |
CN111177436A (zh) | 一种人脸特征检索方法、装置及设备 | |
CN111368128A (zh) | 目标图片的识别方法、装置和计算机可读存储介质 | |
CN113128278A (zh) | 一种图像识别方法及装置 | |
CN113159000B (zh) | 人脸识别方法、装置及系统 | |
CN112767348B (zh) | 一种检测信息的确定方法和装置 | |
CN108764206B (zh) | 目标图像识别方法和系统、计算机设备 | |
CN111581487B (zh) | 一种信息处理方法及装置 | |
CN111898529B (zh) | 脸部检测方法、装置、电子设备和计算机可读介质 | |
CN113536129A (zh) | 服务推送方法及相关产品 | |
CN113673449A (zh) | 一种数据存储方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |