[go: up one dir, main page]

CN101576506B - 微珠自动识别方法和微珠 - Google Patents

微珠自动识别方法和微珠 Download PDF

Info

Publication number
CN101576506B
CN101576506B CN2009101404340A CN200910140434A CN101576506B CN 101576506 B CN101576506 B CN 101576506B CN 2009101404340 A CN2009101404340 A CN 2009101404340A CN 200910140434 A CN200910140434 A CN 200910140434A CN 101576506 B CN101576506 B CN 101576506B
Authority
CN
China
Prior art keywords
microballon
circular surface
reference point
image
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101404340A
Other languages
English (en)
Other versions
CN101576506A (zh
Inventor
岸井典之
市村真理
町田贤三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101576506A publication Critical patent/CN101576506A/zh
Application granted granted Critical
Publication of CN101576506B publication Critical patent/CN101576506B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T428/00Stock material or miscellaneous articles
    • Y10T428/29Coated or structually defined flake, particle, cell, strand, strand portion, rod, filament, macroscopic fiber or mass thereof
    • Y10T428/2982Particulate matter [e.g., sphere, flake, etc.]
    • Y10T428/2991Coated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了微珠自动识别方法和微珠。一种微珠自动识别方法,包括以下步骤:获取圆柱形微珠的圆形表面的图像,所述圆柱形微珠具有产生在所述圆形表面上的识别图案和同样产生在所述圆形表面上的多个基准点;以及基于所述基准点的位置,从所获取的图像获取关于所述圆柱形微珠的后/前和/或定向的信息。

Description

微珠自动识别方法和微珠
技术领域
本发明一般地涉及微珠(microbead)自动识别方法和在微珠自动识别方法中使用的微珠。更具体地,本发明涉及在读取在微珠上产生的识别图案(recognition pattern)的操作中,基于同样在微珠上产生的多个基准点的位置来获取关于微珠的后/前(rear/front)和/或定向(orientation)的信息的微珠自动识别方法,并且涉及在微珠自动识别方法中使用的微珠。 
背景技术
在过去对诸如核酸或蛋白质之类的分析对象执行的生化分析中,使用被称作微珠的粒子态载体。在过去例如对核酸执行的生化分析中,使用将探针核酸链(probe nucleic-acid chain)固化在微珠表面上的微珠,并且基于具有与目标核酸链互补的基本阵列的探针核酸链与目标核酸链探针之间的交互作用,来分离目标核酸链。另一方面,在过去对蛋白质执行的生化分析中,使用用作针对目标蛋白质的抗体的、将抗体固化在微珠表面上的的微珠,来以如下的方式分离目标蛋白质,该方式与过去对核酸执行生化分析的方式相同。 
近年来,在利用这些微珠的生化分析中,需要甚至更高的吞吐量。响应于该需求,开发了用于提高分析速度的技术。 
例如,日本专利No.3468750(此后称作专利文献1)中描述的权利要求23记载了:“一种在样本中的多个分析物之中检测通过分析物的分析反应物而识别出的分析物的方法,包括以下步骤: 
(a):使多组荧光粒子与所述样本接触,所述荧光粒子的每个在其表面上至少具有一个纳米粒子,并且所述荧光粒子的每个通过其荧光染料被标记,其中所述组包括每个都具有随组的不同而不同的荧光信号和同样随组的不同而不同的分析反应物的荧光粒子,并且所述分析反应物特别地链接 到所述样本中的一种分析物; 
(b):将所述样本添加到标记试剂; 
(c):通过检测所述标记来分析示出所述分析反应物被特别地链接到所述样本中的一种分析物的所述荧光粒子;并且同时, 
(d):从与所述组中的一个组相关联的所述变化的荧光信号的功能来确定链接到其各自的分析物的所述荧光粒子的组。” 
根据由Luminex公司基于上述技术而提出的悬浮阵列(SuspensionArray)技术,通过改变发光颜色来用两种荧光颜料标记微珠,从而使得可以识别至多100种微珠。根据悬浮阵列技术,通过将专用于微珠的探针核酸链和专用于微珠的抗体固化到100种不同类型的微珠上,在一次分析中,可以分离并检测100种不同类型的核酸以及100种不同类型的蛋白质。 
在专利文献1所描述的权利要求25中记载了:“所述荧光粒子的每个组还通过其大小和形状被确定”。此外,专利文献1第0037段记载了大小和形状的每个可以用作对微珠进行识别的附加参数。与此相关的,“Multifunctional encoded particles for high-throughput bio-moleculeanalysis”,Science 2007,Vol.315,No.5,817,p.1,393-6(此后称作非专利文献1)公开了一种通过在流程上采用平板印刷技术来产生多个形状彼此不同的微珠的方法。根据该方法,能够产生超出1,000,000种形状的极大量形状的微珠。 
发明内容
上述非专利文献1公开了这样的方法,其用于在令微珠流过流程并将微珠定向在适当方向上后,通过在流程上的识别图案检测部件处读取在微珠上产生的识别图案来对微珠进行识别。 
然而,根据该方法,为了使微珠通过流程上的识别图案检测部件,要花费大约(1/4)秒的时间。因此,为了识别例如1,000,000种不同类型的微珠,要花费250,000秒(或者大约70个小时)。 
从以上给出的描述显然可以看出,读取在微珠上产生的识别图案的操 作的速度可能成为决定利用极大量种类的微珠的生化分析的效率的重要因素。 
为了解决上述问题,本发明发明了一种能够高速识别在微珠上产生的识别图案的微珠自动识别方法。 
为了解决上述问题,根据本发明的实施例,提供了一种微珠自动识别方法,该方法包括以下步骤:获取圆柱形微珠的圆形表面的图像,该圆柱形微珠具有产生在圆形表面上的识别图案和同样产生在圆形表面上的多个基准点;以及基于基准点的位置,从所获取的图像获取关于该圆柱形微珠的后/前和/或定向的信息。 
微珠自动识别方法还包括通过基于该信息旋转用于检测识别图案的栅格(lattice)来执行图案匹配处理的步骤,该图案匹配处理判断图像中的识别图案是否与栅格相匹配。 
通过基于基准点定位在圆形表面上的位置获取关于圆柱形微珠的后/前和/或定向的信息,并且通过执行判断识别图案是否与栅格相匹配的图案匹配处理,可以通过仅执行少量操作来检测识别图案。 
根据微珠自动识别方法,两个基准点被分别定位在两个同心圆的圆周上,这两个同心圆与圆形表面共用公共圆心并且彼此直径不同。此外,两个基准点不应被共同定位在穿过公共圆心的直线上。 
此外,根据本发明实施例的圆柱形微珠被配置为具有圆形表面,识别图案和多个基准点被产生在圆形表面上。基于基准点的位置,从圆形表面的获取图像获得关于圆柱形微珠的后/前和/或定向的信息。 
此外,在根据本发明实施例的圆柱形微珠中: 
两个基准点被分别定位在两个同心圆的圆周上,这两个同心圆与圆形表面共用公共圆心并且彼此直径不同;并且 
两个基准点不应被共同定位在穿过公共圆心的直线上。 
在本发明中,在微珠上产生识别图案和每个基准点两者以具有预先确定的形式。可以通过利用诸如CCD(电荷耦合器件)相机或图像分析软件之类的一般的图像识别单元来检测识别图案和每个基准点两者。识别图案和每个基准点的形状和大小绝不被限制为预先描述的形状和大小。微珠的 识别图案具有预先确定的形状并且用于个别地识别微珠。在微珠具有彼此相同的识别图案的情况下,相同识别图案与任一特定微珠的基准点共同用于提供用以唯一地识别特定微珠的识别手段。 
根据本发明,可以高速识别在微珠上产生的识别图案。 
附图说明
图1A-1B是每个都示出根据本发明第一实施例的微珠的多个模型图; 
图2A-2C是每个都示出在微珠的顶部上的圆形表面上的码区域中产生的识别图案的顶视图的多个模型图;图2A是示出在微珠1A的顶部上的圆形表面上的码区域中产生的识别图案的顶视图的模型图,图2B是示出在微珠1B的顶部上的圆形表面上的码区域中产生的识别图案的顶视图的模型图,图2C是示出在微珠1C的顶部上的圆形表面上的码区域中产生的识别图案的顶视图的模型图; 
图3是将在对方法的描述中参考的说明性模型图,该方法用于检测码区域中产生的识别图案; 
图4是示出作为包括根据本发明第一实施例的两个基准点的位置的顶视图的、微珠的圆形表面的顶视图的模型图; 
图5是示出根据本发明第二实施例的微珠的顶视图的说明性模型图; 
图6示出表示用作对根据本发明第一实施例的微珠进行识别的方法的、由本发明实施例提供的微珠自动识别方法的过程的流程图; 
图7A-7F是在对图像识别处理的描述中参考的多个模型图,所述图像识别处理在图6所示的流程图的步骤S1到S6处被执行,并且所述流程图用作表示根据本发明第一实施例的微珠自动识别方法的过程的流程图; 
图8A-8D是在对图像识别处理的描述中参考的多个模型图,所述图像识别处理在图6所示的流程图的步骤S7到S11处被执行,并且所述流程图用作表示根据本发明第一实施例的微珠自动识别方法的过程的流程图; 
图9示出表示用作对根据本发明第二实施例的微珠进行识别的方法 的、由本发明实施例提供的微珠自动识别方法的过程的流程图;以及 
图10A-10D是在对图像识别处理的描述中参考的多个模型图,所述图像识别处理在图9所示的流程图的步骤S7到S11处被执行,并且所述流程图用作表示对根据本发明第二实施例的微珠进行识别的微珠自动识别方法的过程的流程图。 
具体实施方式
以下通过参考示图来描述本发明的优选实施例。应注意,以下描述的优选实施例仅是本发明的代表性实现方式,并且因此不应被解释为对本发明的限制。 
1:微珠 
(1)第一实施例的微珠 
图1是每个都示出根据本发明第一实施例的微珠的多个模型图。更具体的,图1A是示出微珠的顶视图的模型图而图1B是示出微珠的侧视图的模型图。 
在图1的模型图中,标号1表示被产生为具有圆柱形形状的微珠,如果从圆柱形微珠上方或下方的位置观察则其呈现为圆形。微珠1的圆形表面包括码区域11,在该码区域11中产生用于标识微珠1的识别图案。在码区域11之外的圆周部分上,形成两个基准点121和122。 
希望作为圆柱形微珠1的顶部上的圆形表面和其底部处的圆形表面都是精确的圆。然而,实际上并不需要圆柱形微珠1的顶部上的及其底部处的完全的圆形表面。也就是说,只要能够执行根据将在下文中进行描述的微珠自动识别方法的自动识别微珠1的处理,那么圆柱形微珠1的顶部上的及其底部处的近似的圆形表面就足够了。希望将微珠1产生为具有厚度d,该厚度d小于圆形表面的直径R然而并没有被指定。 
此外,在第一实施例中,码区域11和两个基准点121和122被设置在微珠1的顶部上的圆形表面上。然而,码区域11和两个基准点121和122可以被设置在微珠1的底部处的圆形表面上。也就是说,码区域11和两个基准点121和122可以被设置在微珠1的顶部上的圆形表面上或者其底 部处的圆形表面上。 
图2A到图2C是每个都示出在微珠1的顶部上的圆形表面上的码区域11中产生的识别图案的顶视图的多个模型图。 
在图2A到图2C的每个模型图中,微珠1A、1B和1C的码区域11中的多个黑圈的每个分别表示贯通孔(penetration hole)111之一,这些贯通孔分别从顶部圆形表面到底部圆形表面完全贯通微珠1A、1B和1C。可以在码区域11中的码矩阵的5行中的一行与码矩阵的5列中的一列的交叉点处的25个位置的任一个处产生贯通孔111。在微珠1的这样的位置上产生的贯通孔111用作用于识别微珠1的识别码。微珠1上的多个这样的贯通孔111形成所谓的用于识别微珠1的识别图案。也就是说,微珠1A的25个位置之中的贯通孔111的分布与微珠1B和1C的分布不同,并且微珠1B的分布和微珠1C的分布彼此不同。微珠1上的25个位置之中的贯通孔111的唯一分布形成微珠1特有的识别图案并且用于唯一地识别微珠1。 
更具体地,在图2A的模型图中所示出的微珠1A中,在25个位置中的9个位置处产生贯通孔111。在图2A的模型图中,黑圈表示产生了贯通孔111的位置而白圈表示没有产生贯通孔111的位置。 
在图2B的模型图中所示出的微珠1B中,通过相同的记号在25个位置中的9个位置处产生贯通孔111。然而,在图2B的模型图中所示出的微珠1B中的9个位置不同于在图2A的模型图中所示出的微珠1A中的9个位置。因此,基于产生贯通孔111的位置的不同,可以将微珠1A与微珠1B区分开来。 
此外,在图2C的模型图中所示出的微珠1C中,在25个位置中的10个位置处产生贯通孔111。因此,基于表示产生贯通孔111的位置的个数的位置计数的不同,可以将微珠1C与微珠1A和/或微珠1B区分开来。 
产生贯通孔111的位置的个数可以是在0到25的范围内的任一整数。可以在从25个位置中选出的任一任意位置处产生贯通孔111。因为微珠1中贯通孔111的位置以及贯通孔111的个数可以针对微珠1被任意确定,所以可以在微珠1的码区域11中产生微珠1特有的识别图案。通过利用用于检测随微珠的不同而不同的识别图案的图像识别手段,可以对多达2的 25次幂个不同微珠进行识别。 
图3是将在对方法(该方法用于检测码区域中产生的识别图案)的描述中参考的说明性模型图。该图示出作为微珠1的圆形表面的图像的、通过利用诸如CCD相机之类的普通摄像装置而拍摄到的图像。 
通过旋转用于检测识别图案的栅格,可以通过执行图案匹配处理来识别微珠1的圆形表面的拍摄图像中的识别图案,该图案匹配处理判断识别图案是否与栅格相匹配。在图3的说明性模型图中,用标号M来表示栅格。 
栅格M(此后也称作网格M)包括在与产生贯通孔111的位置相对应的点处彼此相交的栅格线。如果栅格(或网格)M被适当地放置在微珠1的圆形表面的图像上以叠盖(overlap)码区域11,那么网格M的每个交叉点与产生贯通孔111的位置相匹配。如上所述,产生贯通孔111的位置是25个位置中的一个。判断微珠1的识别图案是否与栅格M相匹配的图案匹配处理是这样的处理:其将网格M放置在微珠1的圆形表面的图像上以叠盖码区域11,并且针对每个交叉点判断贯通孔111是否存在于网格M的交叉点处。 
为了将网格M放置在微珠1的圆形表面的图像上以叠盖码区域11,必须根据图像上微珠1的定向来旋转网格M。例如在图3的说明性模型图中所示出的典型示例的情况下,微珠1的圆形表面的图像被视为这样的图像,其示出从Y轴倾斜了倾角θ的微珠1。在这种情况下,为了执行图案匹配处理,网格M的m轴在倾斜方向上被旋转与倾角θ相等的角度。 
为了高速识别识别图案,必须以尽可能少的操作执行计算微珠1的圆形表面的图像上的倾角θ的处理,以及在将网格M在码区域上旋转倾角θ的同时将网格M置于图像上以叠盖码区域11的处理。 
微珠1设有形成如下配置的基准点121和122,所述配置用于计算微珠1的圆形表面的图像上的倾角θ。 
图4是示出作为包括基准点121和122的位置的顶视图的、微珠1的圆形表面的顶视图的模型图。 
如上所述,同样如图1的示图所示,基准点121和122的每个被设置 在微珠1的圆形表面上的码区域11之外的部分上。基准点121和122的每个可以被设置在任一任意位置处,直到该位置在微珠1的圆形表面上的码区域11之外的部分中。然而,为了使对码区域11中的识别图案的识别容易,希望在圆形表面内码区域11以外的圆周区域中产生基准点121和122的每个。 
基准点121和122分别定位在两个同心圆的圆周上,这两个同心圆具有与圆形表面共用的相同公共圆心C然而彼此半径不同。更具体地,在图4的模型图中所示出的典型示例中,基准点121定位在以公共圆心C为圆心并且半径为r1的圆的弧上,而基准点122定位在同样以公共圆心C为圆心并且半径为与r1不同的r2(也就是,r1≠r2)的圆的弧上。 
此外,基准点121和122分别定位在存在于不穿过公共圆心C的直线上的两个位置处。也就是说,在图4的模型图中所示出的典型示例中,将基准点121和122彼此连接的直线并不穿过公共圆心C。应注意,基准点121和122的每个可以被产生为具有任一种任意形状和大小。 
(2)第二实施例的微珠 
图5是示出根据本发明第二实施例的微珠的顶视图的模型图。 
在图5的顶视模型图中,标号2表示根据第二实施例的微珠。根据第二实施例的微珠2与微珠1的不同之处在于,在微珠2的情况下,产生了三个基准点221、222和223。在其他方面,微珠2与微珠1类似。例如,整个微珠2的形状、微珠2的圆形表面的形状、圆形表面中所产生的码区域11以及码区域11中所产生的识别码都与微珠1的情况相同。 
微珠2上的基准点221、222和223定位在以与微珠2的圆形表面共用的公共圆心C为圆心并且半径为r的圆的圆周上。基准点221和223定位在穿过公共圆心C的直线上。基准点222定位在除了基准点221和223分别定位的2个位置以外的位置上。也就是说,基准点221、222和223的每个用作三角形的顶点。然而,为了确定微珠2的后或前(如随后将要描述的),必须将基准点221、222和223分别放置在这样的3个位置处,这3个位置的每个用作不构成等腰三角形的顶点之一。 
基准点221、222和223的每个可以被产生为具有任一种任意形状和 大小。此外,基准点221、222和223的每个可以被放置在任一位置处,直到该位置在码区域11以外的部分中。然而,为了便于对码区域11中的识别图案进行识别,希望在圆形表面内码区域11以外的圆周区域中产生基准点221、222和223的每个。可以在微珠2的顶部上的圆周表面上或者在其底部处的圆周表面上产生基准点221、222和223。 
2:微珠自动识别方法 
图6示出表示用作对微珠1进行识别的方法的、根据本发明第一实施例的微珠自动识别方法的过程的流程图。图7A到图7F和图8A到图8D是将在对图6中所执行的图像识别处理的描述中参考的多个模型图。 
(1)圆形表面图像的获取 
首先,图6中的流程图从步骤S1开始,在步骤S1,通过利用诸如CCD相机之类的普通摄像装置来为微珠1拍照,从而得到微珠1的圆形表面的图像。 
微珠1具有类似于圆柱体的形状。希望将微珠1产生为具有小于圆形表面的直径R的厚度d。也就是说,希望将微珠1产生为具有类似于盘状的形状。通过将微珠1产生为具有类似于圆柱体的形状或者类似于盘的形状,微珠1可以在垂直方向上被定向从而使得微珠1的两个圆形表面分别被置于微珠1的顶部上及其底部处。这样,可以通过从微珠1上方的位置对微珠1进行拍摄,来容易地得到被置于微珠1的顶部上的圆形表面的图像,或者可以通过从微珠1下方的位置对微珠1进行拍摄,来容易地得到被置于微珠1的底部处的圆形表面的图像。 
在步骤S1处得到的、作为微珠1的圆形表面的图像的图像被示出在图7A的示图中。实际上,作为示例,在步骤S1得到的图像示出两个微珠1的圆形表面。分别用标号B1和B2来表示2个微珠1的圆形表面的图像。 
(2)图像到二进制值的转换 
然后,在图6中示出的流程图的下一步骤S2,每个得到的图像被转换为二进制值。通过取出任一任意颜色阵列或者通过根据颜色信息进行的再计算,将每个得到的图像作为单色图像进行计算。然后,将每个计算结果 与预先确定为阈值等级的亮度等级进行比较,从而每个计算结果被根据比较结果转换为两个二进制值0和1之一。在步骤S2被转换为二进制值的每个图像被示出在图7B的示图中。在图7B的示图中示出的每个图像中,用二进制值1来表示每个微珠1的圆形表面,而用二进制值0来表示除每个微珠1的圆形表面之外的部分。 
(3)边缘检测 
然后,在图6所示流程图的下一步骤S3,分别具有用二进制值1和二进制值0表示的亮度等级的每两个相邻点被标识以对边缘(或轮廓)进行检测。边缘包括拍摄区域上多个微珠1的任一个微珠的轮廓,以及在某些情况下的诸如灰尘之类的噪声的轮廓。在步骤S3检测到的、作为微珠圆形表面图像B1和B2的边缘的边缘被示出在图7C的示图中,分别用标号E1和E2来表示这些边缘。 
(4)起点检测 
具有宽度“width”和高度“height”的图像被变换到一维作业阵列A中。这样,一维作业阵列A的大小为“width”דheight”。令x轴表示示出宽度的像素计数而y轴表示示出高度的像素计数。在这种情况下,在将图像变换到一维作业阵列A中的操作中,图像上坐标为(x,y)的点被变换到一维作业阵列A中具有坐标(y*‘width’+x)的点。也就是说,在将一维作业阵列A显示在二维画面上的操作中,一维作业阵列A的第(y*‘width’+x)个元素的值被视为图像上坐标为(x,y)的点的像素值。 
然后,在图6中所示流程图的下一步骤S4,一维作业阵列A被连续搜索直到用作起点k的第一像素被找到为止。在步骤S4处执行的搜索处理中找到的起点k在图7D的示图中用标号k表示。在该典型示例中,在搜索操作中检测到微珠圆形表面图像B1的边缘E1上的点k。 
(5)标准圆叠盖 
在检测到了起点k后,过程流程继续到图6所示流程图的步骤S5。在该步骤,放置围成标准圆并且包括起点k的圆周E0以叠盖边缘E1。如将在下文中进行描述的,通过放置围成标准圆并且包括起点k的圆周以叠盖边缘E1,能够判断边缘E1是微珠1的圆形表面的轮廓还是诸如灰尘之类 的噪声的轮廓。 
令像素计数R表示微珠1的圆形表面的直径。对于在上述的圆周叠盖操作中所使用的标准圆,存在2个一维阵列,每个一维阵列具有R个元素。这两个一维阵列是与标准圆的上弧(upper arc)相对应的上侧阵列Ru和与标准圆的下弧(lower arc)相对应的下侧阵列Rd。上侧阵列Ru中的第x个元素具有坐标(sqrt(r*r-(x-R/2)*(x-R/2))+R/2),而下侧阵列Rd中的第x个元素具有坐标(-sqrt(r*r-(x-R/2)*(x-R/2))+R/2)。表达式(sqrt(r*r-(x-R/2)*(x-R/2))+R/2)是当点具有x坐标时位于与x和y轴相接的(tangent)上弧上的点的y坐标。表达式(-sqrt(r*r-(x-R/2)*(x-R/2))+R/2)是当点具有x坐标时位于与x和y轴相接的下弧上的点的y坐标。与x和y轴相接的上弧是x-y坐标平面的第一象限中的弧,而与x和y轴相接的下弧是x-y坐标平面的第二象限中的弧。 
令圆周上每个点的二维坐标变换为一维阵列上的点的坐标。实际上,圆周具有被变换到一维上侧阵列Ru中的上弧和被变换到一维下侧阵列Rd中的下弧。圆周被置于具有宽度“width”和高度“height”的二维坐标系中。二维坐标系中的点p(px,py)被视为起点O’。也就是说,点p(px,py)被视为将被叠盖的起点。如之前说明的,二维坐标系中的坐标(px,py)被变换为一维阵列中的坐标(py*’width’+px)。在这种情况下,一维阵列中具有px到(px+R)范围内的坐标的位置对应于定位在上弧上的点,如具有坐标(px,py+Ru[x-px])的点,或者对应于定位在下弧上的点,如具有坐标(px,py+Rd[x-px])的点,其中标号Ru[x-px]表示一维上侧阵列Ru的第(x-px)个元素的值,而标号Rd[x-px]表示一维下侧阵列Rd的第(x-px)个元素的值。也就是说,上弧上的坐标(px,py+Ru[x-px])被变换为一维上侧阵列Ru中的坐标((py+Ru[x-px])*width+px),而下弧上的坐标(px,py+Rd[x-px])被变换为一维下侧阵列Rd中的坐标((py+Rd[x-px])*width+px)。 
如果边缘E1上的点与标准圆的圆周E0上的点相匹配,那么匹配点的位置处的像素具有值。另一方面,如果边缘E1上的点与标准圆的圆周E0上的点不匹配,那么匹配点的位置处的像素不具有值。因此,在覆盖R个点的px到(px+R)的范围内,通过相加2个阵列(即一维上侧阵列Ru和 一维下侧阵列Rd)上的像素值而得到的和被计算出来,以评估边缘E1与标准圆的圆周E0相匹配的状态。因此,仅通过相加上弧和下弧上的位置处的像素值,就可以执行对微珠圆周上的位置的一次判断。因此,评估处理可以被简化。严格地讲,通过针对上弧和下弧的每个上的R个点执行2×R次加法,来执行对微珠圆周上的位置的一次判断。应注意,在实际的图像识别处理中,针对用于作为相加结果而得到的和的评估值给定某一程度的容许范围,从而消除边缘等的典型细小疵点的影响。 
可以基于起点k的坐标和表示微珠的圆形表面的直径的像素计数R,来预先找到具有像素值中的最大值的像素的位置。这样,通过判断具有像素值中的最大值的像素的实际位置是否与预先计算出的具有像素值中的最大值的像素的位置相匹配,能够判断边缘E1是微珠的圆形表面的轮廓还是诸如灰尘之类的噪声的轮廓。更具体地,如果具有所保存的像素值中的最大值的像素的实际位置小于基于表示微珠的圆形表面的直径的像素计数R而预先计算的、作为具有像素值中的最大值的像素位置的位置,那么通过使用一维作业阵列A而检测到的起点k被确定为不是微珠1的轮廓上的点,而是诸如灰尘之类的噪声轮廓上的点。 
在步骤S5放置的用于叠盖边缘E1的标准圆圆周被示出为点化线圆周,在图7E的示图中用标号E0来表示该点化线圆周。 
如上所述,因为微珠1的圆形表面被视为具有精确圆的形状,并且基于作为具有像素值之中最大值的像素的位置而预先计算出的位置来执行放置标准圆以叠盖边缘的操作,所以可以通过执行少量操作来评估匹配状态。然而,如果微珠1的拍摄区域不是精确圆而例如是精确的五边形,那么用于放置标准的多边形来叠盖边缘的操作增多很多。因此,希望提供具有圆形表面的微珠1,该圆形表面具有精确圆的形状。然而,应注意,在可以放置上述的标准圆来叠盖这样的圆形表面的边缘的情况下,微珠1的圆形表面可以具有近似圆的形状。 
(6)作业区域的提取 
如果放置了标准圆的圆周E0来叠盖边缘E1,并且边缘E1被确定为微珠1的圆形表面的轮廓,那么通过图6所示的流程图来表示的过程的流 程继续到步骤S6,在步骤S6,包括边缘E1的图像区域被提取为作业区域。另一方面,如果边缘E1被确定为不是微珠1的圆形表面的轮廓,而是诸如灰尘之类的噪声的轮廓,那么该过程的流程返回到步骤S4,在步骤S4,一维作业区域A被连续地搜索直到找到下一个起点。 
(7)基准点121的检测 
在执行了步骤S6后,通过图6所示的流程图来表示的过程的流程继续到步骤S7,在步骤S7,检测包括边缘E1的所提取作业区域中的基准点121。首先,作业区域经过二进制转换处理,该二进制转换处理采用之前进行了说明的方法。在二进制转换处理中,在码区域11中产生的识别码以及基准点121和122被反转(invert)。作为二进制转换处理的结果而得到的图像被示出在图8A的示图中。图8A是示出作为二进制转换处理的结果而得到的图像的示图,该二进制转换处理将用作识别码的贯通孔111以及基准点121和122设定为二进制值1,并且将图像的其他部分设定为二进制值0。 
用于检测基准点121的一维阵列(n)作为如下处理的结果被获得,所述处理将穿过基准点121并且半径为r1的圆变换为阵列。该阵列与对应于边缘E1(或者标准圆的圆周E0)的阵列圆心相同。通过在一个方向上跟踪圆的圆周(经过2×R个点)来产生该阵列,并且将该阵列的元素值设定为与用于标准圆圆周E0的阵列的元素值相同。(也就是说,该阵列中每个元素的值是具有R×R平面(即高度为R并且宽度为R的平面)的坐标的点处的像素值)。这样,基准点121可以作为如下像素的值被检测到,该像素作为具有示出阵列中某一元素的值的像素被包括在作业区域中。 
以下描述说明一种典型情况,其中对基准点121进行检测而不检测基准点122。在以下描述中,在该步骤S7检测基准点121而在随后将进行说明的步骤S10检测基准点122。然而,可以相反地在该较早步骤S7检测基准点122,而可以相反地在较迟步骤S10检测基准点121。可替代地,在步骤S7,可以同时检测基准点121和122。 
(8)定向角θ的检测 
在检测到了基准点121之后,通过图6所示的流程图而表示的过程的流程继续到步骤S8。在步骤S8,计算作为微珠1的定向角的、在图8B的示图中示出的定向角θ。如图8B的示图所示,定向角θ是由Y轴和穿过基准点121的圆形表面直径形成的角。 
(9)网格旋转/匹配 
然后,在图6所示流程图的下一步骤S9,网格M被旋转计算出的定向角θ,以执行判断识别图案与如图8C的示图所示的网格M是否相匹配的图案匹配处理。通过以微珠1的中心为旋转中心来旋转轴m,将网格M旋转作为计算结果而得到的角度,该计算基于cosθ和sinθ。 
还可以通过维持网格M的定向并且旋转识别码以及其中产生了识别码的码区域11来执行图案匹配处理,该图案匹配处理判断识别图案与网格M是否匹配。然而,如前所述,与旋转识别码和码区域11的处理相比,旋转网格M的处理需要更少的操作。因此,与旋转识别码和码区域11的处理相比,旋转网格M以执行图案匹配处理的处理可以以更快的速度被执行,该图案匹配处理判断识别图案与网格M是否匹配。 
(10)基准点122的检测和后/前的确定 
通过采用与检测基准点121的方法相同的方法,在图6所示流程图的下一步骤S10,对基准点122进行检测。在检测基准点122的过程中,使用作为直径为r2的圆的圆周的变换结果而得到的一维阵列。 
然后,基于所检测到的基准点121和122的位置之间的关系,确定微珠1的后或前。更具体地,如图8D所示,通过判断基准点122是定位在相对于基准点121的位置的轴m的右半圆侧上的位置还是位在相对于基准点121的位置的轴m的左半圆侧上的位置,来确定微珠1的后或前。 
(11)识别图案的检测 
最后,通过图6所示的流程图表示的过程继续到最后一个步骤S11,在步骤S11,通过判断贯通孔111是否存在于网格M中的网格线的每个交叉点处,来检测识别图案。 
如上所述,根据本发明第一实施例的微珠自动识别方法,基于设置在微珠1的圆形表面上的两个基准点的位置(微珠1被产生为具有圆柱体形状),可以通过执行少量操作来检测微珠1的识别码从而使得可以高速执行微珠自动识别方法。 
此外,因为可以在微珠1的圆形表面的码区域11以外的圆周区域中设置基准点,所以码区域11可以被做得更大。因此,可以在码区域11中产生更多数目的不同码图案。 
3:微珠自动识别方法 
图9示出表示用作对根据第二实施例的微珠2进行识别的方法的、根据本发明第二实施例的微珠自动识别方法的过程的流程图。图10A到图10D是在对流程图的多个步骤处所执行的图像识别处理(在提取了作业区域之后的处理)的描述中参考的多个模型图,图9所示的流程图用作表示根据本发明第二实施例的微珠自动识别方法的过程的流程图。 
表示对微珠2进行识别的方法的图9所示的流程图的步骤S1到S6以如下的方式被执行,该方式与执行图6所示的流程图的步骤S1到S6的方式相同,图6用作表示针对微珠1而提供的微珠自动识别方法的过程的流程图。然后,在图9所示的流程图的步骤S7,检测所提取的作业区域中的基准点221和223。首先,作业区域经过二进制转换处理,该二进制转换处理采用之前进行了说明的方法。在二进制转换处理中,在码区域11中产生的识别码以及基准点221、222和223被反转。作为二进制转换过程结果而得到的图像被示出在图10A的示图中。图10A是示出作为二进制转换处理结果而得到的图像的示图,该二进制转换处理用于将用作识别码的贯通孔211以及基准点221、222和223设定为二进制值1,并且将图像的其他部分设定为二进制值0。 
用于检测基准点221和223的一维阵列(n)作为如下处理的结果被获得,所述处理将穿过基准点221和223并且半径为r的圆变换为阵列。在微珠2的情况下,基准点221、222和223定位在同一个圆的圆周上。因此,实际上,同样也检测了基准点222。然而,因为基准点221和223被置于穿过圆心的直线上,所以可以从检测到的基准点221、222和223取出基准点221和223。在以下的描述中,在该步骤S7检测基准点221和223,而在随后将进行说明的步骤S10检测基准点222。作为替代,在步骤 S7,可以同时检测到所有的基准点221、222和223。 
在检测到了基准点221和223之后,通过图9所示的流程图来表示的过程的流程继续到步骤S8。在步骤S8,计算作为微珠2的定向角的、在图10B的示图中示出的定向角θ。 
然后,在图9所示流程图的下一步骤S9,将网格M旋转计算出的定向角θ,以执行判断识别图案与如图10C的示图所示的网格M是否相匹配的图案匹配处理。通过以微珠2的中心为旋转中心来旋转轴m,将网格M旋转作为计算结果而找到的角度,该计算基于cosθ和sinθ。 
然后,在图9所示流程图的下一步骤S10,对基准点222进行检测。此外,基于所检测到的基准点222的位置和所检测到的基准点221的位置之间的关系以及所检测到的基准点222的位置和所检测到的基准点223的位置之间的关系,确定微珠2的后或前。更具体地,如图10D的示图所示,通过判断基准点222是定位在相对于基准点221的位置的轴m的右半圆侧内的位置还是定位在相对于基准点221的位置的轴m的左半圆侧内的位置,来确定微珠2的后或前。 
如果基准点221、222和223分别被置于每个都用作构成等腰三角形的顶点之一的三个位置处,那么可以基于所检测到的基准点222的位置和所检测到的基准点221的位置之间的关系以及所检测到的基准点222的位置和所检测到的基准点223的位置之间的关系,确定微珠2的后或前。 
最后,通过图9所示的流程图表示的过程继续到最后一个步骤S11,在步骤S11,通过判断贯通孔211是否存在于网格M中的网格线的每个交叉点处来检测识别图案(如之前所说明的)。 
如上所述,根据本发明第二实施例的微珠自动识别方法,基于设置在微珠2的圆形表面上的三个基准点的位置(微珠2被产生为具有圆柱体形状),可以通过仅执行少量操作来检测微珠2的识别码。 
根据由本发明提供的微珠自动识别方法和微珠,可以高速识别在微珠上产生的识别图案。因此,本发明对于利用微珠的各种生化分析的更高吞吐量以及更高处理速度作出了贡献。 
本申请包含与在日本优先权专利申请JP2008-121849(于2008年5月 8日递交到日本专利局)中公开的主题有关的主题,该申请的全部内容通过引用被结合于此。 
本领域中的技术人员应理解,根据设计需求和其他因素可以想到各种修改、组合、子组合和变更,只要它们落入随附的权利要求或其等价物的范围内。 

Claims (3)

1.一种微珠自动识别方法,包括以下步骤:
获取圆柱形微珠的圆形表面的图像,所述圆柱形微珠具有产生在所述圆形表面上的识别图案和同样产生在所述圆形表面上的两个基准点;以及
基于所述基准点的位置,从所获取的图像获取关于所述圆柱形微珠的后/前和定向角的信息,
其中,所述定向角是由竖直基准轴与穿过所述基准点中的一者的圆形表面直径形成的角,
其中,两个所述基准点被分别定位在两个同心圆的圆周上,所述两个同心圆与所述圆形表面共用公共圆心并且彼此直径不同;并且
所述两个基准点不应被共同定位在穿过所述公共圆心的直线上。
2.根据权利要求1所述的微珠自动识别方法,还包括:
通过基于所述信息旋转用于检测所述识别图案的栅格来执行图案匹配处理的步骤,所述图案匹配处理判断所述图像中的所述识别图案是否与所述栅格相匹配。
3.一种被配置为具有圆形表面的圆柱形微珠,识别图案和两个基准点被产生在所述圆形表面上,其中基于所述基准点的位置,从所述圆形表面的获取图像获得关于所述微珠的后/前和定向角的信息,
其中,所述定向角是由竖直基准轴与穿过所述基准点中的一者的圆形表面直径形成的角,
其中,两个所述基准点被分别定位在两个同心圆的圆周上,所述两个同心圆与所述圆形表面共用公共圆心并且彼此直径不同;并且
所述两个基准点不应被共同定位在穿过所述公共圆心的直线上。
CN2009101404340A 2008-05-08 2009-05-08 微珠自动识别方法和微珠 Expired - Fee Related CN101576506B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008121849A JP4561869B2 (ja) 2008-05-08 2008-05-08 マイクロビーズ自動識別方法及びマイクロビーズ
JP2008121849 2008-05-08
JP2008-121849 2008-05-08

Publications (2)

Publication Number Publication Date
CN101576506A CN101576506A (zh) 2009-11-11
CN101576506B true CN101576506B (zh) 2012-11-28

Family

ID=41226010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101404340A Expired - Fee Related CN101576506B (zh) 2008-05-08 2009-05-08 微珠自动识别方法和微珠

Country Status (4)

Country Link
US (2) US8200000B2 (zh)
EP (1) EP2136335B1 (zh)
JP (1) JP4561869B2 (zh)
CN (1) CN101576506B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561869B2 (ja) * 2008-05-08 2010-10-13 ソニー株式会社 マイクロビーズ自動識別方法及びマイクロビーズ
JP5589616B2 (ja) 2009-09-15 2014-09-17 ソニー株式会社 マイクロビーズ解析方法及びマイクロビーズ解析装置
JP5663985B2 (ja) * 2009-12-16 2015-02-04 ソニー株式会社 マイクロビーズ検査用のセル及びマイクロビーズの解析方法
RU2571533C2 (ru) * 2014-05-13 2015-12-20 Федеральное государственное унитарное предприятие "Горно-химический комбинат" Способ распознавания идентификационной маркировки ампул
RU2727554C2 (ru) * 2015-12-23 2020-07-22 Конинклейке Филипс Н.В. Флуоресцентный калибровочный слайд
WO2017109175A1 (en) 2015-12-23 2017-06-29 Koninklijke Philips N.V. Calibration slide for digital pathology
CN106203226B (zh) * 2016-06-23 2019-04-09 北京印刷学院 一种球体表面的二维码的生成和采集方法
US11896944B2 (en) * 2017-02-01 2024-02-13 Illumina, Inc. System and method with fiducials responding to multiple excitation frequencies
CN111397576A (zh) * 2020-04-21 2020-07-10 中冶赛迪工程技术股份有限公司 用于工业设备识别定位的标志块、方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023851A (ja) * 2000-07-06 2002-01-25 Canon Inc 複数の部材の位置合わせ方法及び装置
JP2005049342A (ja) * 2003-07-11 2005-02-24 Sigma Koki Kk 担体およびマイクロ検査素子とそれらの製造方法並びにレーザ加工機
CN1777709A (zh) * 2002-06-21 2006-05-24 斯蒂芬·D·奈廷格尔 多功能产品标记物及其制备和使用方法
JP2006278648A (ja) * 2005-03-29 2006-10-12 Nsk Ltd 両面露光方法
CN1898676A (zh) * 2003-12-25 2007-01-17 吉田健治 使用了点图案的信息输入输出方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0844735B1 (en) * 1991-07-11 2005-05-18 United Parcel Service Of America, Inc. System and method for digital filtering
JP2995127B2 (ja) * 1993-03-02 1999-12-27 松下電器産業株式会社 円形穴の認識方法
JP2897612B2 (ja) * 1993-10-13 1999-05-31 三菱電機株式会社 ワーク検出方法
WO1997040385A1 (en) * 1996-04-25 1997-10-30 Bioarray Solutions, Llc Light-controlled electrokinetic assembly of particles near surfaces
US20020084329A1 (en) * 1997-07-16 2002-07-04 Kaye Paul H. Coded items for labeling objects
US7348181B2 (en) * 1997-10-06 2008-03-25 Trustees Of Tufts College Self-encoding sensor with microspheres
JPH11156951A (ja) * 1997-12-01 1999-06-15 Sony Corp 球体配置の画像化方法、測定方法及び装置、並びに、平面型レンズの製造方法及び装置
ATE239801T1 (de) 1998-01-22 2003-05-15 Luminex Corp Mikropartikel mit multiplen fluoreszenz-signalen
GB9820163D0 (en) * 1998-09-17 1998-11-11 Sentec Ltd Micro-fabricated coded labels, reading systems and their applications
WO2002039159A1 (en) * 2000-11-10 2002-05-16 Crystal Fibre A/S Optical fibres with special bending and dispersion properties
AU2002223515A1 (en) * 2000-11-20 2002-05-27 Crystal Fibre A/S A micro-structured optical fibre
JP2003139773A (ja) * 2001-10-31 2003-05-14 Ebara Corp アフィニティー反応プローブビーズ及び検出システム
US6783766B2 (en) 2002-03-06 2004-08-31 Dow Global Technologies Inc. Process for preparing a cosmetic formulation
JP2003287535A (ja) * 2002-03-28 2003-10-10 Fuji Photo Film Co Ltd 生化学分析用の乾式分析素子
JP2003346129A (ja) * 2002-05-29 2003-12-05 Dainippon Screen Mfg Co Ltd 印刷物測定装置
NZ537729A (en) * 2002-06-21 2006-07-28 Stephen D Nightingale Multi-functional product markers and methods for making and using the same
JP2005083994A (ja) * 2003-09-10 2005-03-31 Sekisui Chem Co Ltd 電気化学分析用電極の製造方法
US7745001B2 (en) * 2004-03-23 2010-06-29 University Of New Orleans Research And Technology Foundation, Inc. Synthesis of nanoassemblies containing luminescent quantum dots and magnetic nanoparticles
JP4752413B2 (ja) * 2005-09-13 2011-08-17 株式会社デンソーウェーブ 2次元コード分割表示方法、2次元コード読取方法および2次元コード読取装置
JP4561869B2 (ja) * 2008-05-08 2010-10-13 ソニー株式会社 マイクロビーズ自動識別方法及びマイクロビーズ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023851A (ja) * 2000-07-06 2002-01-25 Canon Inc 複数の部材の位置合わせ方法及び装置
CN1777709A (zh) * 2002-06-21 2006-05-24 斯蒂芬·D·奈廷格尔 多功能产品标记物及其制备和使用方法
JP2005049342A (ja) * 2003-07-11 2005-02-24 Sigma Koki Kk 担体およびマイクロ検査素子とそれらの製造方法並びにレーザ加工機
CN1898676A (zh) * 2003-12-25 2007-01-17 吉田健治 使用了点图案的信息输入输出方法
JP2006278648A (ja) * 2005-03-29 2006-10-12 Nsk Ltd 両面露光方法

Also Published As

Publication number Publication date
JP4561869B2 (ja) 2010-10-13
EP2136335A1 (en) 2009-12-23
US20120195507A1 (en) 2012-08-02
US8200000B2 (en) 2012-06-12
US20090279787A1 (en) 2009-11-12
EP2136335B1 (en) 2012-07-04
CN101576506A (zh) 2009-11-11
JP2009270946A (ja) 2009-11-19
US8548221B2 (en) 2013-10-01

Similar Documents

Publication Publication Date Title
CN101576506B (zh) 微珠自动识别方法和微珠
US11262307B2 (en) System and method with reflective fiducials for locating or registering locations receiving biological samples in successive cycles of fluorescent imaging
US7901945B2 (en) Image and part recognition technology
JP4377665B2 (ja) 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP2003307518A (ja) プローブ反応性チップ、試料解析装置および試料解析方法
JP4280720B2 (ja) 試料解析装置および試料解析方法
CN109902527A (zh) 一种qr码自动识读方法和装置
GB2407157A (en) Feature quantitation methods and system
AU766920B2 (en) Imaging method
CN109414673B (zh) 具有响应于多个激发频率的基准的系统和方法
CN109416324B (zh) 利用非闭合形状的基准的系统和方法
CN109416322B (zh) 具有偏移布局的基准的系统和方法
US9317922B2 (en) Image and part recognition technology
CN112285070B (zh) 检测图像上的亮斑的方法和装置、图像配准方法和装置
CN112288781A (zh) 图像配准方法、装置和计算机程序产品
CN109416325A (zh) 具有在非直线布局中的基准的系统和方法
JP2010256369A (ja) マイクロビーズ自動識別方法及びマイクロビーズ
US20050203708A1 (en) Method and system for microarray gradient detection and characterization
WO2023070662A1 (zh) 基于磁珠的检测方法、存储介质和检测设备
EP3096266A1 (en) Method for precise localization of elements on an image
Willson et al. Image and part recognition technology
KR20100093967A (ko) 마이크로어레이 및 마이크로어레이 신호를 분석하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20150508

EXPY Termination of patent right or utility model