[go: up one dir, main page]

KR101133641B1 - Method of inspecting three-dimensional shape - Google Patents

Method of inspecting three-dimensional shape Download PDF

Info

Publication number
KR101133641B1
KR101133641B1 KR1020100008689A KR20100008689A KR101133641B1 KR 101133641 B1 KR101133641 B1 KR 101133641B1 KR 1020100008689 A KR1020100008689 A KR 1020100008689A KR 20100008689 A KR20100008689 A KR 20100008689A KR 101133641 B1 KR101133641 B1 KR 101133641B1
Authority
KR
South Korea
Prior art keywords
shadow
template
measurement object
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100008689A
Other languages
Korean (ko)
Other versions
KR20110088943A (en
Inventor
정중기
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020100008689A priority Critical patent/KR101133641B1/en
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to DE102010030859.5A priority patent/DE102010030859B4/en
Priority to JP2010151711A priority patent/JP5256251B2/en
Priority to TW099121806A priority patent/TWI432699B/en
Priority to TW102148712A priority patent/TWI467128B/en
Priority to DE102010064635.0A priority patent/DE102010064635B4/en
Priority to US12/829,670 priority patent/US8369603B2/en
Priority to CN201010224622.4A priority patent/CN101943572B/en
Priority to CN201210445858.XA priority patent/CN102980533B/en
Publication of KR20110088943A publication Critical patent/KR20110088943A/en
Application granted granted Critical
Publication of KR101133641B1 publication Critical patent/KR101133641B1/en
Priority to US13/679,390 priority patent/US8548224B2/en
Priority to US13/936,065 priority patent/US8724883B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)

Abstract

인쇄회로기판 상에 형성된 소정의 소자에 대한 3차원 형상 검사방법은 소정의 소자의 그림자를 추상화한 그림자 템플릿을 생성하는 단계, 복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 측정 대상물의 각 픽셀별 그림자 정보를 획득하는 단계, 복수의 방향으로부터 촬영된 각 픽셀별 그림자 정보를 머징하여 그림자 맵을 생성하는 단계 및 측정 대상물의 그림자 맵과 그림자 템플릿을 비교하여, 측정 대상물에서 그림자 템플릿에 대응하는 소자의 정보를 획득하는 단계를 포함한다. 따라서, 인쇄회로기판상의 소자를 정확하게 추출할 수 있다.The three-dimensional shape inspection method for a predetermined element formed on a printed circuit board may include generating a shadow template that abstracts a shadow of a predetermined element, irradiating a grid image light to a measurement object in a plurality of directions, and each pixel of the measurement object. Obtaining a shadow information of each star, merging shadow information of each pixel photographed from a plurality of directions, generating a shadow map, and comparing the shadow map of the measurement object with the shadow template, and corresponding to the shadow template on the measurement object. Obtaining information of the. Therefore, it is possible to accurately extract the elements on the printed circuit board.

Description

3차원 형상 검사방법{METHOD OF INSPECTING THREE-DIMENSIONAL SHAPE}3D shape inspection method {METHOD OF INSPECTING THREE-DIMENSIONAL SHAPE}

본 발명은 3차원 형상 검사방법에 관한 것으로, 더욱 상세하게는 인쇄회로기판 상의 소자에 관한 3차원 형상 검사방법에 관한 것이다.The present invention relates to a three-dimensional shape inspection method, and more particularly to a three-dimensional shape inspection method for a device on a printed circuit board.

일반적으로, 전자장치 내에는 적어도 하나의 인쇄회로기판(printed circuit board; PCB)이 구비되며, 이러한 인쇄회로기판 상에는 칩(chip)과 같은 소자를 포함한다.In general, at least one printed circuit board (PCB) is provided in an electronic device, and includes a device such as a chip on the printed circuit board.

상기 칩과 같은 소자를 상기 인쇄회로기판으로부터 추출하는 작업은 상기 인쇄회로기판에 장착된 소자의 불량 여부를 판단하거나, 상기 소자와 연결된 패드 등의 불량 여부를 판단하기 위하여 필요하다.Extracting an element such as the chip from the printed circuit board is necessary to determine whether the element mounted on the printed circuit board is defective or whether the pad connected to the element is defective.

종래에는 상기와 같은 추출 작업을 위하여 2차원 영상을 촬영하여 촬영된 영상을 이용하여 왔다. 그러나, 2차원 영상에서 특정 소자를 추출하는 작업은 소자의 색상이나 조명에 민감하여 상기 소자를 주변으로부터 판별해 내기가 어렵고, 소자의 디멘션(dimension)이 변경된 경우에도 상기 소자를 판별하기가 어렵다. 또한, 영상에 노이즈(noise)가 있는 경우, 예를 들어 소자 이외의 기판 위에 패턴이나 실크가 형성된 경우 상기 소자를 판별하기가 어렵고, 소자 내부에는 카메라에 의한 노이즈가 나타날 수 있으며, 패드 영역과 같은 인접한 부분과 혼동될 수도 있다.Conventionally, the image taken by taking a two-dimensional image for the above extraction operation has been used. However, the task of extracting a specific device from a two-dimensional image is sensitive to the color or illumination of the device, making it difficult to distinguish the device from the surroundings, and it is difficult to distinguish the device even when the dimension of the device is changed. In addition, when there is noise in an image, for example, when a pattern or silk is formed on a substrate other than the device, it may be difficult to distinguish the device, and noise may be generated by a camera inside the device. It can also be confused with adjacent parts.

따라서, 상술한 문제점들을 방지할 수 있는 소자 추출 방법을 이용한 3차원 형상 검사방법이 요청된다.Therefore, a three-dimensional shape inspection method using an element extraction method that can prevent the above problems is required.

따라서, 본 발명이 해결하고자 하는 과제는 원하는 소자를 정확히 추출할 수 있는 3차원 형상 검사방법을 제공하는 것이다.Therefore, the problem to be solved by the present invention is to provide a three-dimensional shape inspection method that can accurately extract the desired device.

본 발명의 예시적인 일 실시예에 따른 3차원 형상 검사방법은 소정의 소자의 그림자를 추상화한 그림자 템플릿을 생성하는 단계, 복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 상기 측정 대상물의 각 픽셀별 그림자 정보를 획득하는 단계, 복수의 방향으로부터 촬영된 상기 각 픽셀별 그림자 정보를 머징(merging)하여 그림자 맵을 생성하는 단계 및 상기 측정 대상물의 상기 그림자 맵과 상기 그림자 템플릿을 비교하여, 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계를 포함한다.In accordance with an exemplary embodiment of the present invention, a three-dimensional shape inspection method includes generating a shadow template that abstracts a shadow of a predetermined device, irradiating a grid image light to a measurement object in a plurality of directions, and each pixel of the measurement object. Obtaining star shadow information, merging the shadow information for each pixel photographed from a plurality of directions, generating a shadow map, and comparing the shadow map of the measurement object with the shadow template to measure the measurement. Obtaining information of the device corresponding to the shadow template from an object.

일 실시예로, 상기 3차원 형상 검사방법은 복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 상기 측정 대상물의 각 픽셀별 비저빌리티(visibility) 정보를 획득하는 단계를 더 포함할 수 있고, 상기 그림자 맵을 생성하는 단계는, 각 픽셀별로 상기 그림자 정보에 따른 예비 그림자 맵을 생성하는 단계, 상기 예비 그림자 맵에서 상기 비저빌리티 정보를 이용하여 상기 소자 부분을 제외하는 단계 및 상기 소자 부분이 제외된 그립자 맵을 확정하는 단계를 포함할 수 있다.In one embodiment, the three-dimensional shape inspection method may further include obtaining the visibility information for each pixel of the measurement object by irradiating the grid image light in a plurality of directions to the measurement object, The generating of the shadow map may include generating a preliminary shadow map according to the shadow information for each pixel, excluding the device portion from the preliminary shadow map by using the visibility information, and removing the device portion. And determining the gripper map.

일 실시예로, 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계는, 상기 그림자 템플릿에 해당하는 상기 소자가 상기 측정 대상물에 존재하는지 여부를 판단하는 단계 및 상기 소자가 상기 측정 대상물에 존재하는 경우, 상기 소자의 크기, 위치 및 회전각 정보를 획득하는 단계를 포함할 수 있다. 이때, 상기 그림자 템플릿에 대응하는 상기 소자가 상기 측정 대상물에 존재하는지 여부를 판단하는 단계는, 상기 소자가 형성된 인쇄회로기판 상에 소정의 검사영역을 설정하는 단계 및 상기 그림자 템플릿의 위치를 초기위치로부터 순차적으로 이동하면서 상기 그립자 맵과 비교하는 단계를 포함할 수 있다. 이 경우, 상기 그림자 템플릿의 위치를 초기위치로부터 순차적으로 이동하면서 상기 그림자 맵과 비교하는 단계는, 상기 그림자 템플릿 상에 픽셀 좌표에 따라 0, 1로 설정된 값을 상기 그립자 맵과 겹치는 부분 상에 픽셀 좌표에 따라 0, 1로 설정된 값과 서로 곱하여 곱한 값들을 서로 더하는 단계, 상기 그림자 템플릿의 위치의 순차적 이동에 따라 최대값을 나타내는 위치를 상기 소자가 존재하는 예비 위치로 정하는 단계 및 상기 최대값이 기준값 이상이면 상기 소자가 상기 그림자 템플릿에 대응하는 소자임을 확정하는 단계를 포함할 수 있다.In an embodiment, the obtaining of information of the device corresponding to the shadow template from the measurement object may include determining whether the device corresponding to the shadow template exists on the measurement object and the device is the If present in the object to be measured may include obtaining the size, position and rotation angle information of the device. In this case, determining whether the device corresponding to the shadow template is present in the measurement object, setting a predetermined inspection area on the printed circuit board on which the device is formed and initializing the position of the shadow template And sequentially comparing from the gripper map while moving sequentially. In this case, the step of comparing the position of the shadow template with the shadow map while sequentially moving from the initial position, the value set to 0, 1 according to the pixel coordinates on the shadow template on the portion overlapping with the gripper map Multiplying the values set by 0 and 1 according to the pixel coordinates and multiplying each other, setting a position representing the maximum value according to the sequential movement of the position of the shadow template as a preliminary position where the device exists and the maximum value If the reference value is more than the reference value may include determining that the device corresponding to the shadow template.

일 실시예로, 상기 3차원 형상 검사방법은 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계 이후에, 상기 그림자 템플릿에 대응하는 상기 소자의 불량 여부를 판단하는 단계를 더 포함할 수 있다. 이때, 상기 소자가 인쇄회로기판 상에 형성된 칩(chip)을 포함하는 경우, 상기 그림자 템플릿에 대응하는 상기 소자의 불량 여부를 판단하는 단계는, 상기 칩의 몸체인 칩 바디(body)를 추출하는 단계, 상기 칩에 대한 칩 정보로부터 상기 칩 바디에 대한 칩 바디 정보를 제거하는 단계 및 상기 칩 바디 정보가 제거된 칩 정보로부터 상기 인쇄회로기판 상에 형성된 상기 칩의 불량 형성 여부를 판단하는 단계를 포함할 수 있다.In an embodiment, the three-dimensional shape inspection method may further include determining whether the device corresponding to the shadow template is defective after acquiring information of the device corresponding to the shadow template from the measurement object. It may include. In this case, when the device includes a chip formed on a printed circuit board, the determining of whether the device corresponding to the shadow template is defective may include extracting a chip body which is a body of the chip. The method may include: removing chip body information about the chip body from chip information about the chip and determining whether the chip formed on the printed circuit board is defective from chip information from which the chip body information is removed. It may include.

예를 들면, 상기 그림자 템플릿은 상기 소자의 디멘션(dimension) 및 상기 측정 대상물에 조사되는 격자이미지 광의 조사각도를 포함하는 템플릿 결정인자에 의해 정의될 수 있다. 이 경우, 상기 그림자 맵과 상기 그림자 템플릿은 상기 템플릿 결정인자의 소정 허용치 이내의 범위에서 비교될 수 있다.For example, the shadow template may be defined by a template determinant including dimensions of the device and an irradiation angle of grid image light irradiated to the measurement object. In this case, the shadow map and the shadow template may be compared within a predetermined allowance of the template determinant.

본 발명에 따르면, 소자의 그림자에 따른 그림자 맵을 이용하여 원하는 소자를 추출하므로 2차원 영상을 이용하여 소자를 추출하는 경우에 비하여 소자의 색상이나 조명에 민감하지 않으며 소자의 디멘션이 변경된 경우에도 용이하게 상기 소자를 판별할 수 있다.According to the present invention, since the desired device is extracted by using the shadow map according to the shadow of the device, the device is not sensitive to the color or illumination of the device as compared with the case of extracting the device using a 2D image, and is easy even when the dimension of the device is changed. The device can be discriminated.

또한, 영상에서 소자 주변에 패턴이나 실크 등의 노이즈, 또는 소자 내부에 카메라에 의한 노이즈 등의 영향을 받지 않을 수 있으며, 주변에 패드 영역과 같이 혼동될 수 있는 다른 소자가 있어도 템플릿과 비교하여 상기 소자를 판별하므로, 정확히 소자를 추출할 수 있다. In addition, the image may not be affected by noise such as a pattern or silk around the device, or noise caused by a camera inside the device, and compared with the template even when there are other devices around the device such as pad areas. Since the device is discriminated, the device can be extracted accurately.

또한, 소자의 높이가 소정의 측정가능 범위를 넘어서는 경우에도, 그림자는 소자의 측정가능 범위와 상관없이 생성되므로 상기 소자의 높이와 관계없이 보다 명확한 상기 소자의 위치, 크기, 회전정보 등을 획득할 수 있다.
In addition, even when the height of the device exceeds a predetermined measurable range, the shadow is generated regardless of the measurable range of the device, so that the position, size, rotation information, etc. of the device can be obtained more clearly regardless of the height of the device. Can be.

도 1은 본 발명의 일 실시예에 의한 3차원 형상 측정방법에 사용되는 예시적인 3차원 형상 측정장치를 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 의한 3차원 형상 검사방법을 나타낸 흐름도이다.
도 3은 그림자 템플릿의 일 예를 도시한 개략도이다.
도 4는 비저빌리티 정보를 이용하여 그림자 맵을 생성하는 방법의 일 실시예를 나타낸 흐름도이다.
도 5는 도 2에서 소자의 정보를 획득하는 방법의 일 실시예를 나타낸 흐름도이다.
도 6은 타겟 소자가 그림자 템플릿에 대응하는 소자인지를 비교하는 방법의 일 실시예를 설명하기 위한 개념도이다.
1 is a conceptual diagram illustrating an exemplary three-dimensional shape measuring apparatus used in the three-dimensional shape measuring method according to an embodiment of the present invention.
2 is a flowchart illustrating a three-dimensional shape inspection method according to an embodiment of the present invention.
3 is a schematic diagram illustrating an example of a shadow template.
4 is a flowchart illustrating an embodiment of a method of generating a shadow map using visibility information.
FIG. 5 is a flowchart illustrating an embodiment of a method of obtaining information of a device in FIG. 2.
FIG. 6 is a conceptual diagram illustrating an embodiment of a method of comparing whether a target device corresponds to a shadow template.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, and that one or more other features It should be understood that it does not exclude in advance the possibility of the presence or addition of numbers, steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

도 1은 본 발명의 일 실시예에 의한 3차원 형상 측정방법에 사용되는 예시적인 3차원 형상 측정장치를 도시한 개념도이다.1 is a conceptual diagram illustrating an exemplary three-dimensional shape measuring apparatus used in the three-dimensional shape measuring method according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 의한 3차원 형상 측정방법에 사용되는 3차원 형상 측정장치는 측정 스테이지부(100), 영상 촬영부(200), 제1 및 제2 조명부들(300,400), 영상 획득부(500), 모듈 제어부(600) 및 중앙 제어부(700)를 포함할 수 있다.Referring to FIG. 1, the three-dimensional shape measuring apparatus used in the three-dimensional shape measuring method according to the present embodiment includes a measurement stage unit 100, an image photographing unit 200, first and second lighting units 300 and 400, The image acquirer 500, the module controller 600, and the central controller 700 may be included.

상기 측정 스테이지부(100)는 측정 대상물(10)을 지지하는 스테이지(110) 및 상기 스테이지(110)를 이송시키는 스테이지 이송유닛(120)을 포함할 수 있다. 본 실시예에서, 상기 스테이지(110)에 의해 상기 측정 대상물(10)이 상기 영상 촬영부(200)와 상기 제1 및 제2 조명부들(300,400)에 대하여 이동함에 따라, 상기 측정 대상물(10)에서의 측정위치가 변경될 수 있다.The measurement stage unit 100 may include a stage 110 for supporting the measurement object 10 and a stage transfer unit 120 for transferring the stage 110. In the present exemplary embodiment, the measurement object 10 is moved by the stage 110 with respect to the image capturing unit 200 and the first and second lighting units 300 and 400. The measuring position at can be changed.

상기 영상 촬영부(200)는 상기 스테이지(110)의 상부에 배치되어, 상기 측정 대상물(10)로부터 반사되어온 광을 인가받아 상기 측정 대상물(10)에 대한 영상을 측정한다. 즉, 상기 영상 촬영부(200)는 상기 제1 및 제2 조명부들(300,400)에서 출사되어 상기 측정 대상물(10)에서 반사된 광을 인가받아, 상기 측정 대상물(10)의 평면영상을 촬영한다.The image capturing unit 200 is disposed above the stage 110 and receives the light reflected from the measurement object 10 to measure an image of the measurement object 10. That is, the image capturing unit 200 receives the light emitted from the first and second lighting units 300 and 400 and reflected from the measuring object 10 to take a plane image of the measuring object 10. .

상기 영상 촬영부(200)는 카메라(210), 결상렌즈(220), 필터(230) 및 램프(240)를 포함할 수 있다. 상기 카메라(210)는 상기 측정 대상물(10)로부터 반사되는 광을 인가받아 상기 측정 대상물(10)의 평면영상을 촬영하며, 일례로 CCD 카메라나 CMOS 카메라 중 어느 하나가 채용될 수 있다. 상기 결상렌즈(220)는 상기 카메라(210)의 하부에 배치되어, 상기 측정 대상물(10)에서 반사되는 광을 상기 카메라(210)에서 결상시킨다. 상기 필터(230)는 상기 결상렌즈(220)의 하부에 배치되어, 상기 측정 대상물(10)에서 반사되는 광을 여과시켜 상기 결상렌즈(220)로 제공하고, 일례로 주파수 필터, 컬러필터 및 광세기 조절필터 중 어느 하나로 이루어질 수 있다. 상기 램프(240)는 일 예로 상기 필터(230)의 하부에 원형으로 배치되어, 상기 측정 대상물(10)의 2차원 형상과 같은 특이영상을 촬영하기 위해 상기 측정 대상물(10)로 광을 제공할 수 있다.The image capturing unit 200 may include a camera 210, an imaging lens 220, a filter 230, and a lamp 240. The camera 210 receives the light reflected from the measurement object 10 to take a planar image of the measurement object 10. For example, one of a CCD camera and a CMOS camera may be employed. The imaging lens 220 is disposed under the camera 210 to form light reflected from the measurement object 10 in the camera 210. The filter 230 is disposed below the imaging lens 220 to filter the light reflected from the measurement object 10 to provide the imaging lens 220, and for example, a frequency filter, a color filter, and light. It may be made of any one of the intensity control filter. The lamp 240 is circularly disposed under the filter 230, for example, to provide light to the measurement object 10 to capture a specific image such as a two-dimensional shape of the measurement object 10. Can be.

상기 제1 조명부(300)는 예를 들면 상기 영상 촬영부(200)의 우측에 상기 측정 대상물(10)을 지지하는 상기 스테이지(110)에 대하여 경사지게 배치될 수 있다. 상기 제1 조명부(300)는 제1 조명유닛(310), 제1 격자유닛(320), 제1 격자 이송유닛(330) 및 제1 집광렌즈(340)를 포함할 수 있다. 상기 제1 조명유닛(310)은 조명원과 적어도 하나의 렌즈로 구성되어 광을 발생시키고, 상기 제1 격자유닛(320)은 상기 제1 조명유닛(310)의 하부에 배치되어 상기 제1 조명유닛(310)에서 발생된 광을 격자무늬 패턴을 갖는 제1 격자 패턴광으로 변경시킨다. 상기 제1 격자 이송유닛(330)은 상기 제1 격자유닛(320)과 연결되어 상기 제1 격자유닛(320)을 이송시키고, 일례로 PZT(Piezoelectric) 이송유닛이나 미세직선 이송유닛 중 어느 하나를 채용할 수 있다. 상기 제1 집광렌즈(340)는 상기 제1 격자유닛(320)의 하부에 배치되어 상기 제1 격자유닛(320)로부터 출사된 상기 제1 격자 패턴광을 상기 측정 대상물(10)로 집광시킨다.The first lighting unit 300 may be disposed to be inclined with respect to the stage 110 supporting the measurement object 10 on the right side of the image capturing unit 200, for example. The first lighting unit 300 may include a first lighting unit 310, a first grating unit 320, a first grating transfer unit 330, and a first condensing lens 340. The first lighting unit 310 is composed of an illumination source and at least one lens to generate light, the first grating unit 320 is disposed below the first lighting unit 310 to the first illumination The light generated in the unit 310 is changed into the first lattice pattern light having the lattice pattern. The first grating transfer unit 330 is connected to the first grating unit 320 to transfer the first grating unit 320, for example, one of the PZT (Piezoelectric) transfer unit or fine linear transfer unit It can be adopted. The first condenser lens 340 is disposed under the first grating unit 320 to condense the first grating pattern light emitted from the first grating unit 320 to the measurement object 10.

상기 제2 조명부(400)는 예를 들면 상기 영상 촬영부(200)의 좌측에 상기 측정 대상물(10)을 지지하는 상기 스테이지(110)에 대하여 경사지게 배치될 수 있다. 상기 제2 조명부(400)는 제2 조명유닛(410), 제2 격자유닛(420), 제2 격자 이송유닛(430) 및 제2 집광렌즈(440)를 포함할 수 있다. 상기 제2 조명부(400)는 위에서 설명한 상기 제1 조명부(300)와 실질적으로 동일하므로, 중복되는 상세한 설명은 생략한다.The second lighting unit 400 may be disposed to be inclined with respect to the stage 110 supporting the measurement object 10 on the left side of the image capturing unit 200, for example. The second lighting unit 400 may include a second lighting unit 410, a second grating unit 420, a second grating transfer unit 430, and a second condensing lens 440. Since the second lighting unit 400 is substantially the same as the first lighting unit 300 described above, detailed descriptions thereof will be omitted.

상기 제1 조명부(300)는 상기 제1 격자 이송유닛(330)이 상기 제1 격자유닛(320)을 N번 순차적으로 이동하면서 상기 측정 대상물(10)로 N개의 제1 격자 패턴광들을 조사할 때, 상기 영상 촬영부(200)는 상기 측정 대상물(10)에서 반사된 상기 N개의 제1 격자 패턴광들을 순차적으로 인가받아 N개의 제1 패턴영상들을 촬영할 수 있다. 또한, 상기 제2 조명부(400)는 상기 제2 격자 이송유닛(430)이 상기 제2 격자유닛(420)을 N번 순차적으로 이동하면서 상기 측정 대상물(10)로 N개의 제2 격자 패턴광들을 조사할 때, 상기 영상 촬영부(200)는 상기 측정 대상물(10)에서 반사된 상기 N개의 제2 격자 패턴광들을 순차적으로 인가받아 N개의 제2 패턴영상들을 촬영할 수 있다. 여기서, 상기 N은 자연수로, 일 예로 3 또는 4일 수 있다.The first lighting unit 300 irradiates the N first grating pattern lights to the measurement target 10 while the first grating transfer unit 330 moves the first grating unit 320 N times in sequence. In this case, the image capturing unit 200 may photograph the N first pattern images by sequentially receiving the N first grating pattern lights reflected from the measurement object 10. In addition, the second lighting unit 400 moves N second grid pattern lights to the measurement target 10 while the second grid transfer unit 430 moves the second grid unit 420 sequentially N times. When irradiating, the image capturing unit 200 may photograph the N second pattern images by sequentially applying the N second grid pattern lights reflected from the measurement object 10. Here, N is a natural number, for example, may be 3 or 4.

한편, 본 실시예에서는 상기 제1 및 제2 격자 패턴광들을 발생시키는 조명장치로 상기 제1 및 제2 조명부들(300,400)만을 설명하였으나, 이와 다르게 상기 조명부의 개수는 3개 이상일 수도 있다. 즉, 상기 측정 대상물(10)로 조사되는 격자 패턴광이 다양한 방향에서 조사되어, 다양한 종류의 패턴영상들이 촬영될 수 있다. 예를 들어, 3개의 조명부들이 상기 영상 촬영부(200)를 중심으로 정삼각형 형태로 배치될 경우, 3개의 격자 패턴광들이 서로 다른 방향에서 상기 측정 대상물(10)로 인가될 수 있고, 4개의 조명부들이 상기 영상 촬영부(200)를 중심으로 정사각형 형태로 배치될 경우, 4개의 격자 패턴광들이 서로 다른 방향에서 상기 측정 대상물(10)로 인가될 수 있다.Meanwhile, in the present exemplary embodiment, only the first and second lighting units 300 and 400 are described as an illumination device for generating the first and second grid pattern lights. Alternatively, the number of the lighting units may be three or more. That is, the grid pattern light irradiated to the measurement object 10 may be irradiated from various directions, and various kinds of pattern images may be photographed. For example, when three lighting units are arranged in an equilateral triangle shape around the image capturing unit 200, three grid pattern lights may be applied to the measurement object 10 in different directions, and four lighting units may be applied. When they are arranged in a square shape around the image capturing unit 200, four grid pattern lights may be applied to the measurement object 10 in different directions.

상기 영상 획득부(500)는 상기 영상 촬영부(200)의 카메라(210)와 전기적으로 연결되어, 상기 카메라(210)로부터 상기 패턴영상들을 획득하여 저장한다. 예를 들어, 상기 영상 획득부(500)는 상기 카메라(210)에서 촬영된 상기 N개의 제1 패턴영상들 및 상기 N개의 제2 패턴영상들을 인가받아 저장하는 이미지 시스템을 포함한다.The image acquisition unit 500 is electrically connected to the camera 210 of the image capturing unit 200 to obtain and store the pattern images from the camera 210. For example, the image acquisition unit 500 includes an image system that receives and stores the N first pattern images and the N second pattern images photographed by the camera 210.

상기 모듈 제어부(600)는 상기 측정 스테이지부(100), 상기 영상 촬영부(200), 상기 제1 조명부(300) 및 상기 제2 조명부(400)와 전기적으로 연결되어 제어한다. 상기 모듈 제어부(600)는 예를 들어, 조명 콘트롤러, 격자 콘트롤러 및 스테이지 콘트롤러를 포함한다. 상기 조명 콘트롤러는 상기 제1 및 제2 조명유닛들(310,410)을 각각 제어하여 광을 발생시키고, 상기 격자 콘트롤러는 상기 제1 및 제2 격자 이송유닛들(330,430)을 각각 제어하여 상기 제1 및 제2 격자유닛들(320, 420)을 이동시킨다. 상기 스테이지 콘트롤러는 상기 스테이지 이송유닛(120)을 제어하여 상기 스테이지(110)를 상하좌우로 이동시킬 수 있다.The module controller 600 is electrically connected to and controlled by the measurement stage unit 100, the image capturing unit 200, the first lighting unit 300, and the second lighting unit 400. The module controller 600 includes, for example, a lighting controller, a grid controller, and a stage controller. The lighting controller generates light by controlling the first and second lighting units 310 and 410, respectively, and the grid controller controls the first and second grid transfer units 330 and 430, respectively. The second grid units 320 and 420 are moved. The stage controller may control the stage transfer unit 120 to move the stage 110 up, down, left, and right.

상기 중앙 제어부(700)는 상기 영상 획득부(500) 및 상기 모듈 제어부(600)와 전기적으로 연결되어 각각을 제어한다. 구체적으로, 상기 중앙 제어부(700)는 상기 영상 획득부(500)의 이미지 시스템으로부터 상기 N개의 제1 패턴영상들 및 상기 N개의 제2 패턴영상들을 인가받아, 이를 처리하여 상기 측정 대상물의 3차원 형상을 측정할 수 있다. 또한, 상기 중앙 제어부(700)는 상기 모듈 제어부(600)의 조명 콘트롤러, 격자 콘트롤러 및 스테이지 콘트롤러를 각각 제어할 수 있다. 이와 같이, 상기 중앙 제어부는 이미지처리 보드, 제어 보드 및 인터페이스 보드를 포함할 수 있다.The central control unit 700 is electrically connected to the image acquisition unit 500 and the module control unit 600 to control each. Specifically, the central control unit 700 receives the N first pattern images and the N second pattern images from the image system of the image acquisition unit 500, processes them, and processes the three-dimensional image of the object to be measured. The shape can be measured. In addition, the central controller 700 may control the lighting controller, the grid controller, and the stage controller of the module controller 600, respectively. As such, the central control unit may include an image processing board, a control board, and an interface board.

이하, 상기와 같은 3차원 형상 측정장치를 이용하여 상기 측정대상물(10)로 채용된 인쇄회로기판에 탑재된 소정의 소자를 검사하는 방법을 보다 상세하게 설명한다.Hereinafter, a method of inspecting a predetermined device mounted on a printed circuit board employed as the measurement target 10 using the above-described three-dimensional shape measuring apparatus will be described in more detail.

도 2는 본 발명의 일 실시예에 의한 3차원 형상 검사방법을 나타낸 흐름도이고, 도 3은 그림자 템플릿의 일 예를 도시한 개략도이다.2 is a flowchart illustrating a three-dimensional shape inspection method according to an embodiment of the present invention, Figure 3 is a schematic diagram showing an example of a shadow template.

도 2 및 도 3을 참조하면, 인쇄회로기판 상에 탑재된 소정의 소자를 검사하기 위하여, 먼저 상기 소자의 그림자를 추상화한 그림자 템플릿(900)을 생성한다(S210). 상기 추상화된 소자(910)는 예를 들면 육면체 형상의 칩(chip)을 포함할 수 있다.2 and 3, in order to inspect a predetermined device mounted on a printed circuit board, first, a shadow template 900 that abstracts the shadow of the device is generated (S210). The abstracted device 910 may include, for example, a hexahedral chip.

일 예로, 상기 그림자 템플릿(900)은 도 3에 도시된 바와 같이 상기 소자(910)에 소정 각도로 광을 조사할 때 나타나는 그림자를 추상화하여 소자(910)의 그림자에 해당하는 부분은 백색, 소자(910)의 그림자에 해당하지 않는 부분은 흑색으로 표현하여 미리 설정될 수 있다. 도 3에서는 빗금친 부분이 소자(910)의 그림자에 해당하는 부분을 나타낸다. 이때, 상기 그림자 템플릿(900)은 디지털 이미지로 형성되어, 백색의 경우 1의 값을 갖고, 흑색의 경우 0의 값을 갖도록 설정될 수 있다.For example, the shadow template 900 abstracts the shadow that appears when the light is irradiated to the device 910 at a predetermined angle as shown in FIG. 3 so that the portion corresponding to the shadow of the device 910 is white, the device Portions that do not correspond to the shadow of 910 may be preset in black. In FIG. 3, the hatched portion corresponds to the shadow of the element 910. In this case, the shadow template 900 may be formed as a digital image and set to have a value of 1 for white and a value of 0 for black.

상기 그림자 템플릿(900)은 템플릿 결정인자에 의해 정의될 수 있다. 즉, 상기 템플릿 결정인자는 상기 그림자 템플릿(900)을 결정할 수 있으며, 일 예로 상기 소자(910)가 육면체 형상의 칩인 경우 상기 칩의 디멘션(dimension) 및 상기 측정 대상물에 조사되는 격자이미지 광의 조사각도를 포함할 수 있다. 구체적으로, 상기 템플릿 결정인자는 칩의 디멘션에 해당하는 칩의 가로의 길이(X), 세로의 길이(Y) 및 높이(도시되지 않음)를 포함할 수 있으며, 상기 가로 및 세로의 길이와 높이를 포함하는 템플릿 결정인자에 의하여 상기 그림자 템플릿(900)이 정의될 수 있다.The shadow template 900 may be defined by a template determinant. That is, the template determinant may determine the shadow template 900. For example, when the device 910 is a hexahedral chip, the dimension of the chip and the irradiation angle of the grid image light irradiated to the measurement object are determined. It may include. Specifically, the template determinant may include a horizontal length (X), a vertical length (Y) and a height (not shown) of the chip corresponding to the dimensions of the chip, the length and height of the horizontal and vertical The shadow template 900 may be defined by a template determinant including a.

이어서, 복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 상기 측정 대상물의 각 픽셀(pixel)별 그림자 정보를 획득한다(S220).Subsequently, the grid image light is irradiated to the measurement object in a plurality of directions to obtain shadow information for each pixel of the measurement object (S220).

상기 측정 대상물의 각 픽셀별 그림자 정보는 도 1에 일 예로 도시된 3차원 형상 측정장치에 의해서 측정 대상물을 측정한 데이터로부터 용이하게 획득할 수 있다.Shadow information for each pixel of the measurement object may be easily obtained from data obtained by measuring the measurement object by the three-dimensional shape measuring apparatus illustrated in FIG. 1.

다음으로, 복수의 방향으로부터 촬영된 상기 각 픽셀별 그림자 정보를 머징(merging)하여 그림자 맵을 생성한다(S230). 예를 들어 소정의 경사각을 형성하며 네 방향으로 상기 측정 대상물을 측정하는 3차원 형상 측정장치의 경우, 네 방향으로 상기 측정 대상물 상에 위치한 비교 대상 소자(이하 "타겟(target) 소자"라 함)의 그림자가 형성되며, 이를 병합하면 상기 타겟 소자의 주위를 감싸는 그림자 맵을 얻을 수 있다. 예를 들어, 상기 그림자 맵은 픽셀 좌표에 따른 그림자의 존재 유무에 따라 그림자가 존재하면 1, 그림자가 존재하지 않으면 0으로 설정되도록 구성할 수 있다.Next, a shadow map is generated by merging the shadow information for each pixel photographed from a plurality of directions (S230). For example, in the case of a three-dimensional shape measuring apparatus which forms a predetermined inclination angle and measures the measurement object in four directions, a comparison target element located on the measurement object in four directions (hereinafter referred to as a "target element") The shadow of is formed, and when merged, a shadow map that surrounds the target device may be obtained. For example, the shadow map may be configured to be set to 1 if a shadow exists or 0 if a shadow does not exist according to the presence or absence of a shadow according to pixel coordinates.

상기 그림자 맵은, 상기 소자(910)가 소정의 높이 이상이어서 3차원 형상 측정장치의 높이 측정 범위를 넘어서는 경우에도 상기 높이 측정 범위에 독립적이므로, 상기 소자(910)의 높이와 관계없이 보다 명확한 상기 소자(910)의 위치, 크기, 회전정보 등을 획득할 수 있다.remind The shadow map is independent of the height measurement range even when the element 910 is greater than or equal to a predetermined height to exceed the height measurement range of the 3D shape measuring device, and thus the device is more clearly defined regardless of the height of the element 910. The position, size, rotation information, and the like of 910 may be obtained.

이때, 상기 그림자 맵은 타겟 소자의 그림자에 따라 작성되므로, 상기 타겟 소자의 색깔이나 상기 타겟 소자 상에 인쇄된 문자나 도형 등에 독립적이며, 상기 타겟 소자의 주변의 색깔이나 인쇄 모양 등에도 또한 독립적이다. 즉, 상기 타겟 소자는 그림자의 존재 여부에 따라 밝고 어두운 정도만을 나타내므로, 일반적인 2차원 영상보다 명확한 타겟 소자의 형상을 판별할 수 있다.In this case, since the shadow map is created according to the shadow of the target element, the shadow map is independent of the color of the target element, letters or graphics printed on the target element, and also independent of the color, print shape, etc. of the surroundings of the target element. . That is, since the target device displays only light and dark levels depending on the presence of shadows, it is possible to determine the shape of the target device more clearly than a general two-dimensional image.

한편, 상기 타겟 소자를 보다 명확하게 검사하기 위하여 상기 측정 대상물의 각 픽셀별 비저빌리티(visibility) 정보를 획득하여 이를 이용할 수 있다. Meanwhile, in order to more clearly inspect the target device, visibility information for each pixel of the measurement object may be obtained and used.

상기 비저빌리티는 영상의 밝기신호에 있어서 진폭(Bi(x,y))의 평균(Ai(x,y))에 대한 비를 의미하며, 대체로 반사율이 증가함에 따라 증가하는 경향이 있다. 상기 비저빌리티(Vi(x,y))는 다음과 같이 정의된다.The Visionary Stability is according to the brightness signal of the video it means a ratio of the amplitude average (A i (x, y) ) of (B i (x, y) ) , and there is generally a tendency to increase as the reflectance increases. The Visionary Stability (V i (x, y) ) is defined as follows:

Vi(x,y)=Bi(x,y)/Ai(x,y)V i (x, y) = B i (x, y) / A i (x, y)

격자 패턴광이 다양한 방향에서 상기 인쇄회로기판으로 조사되어 다양한 종류의 패턴영상들을 촬영할 수 있는데, 도 1에 도시된 바와 같이 상기 영상 획득부(500)가 상기 카메라(210)에서 촬영된 N개의 패턴영상들로부터 X-Y 좌표계의 각 위치(i(x,y))에서의 N개의 밝기정도들(Ii 1, Ii 2, ... , Ii N)을 추출하고, N-버켓 알고리즘(N-bucket algorithm)을 이용하여 평균밝기(Ai(x,y)) 및 비저빌리티(Vi(x,y))를 산출한다.Lattice pattern light may be irradiated onto the printed circuit board in various directions to capture various types of pattern images. As illustrated in FIG. 1, N patterns of the image acquisition unit 500 photographed by the camera 210 are photographed. From the images, N brightness degrees I i 1 , I i 2 , ..., I i N at each position i (x, y) of the XY coordinate system are extracted, and the N-bucket algorithm (N The average brightness (A i (x, y)) and viability (V i (x, y)) are calculated using the -bucket algorithm.

예를 들어, N=3인 경우와, N=4인 경우는 각각 다음과 같이 비저빌리티를 산출할 수 있다.For example, when N = 3 and when N = 4, viability can be calculated as follows, respectively.

즉, N=3인 경우는,In other words, when N = 3,

Figure 112010006534294-pat00001
Figure 112010006534294-pat00001

Figure 112010006534294-pat00002
Figure 112010006534294-pat00002

와 같이 산출할 수 있고,Can be calculated as

N=4인 경우는,If N = 4,

Figure 112010006534294-pat00003
Figure 112010006534294-pat00003

Figure 112010006534294-pat00004
Figure 112010006534294-pat00004

와 같이 산출할 수 있다.It can be calculated as

상기 비저빌리티 정보는 앞서 설명한 상기 측정 대상물의 각 픽셀별 그림자 정보를 획득하는 과정(S220)과 동일하게 복수의 방향으로 격자이미지 광을 측정 대상물에 조사함으로써 획득될 수 있다. 즉, 각 픽셀별 비저빌리티 정보도 도 1에 일 예로 도시된 3차원 형상 측정장치에 의해서 측정 대상물을 측정한 데이터로부터 용이하게 획득할 수 있다.The visibility information may be obtained by irradiating the measurement object with the grid image light in a plurality of directions in the same manner as in operation S220 of obtaining shadow information for each pixel of the measurement object. That is, the visibility information for each pixel can also be easily obtained from the data measured by the measurement object by the three-dimensional shape measuring apparatus shown in FIG. 1 as an example.

도 4는 비저빌리티 정보를 이용하여 그림자 맵을 생성하는 방법의 일 실시예를 나타낸 흐름도이다.4 is a flowchart illustrating an embodiment of a method of generating a shadow map using visibility information.

도 4를 참조하면, 상기 그림자 맵을 생성하기 위하여, 먼저 각 픽셀별로 상기 그림자 정보에 따른 예비 그림자 맵을 생성한다(S232). 이어서, 상기 예비 그림자 맵에서 상기 비저빌리티 정보를 이용하여 상기 소자(910) 부분을 제외한다(S234). 다음으로, 상기 소자(910) 부분이 제외된 그립자 맵을 확정한다(S236).Referring to FIG. 4, in order to generate the shadow map, first, a preliminary shadow map according to the shadow information is generated for each pixel (S232). Subsequently, the device 910 is excluded from the preliminary shadow map by using the visibility information (S234). Next, the gripper map from which the portion of the device 910 is excluded is determined (S236).

일반적으로 반사율이 주변에 비하여 큰 소자의 경우 비저빌리티는 주변보다 훨씬 큰 값을 나타내므로, 상기 그림자 맵에 상기 비저빌리티 정보가 반영되면 상기 소자(910)의 색깔이 그림자 색깔과 유사한 검정색을 나타내는 경우에도 보다 명확히 그림자를 판별할 수 있다.In general, in the case of a device whose reflectance is larger than its surroundings, the visibility is much larger than its surroundings. Therefore, when the visibility information is reflected in the shadow map, the color of the device 910 is black similar to the shadow color. Even shadows can be distinguished more clearly.

다시 도 2를 참조하면, 이어서, 상기 측정 대상물의 상기 그림자 맵과 상기 그림자 템플릿(900)을 비교하여, 상기 측정 대상물에서 상기 그림자 템플릿(900)에 대응하는 상기 소자(910)의 정보를 획득한다(S240). 상기 소자(910)의 정보는 상기 소자(910)가 존재하는지 여부, 상기 소자(910)의 실제 크기와 배치 상태 등을 포함할 수 있다.Referring back to FIG. 2, next, the shadow map of the measurement object and the shadow template 900 are compared to obtain information of the device 910 corresponding to the shadow template 900 in the measurement object. (S240). Information on the device 910 may include whether the device 910 exists, an actual size and an arrangement state of the device 910.

도 5는 도 2에서 소자의 정보를 획득하는 방법의 일 실시예를 나타낸 흐름도이다.FIG. 5 is a flowchart illustrating an embodiment of a method of obtaining information of a device in FIG. 2.

도 2 및 도 5를 참조하면, 상기 측정 대상물에서 상기 그림자 템플릿(900)에 대응하는 상기 소자(910)의 정보를 획득하기 위하여, 먼저 상기 그림자 템플릿(900)에 대응하는 상기 소자(910)가 상기 측정 대상물에 존재하는지 여부를 판단할 수 있다(S242).2 and 5, in order to obtain information of the device 910 corresponding to the shadow template 900 in the measurement object, the device 910 corresponding to the shadow template 900 is first It may be determined whether or not present in the measurement object (S242).

예를 들면, 소정의 검사영역(또는 관심영역; region of interest)을 설정하여 타겟 소자가 있는지 확인한 후 상기 존재 여부를 확인한다. 이때, 상기 검사영역은, 일 실시예로 상기 측정 대상물에 대한 형상을 기록한 캐드(CAD)정보를 이용하여 설정될 수 있다. 상기 캐드정보는 상기 측정 대상물의 설계정보를 포함한다. 상기 검사영역은, 다른 실시예로 학습모드에 의해 얻어진 학습정보를 이용하여 설정될 수 있다. 상기 학습모드는 인쇄회로기판의 베어보드를 학습하여 인쇄회로기판의 설계 기준정보를 획득하는 것이며, 상기 학습모드를 통하여 학습정보를 획득함으로써 상기 검사영역의 설정에 이용할 수 있다.For example, a predetermined inspection region (or region of interest) is set to check whether there is a target element, and then the existence of the target element is checked. In this case, the inspection area may be set by using CAD information that records the shape of the measurement object. The CAD information includes design information of the measurement object. In another embodiment, the inspection area may be set using learning information obtained by the learning mode. The learning mode is to obtain the design reference information of the printed circuit board by learning the bare board of the printed circuit board, it can be used to set the inspection area by obtaining the learning information through the learning mode.

도 6은 타겟 소자가 그림자 템플릿에 대응하는 소자인지를 비교하는 방법의 일 실시예를 설명하기 위한 개념도이다.FIG. 6 is a conceptual diagram illustrating an embodiment of a method of comparing whether a target device corresponds to a shadow template.

도 6을 참조하면, 타겟 소자(920)가 상기 그림자 템플릿(900)에 대응하는 소자(910)인지를 비교하기 위하여, 먼저 상기 인쇄회로기판 상에 소정의 검사영역(ROI)을 설정한 후 상기 그림자 템플릿(900)의 위치를 초기위치(900a)로부터 순차적으로 이동하면서 상기 그림자 맵과 비교할 수 있다.Referring to FIG. 6, in order to compare whether a target element 920 is an element 910 corresponding to the shadow template 900, first, a predetermined inspection area ROI is set on the printed circuit board. The position of the shadow template 900 may be compared with the shadow map while sequentially moving from the initial position 900a.

상기 비교를 위하여, 먼저 상기 그림자 템플릿(900) 상에 예를 들어 픽셀 좌표에 따라 0, 1로 설정된 값을 상기 그림자 맵과 겹치는 부분 상에 픽셀 좌표에 따라 0, 1로 설정된 값과 서로 곱하여 곱한 값들을 서로 더한다. 이때, 일 예로 도 6에 도시된 상기 그림자 템플릿(900)의 빗금친 부분과 상기 그림자 맵의 빗금친 부분 사이에 서로 겹치는 부분이 많을수록 상기 서로 곱한 값들의 합은 커진다. 이어서, 상기 그림자 템플릿(900)의 위치의 순차적 이동에 따라 최대값을 나타내는 위치를 상기 소자(910)가 존재하는 예비 위치로 정할 수 있다. 이때, 일 예로 도 6에 도시된 상기 그림자 템플릿(900)의 빗금친 부분과 상기 그림자 맵의 빗금친 부분 사이에 서로 겹치는 부분이 가장 많은 경우 상기 서로 곱한 값들의 합은 최대가 되고, 이 경우 상기 그림자 템플릿(900)과 상기 그림자 맵은 거의 일치하게 된다. 다음으로, 상기 최대값이 기준값 이상이면 상기 타겟 소자(920)가 상기 그림자 템플릿(900)에 대응하는 소자(910)임을 확정할 수 있다. 예를 들어, 상기 기준값은 상기 그림자 템플릿(900)의 1로 설정된 픽셀의 개수에 소정 비율을 곱한 값으로 설정될 수 있다.For the comparison, first, a value set to 0, 1 according to pixel coordinates, for example, on the shadow template 900 is multiplied by a value set to 0, 1 according to pixel coordinates on a portion overlapping with the shadow map. Add the values together. In this case, for example, as the overlapped portions between the hatched portions of the shadow template 900 and the shaded portions of the shadow map shown in FIG. 6 increase, the sum of the values multiplied with each other increases. Subsequently, according to the sequential movement of the position of the shadow template 900, a position representing the maximum value may be determined as a preliminary position in which the device 910 exists. At this time, for example, when the overlapped portion between the hatched portion of the shadow template 900 and the shaded portion of the shadow map shown in FIG. 6 is the most, the sum of the values multiplied with each other becomes the maximum. The shadow template 900 and the shadow map are almost identical. Next, if the maximum value is greater than or equal to the reference value, it may be determined that the target element 920 is the element 910 corresponding to the shadow template 900. For example, the reference value may be set to a value obtained by multiplying the number of pixels set to 1 of the shadow template 900 by a predetermined ratio.

상기 그림자 템플릿(900)에 대응하는 소자(910)는 소정의 크기를 가진다. 상기 측정 대상물의 타겟 소자(920)는 이와는 다른 크기를 가질 수 있으며 회전되어 배치되어 있을 수도 있다. 따라서, 상기 그림자 템플릿(900)에 기록된 소자(910)와 상기 타겟 소자(920)를 동일한 소자로 판단하는 소정의 허용치(tolerance)를 설정할 수 있으며, 상기 그림자 맵과 상기 그림자 템플릿(900)은 상기 템플릿 결정인자의 소정 허용치 이내의 범위에서 비교될 수 있다. 예를 들면, 상기 소정의 허용치는 그림자 템플릿(900)에 대응하는 소자(910)의 50% 내지 150% 범위의 가로 길이(X) 및 세로 길이(Y)와 폭(W)의 값을 가질 수 있다. 여기서, 상기 폭(W)은 모든 방향으로 동일할 수도 있지만 각 방향별로 다를 수도 있다. 또한, 상기 그림자 템플릿(900)에 대응하는 소자(910)와 상기 타겟 소자를 동일한 소자로 판단하는 소정의 회전 각도를 설정할 수 있으며, 상기 그림자 맵과 상기 그림자 템플릿(900)은 상기 소정의 회전 각도로 회전하면서 비교될 수 있다.The element 910 corresponding to the shadow template 900 has a predetermined size. The target element 920 of the measurement object may have a different size and may be disposed to be rotated. Accordingly, a predetermined tolerance for determining the device 910 and the target device 920 recorded in the shadow template 900 as the same device may be set, and the shadow map and the shadow template 900 may be The template determinants may be compared within a predetermined allowance. For example, the predetermined tolerance may have a value of a width X and a length Y and a width W in a range of 50% to 150% of the element 910 corresponding to the shadow template 900. have. Here, the width W may be the same in all directions but may be different in each direction. In addition, a predetermined rotation angle for determining the device 910 corresponding to the shadow template 900 and the target device as the same device may be set, and the shadow map and the shadow template 900 may be configured to have the predetermined rotation angle. Can be compared while rotating.

다시 도 5를 참조하면, 이어서 상기 소자(910)가 상기 측정 대상물에 존재하는 경우, 상기 소자, 즉 타겟 소자(920)의 크기, 위치 및 회전각 정보를 획득할 수 있다(S244). 이러한 정보는 상기 그림자 맵을 이용하여 용이하게 획득할 수 있다.Referring back to FIG. 5, when the device 910 is present in the measurement object, information about the size, position, and rotation angle of the device, that is, the target device 920 may be obtained (S244). Such information can be easily obtained using the shadow map.

한편, 상기 측정 대상물에서 상기 그림자 템플릿(900)에 대응하는 상기 소자(910)의 정보를 획득(S140)한 이후에, 상기 소자(910)의 정보는 3차원 형상의 검사방법에 있어서 다양한 방법으로 활용될 수 있다.On the other hand, after acquiring the information of the device 910 corresponding to the shadow template 900 from the measurement object (S140), the information of the device 910 is determined in various ways in a three-dimensional inspection method. Can be utilized.

예를 들면, 상기 소자(910)의 정보를 이용하여 상기 그림자 템플릿(900)에 대응하는 상기 소자의 불량 여부를 판단할 수 있다(S250).For example, it may be determined whether the device corresponding to the shadow template 900 is defective by using the information of the device 910 (S250).

즉, 상기 크기 정보, 회전 정보 등을 이용하여 상기 소자가 측정 대상물 상에 제대로 배치되어 있는지를 확인함으로써, 상기 소자의 불량 여부를 판단할 수 있다. 이와는 다르게, 상기 소자의 정보를 이용하여 상기 측정 대상물의 정보에서 상기 소자에 관한 정보를 제외함으로써 다른 소자나 부품의 정보를 획득할 수도 있다.That is, it is possible to determine whether the device is defective by checking whether the device is properly disposed on the measurement object using the size information, the rotation information, and the like. Alternatively, the information of another device or part may be obtained by excluding the information about the device from the information of the measurement object by using the information of the device.

한편, 상기 소자의 정보 중 상기 소자의 일부를 추출하여 제거하고, 상기 제거된 소자의 나머지 정보를 이용하여 상기 소자의 불량 여부를 판단할 수 있다.Meanwhile, a part of the device may be extracted and removed from the information of the device, and the remaining information of the removed device may be used to determine whether the device is defective.

예를 들어, 상기 소자가 인쇄회로기판 상에 형성된 칩인 경우 칩의 바디(body)를 제외하고 상기 칩의 바디로부터 연장된 터미널의 정보, 상기 칩의 터미널과 연결된 패드의 정보 등을 노이즈 없이 획득할 수도 있다. 따라서, 이와 같이 획득된 정보를 이용하여 이러한 부품들의 불량 여부도 판단할 수 있다.For example, when the device is a chip formed on a printed circuit board, information of a terminal extending from the chip body except for the body of the chip and information of a pad connected to the terminal of the chip may be obtained without noise. It may be. Therefore, it is also possible to determine whether these parts are defective by using the information thus obtained.

일 실시예로, 상기 소자가 인쇄회로기판 상에 형성된 칩인 경우, 먼저 상기 칩의 몸체인 칩 바디(body)를 추출하고, 이어서 상기 칩에 대한 칩 정보로부터 상기 칩 바디에 대한 칩 바디 정보를 제거하고, 다음으로 상기 칩 바디 정보가 제거된 칩 정보로부터 상기 인쇄회로기판 상에 형성된 상기 칩의 불량 형성 여부, 즉 상기 칩의 터미널과 패드 사이의 연결 상태를 판단할 수 있다.In an embodiment, when the device is a chip formed on a printed circuit board, first, a chip body which is a body of the chip is extracted, and then chip body information for the chip body is removed from chip information for the chip. Next, from the chip information from which the chip body information is removed, it is possible to determine whether the chip formed on the printed circuit board is defective, that is, a connection state between the terminal of the chip and the pad.

이와 같이 본 발명에 따르면, 소자의 그림자에 따른 그림자 맵을 이용하여 원하는 소자를 추출하므로 2차원 영상을 이용하여 소자를 추출하는 경우에 비하여 소자의 색상이나 조명에 민감하지 않으며 소자의 디멘션이 변경된 경우에도 용이하게 상기 소자를 판별할 수 있다.As described above, according to the present invention, since the desired device is extracted using the shadow map according to the shadow of the device, the device is not sensitive to the color or lighting of the device as compared with the case of extracting the device using the 2D image, and the dimension of the device is changed. The device can be easily identified.

또한, 영상에서 소자 주변에 패턴이나 실크 등의 노이즈, 또는 소자 내부에 카메라에 의한 노이즈 등의 영향을 받지 않을 수 있으며, 주변에 패드 영역과 같이 혼동될 수 있는 다른 소자가 있어도 템플릿과 비교하여 상기 소자를 판별하므로, 정확히 소자를 추출할 수 있다. In addition, the image may not be affected by noise such as a pattern or silk around the device, or noise caused by a camera inside the device, and compared with the template even when there are other devices around the device such as pad areas. Since the device is discriminated, the device can be extracted accurately.

또한, 소자의 높이가 소정의 측정가능 범위를 넘어서는 경우에도, 그림자는 소자의 측정가능 범위와 상관없이 생성되므로 상기 소자의 높이와 관계없이 보다 명확한 상기 소자의 위치, 크기, 회전정보 등을 획득할 수 있다.In addition, even when the height of the device exceeds a predetermined measurable range, the shadow is generated regardless of the measurable range of the device, so that the position, size, rotation information, etc. of the device can be obtained more clearly regardless of the height of the device. Can be.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이다.  따라서, 전술한 설명 및 아래의 도면은 본 발명의 기술사상을 한정하는 것이 아닌 본 발명을 예시하는 것으로 해석되어야 한다.While the present invention has been described in connection with what is presently considered to be practical and exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention. Therefore, the above description and the drawings below should be construed as illustrating the present invention, not limiting the technical spirit of the present invention.

10 : 측정 대상물 100 : 측정 스테이지부
200 : 영상 촬영부 300 : 제1 조명부
400 : 제2 조명부 500 : 영상 획득부
600 : 모듈 제어부 700 : 중앙 제어부
900 : 그림자 템플릿 910 : 소자
920 : 타겟 소자 ROI : 검사 영역
10: measuring object 100: measuring stage part
200: image capturing unit 300: first lighting unit
400: second lighting unit 500: image acquisition unit
600: module control unit 700: central control unit
900: shadow template 910: device
920 target element ROI: inspection area

Claims (8)

소정의 소자의 그림자를 추상화한 그림자 템플릿을 생성하는 단계;
복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 상기 측정 대상물의 각 픽셀별 그림자 정보를 획득하는 단계;
복수의 방향으로부터 촬영된 상기 각 픽셀별 그림자 정보를 머징(merging)하여 그림자 맵(map)을 생성하는 단계; 및
상기 측정 대상물의 상기 그림자 맵과 상기 그림자 템플릿을 비교하여, 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계를 포함하는 3차원 형상 검사방법.
Generating a shadow template that abstracts a shadow of a predetermined device;
Irradiating grating image light to a measurement object in a plurality of directions to obtain shadow information for each pixel of the measurement object;
Merging the shadow information of each pixel photographed from a plurality of directions to generate a shadow map; And
And comparing the shadow map of the measurement object with the shadow template to obtain information of the device corresponding to the shadow template in the measurement object.
제1항에 있어서,
복수의 방향으로 격자이미지 광을 측정 대상물에 조사하여 상기 측정 대상물의 각 픽셀별 비저빌리티(visibility) 정보를 획득하는 단계를 더 포함하고,
상기 그림자 맵을 생성하는 단계는,
각 픽셀별로 상기 그림자 정보에 따른 예비 그림자 맵을 생성하는 단계;
상기 예비 그림자 맵에서 상기 비저빌리티 정보를 이용하여 상기 소자 부분을 제외하는 단계; 및
상기 소자 부분이 제외된 그립자 맵을 확정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 1,
Illuminating the measurement object with the grid image light in a plurality of directions to obtain visibility information for each pixel of the measurement object,
Generating the shadow map,
Generating a preliminary shadow map according to the shadow information for each pixel;
Excluding the device portion from the preliminary shadow map using the visibility information; And
And determining the gripper map from which the device portion is excluded.
제1항에 있어서, 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계는,
상기 그림자 템플릿에 대응하는 상기 소자가 상기 측정 대상물에 존재하는지 여부를 판단하는 단계; 및
상기 소자가 상기 측정 대상물에 존재하는 경우, 상기 소자의 크기, 위치 및 회전각 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 1, wherein the obtaining of the information corresponding to the shadow template from the measurement object comprises:
Determining whether the element corresponding to the shadow template exists in the measurement object; And
And obtaining the size, position, and rotation angle information of the device when the device is present in the measurement object.
제3항에 있어서, 상기 그림자 템플릿에 대응하는 상기 소자가 상기 측정 대상물에 존재하는지 여부를 판단하는 단계는,
상기 소자가 형성된 인쇄회로기판 상에 소정의 검사영역을 설정하는 단계; 및
상기 그림자 템플릿의 위치를 초기위치로부터 순차적으로 이동하면서 상기 그립자 맵과 비교하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 3, wherein the determining of whether the element corresponding to the shadow template is present in the measurement object comprises:
Setting a predetermined inspection area on a printed circuit board on which the device is formed; And
And comparing the position of the shadow template with the gripper map while sequentially moving the position of the shadow template from an initial position.
제4항에 있어서, 상기 그림자 템플릿의 위치를 초기위치로부터 순차적으로 이동하면서 상기 그림자 맵과 비교하는 단계는,
상기 그림자 템플릿 상에 픽셀 좌표에 따라 0, 1로 설정된 값을 상기 그립자 맵과 겹치는 부분 상에 픽셀 좌표에 따라 0, 1로 설정된 값과 서로 곱하여 곱한 값들을 서로 더하는 단계;
상기 그림자 템플릿의 위치의 순차적 이동에 따라 최대값을 나타내는 위치를 상기 소자가 존재하는 예비 위치로 정하는 단계; 및
상기 최대값이 기준값 이상이면 상기 소자가 상기 그림자 템플릿에 대응하는 소자임을 확정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 4, wherein comparing the shadow template with the shadow map while sequentially moving the position of the shadow template from an initial position includes:
Adding values obtained by multiplying a value set to 0 and 1 according to pixel coordinates on the shadow template by multiplying the value set to 0 and 1 according to pixel coordinates on a portion overlapping with the gripper map;
Setting a position indicating a maximum value as a preliminary position in which the device exists according to the sequential movement of the position of the shadow template; And
And determining that the device corresponds to the shadow template when the maximum value is greater than or equal to the reference value.
제1항에 있어서, 상기 측정 대상물에서 상기 그림자 템플릿에 대응하는 상기 소자의 정보를 획득하는 단계 이후에,
상기 그림자 템플릿에 대응하는 상기 소자의 불량 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 1, wherein after obtaining information of the device corresponding to the shadow template from the measurement object,
And determining whether the device corresponding to the shadow template is defective.
삭제delete 제1항에 있어서,
상기 그림자 템플릿은 상기 소자의 디멘션(dimension) 및 상기 측정 대상물에 조사되는 격자이미지 광의 조사각도를 포함하는 템플릿 결정인자에 의해 정의되고,
상기 그림자 맵과 상기 그림자 템플릿은 상기 템플릿 결정인자의 소정 허용치 이내의 범위에서 비교되는 것을 특징으로 하는 3차원 형상 검사방법.
The method of claim 1,
The shadow template is defined by a template determinant including dimensions of the device and an irradiation angle of grid image light irradiated to the measurement object.
And the shadow map and the shadow template are compared within a predetermined allowable value of the template determinant.
KR1020100008689A 2009-07-03 2010-01-29 Method of inspecting three-dimensional shape Active KR101133641B1 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020100008689A KR101133641B1 (en) 2010-01-29 2010-01-29 Method of inspecting three-dimensional shape
JP2010151711A JP5256251B2 (en) 2009-07-03 2010-07-02 Inspection method of measurement object
TW099121806A TWI432699B (en) 2009-07-03 2010-07-02 Method for inspecting measurement object
TW102148712A TWI467128B (en) 2009-07-03 2010-07-02 Method for inspecting measurement object
DE102010064635.0A DE102010064635B4 (en) 2009-07-03 2010-07-02 Method for examining a measurement object
US12/829,670 US8369603B2 (en) 2009-07-03 2010-07-02 Method for inspecting measurement object
DE102010030859.5A DE102010030859B4 (en) 2009-07-03 2010-07-02 A method of inspecting a target mounted on a substrate
CN201010224622.4A CN101943572B (en) 2009-07-03 2010-07-05 Method for detecting and measuring objects
CN201210445858.XA CN102980533B (en) 2009-07-03 2010-07-05 Method for inspecting measurement object
US13/679,390 US8548224B2 (en) 2009-07-03 2012-11-16 Method for inspecting measurement object
US13/936,065 US8724883B2 (en) 2009-07-03 2013-07-05 Method for inspecting measurement object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100008689A KR101133641B1 (en) 2010-01-29 2010-01-29 Method of inspecting three-dimensional shape

Publications (2)

Publication Number Publication Date
KR20110088943A KR20110088943A (en) 2011-08-04
KR101133641B1 true KR101133641B1 (en) 2012-04-10

Family

ID=44927312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100008689A Active KR101133641B1 (en) 2009-07-03 2010-01-29 Method of inspecting three-dimensional shape

Country Status (1)

Country Link
KR (1) KR101133641B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784276B1 (en) 2015-02-27 2017-10-12 주식회사 고영테크놀러지 Board inspection method and system
WO2016137130A1 (en) * 2015-02-27 2016-09-01 주식회사 고영테크놀러지 Substrate inspection method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11307567A (en) 1998-02-20 1999-11-05 Fujitsu Ltd Manufacturing method of semiconductor device having bump inspection step
JP2003085565A (en) 2001-09-07 2003-03-20 Dainippon Screen Mfg Co Ltd Constract pattern matching device and method
KR20050045511A (en) * 2003-11-11 2005-05-17 박승한 Apparatus and method for measuring three-dimensional shape
KR20080027616A (en) * 2006-09-25 2008-03-28 주식회사 고영테크놀러지 3D shape measurement system using multiple interferometer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11307567A (en) 1998-02-20 1999-11-05 Fujitsu Ltd Manufacturing method of semiconductor device having bump inspection step
JP2003085565A (en) 2001-09-07 2003-03-20 Dainippon Screen Mfg Co Ltd Constract pattern matching device and method
KR20050045511A (en) * 2003-11-11 2005-05-17 박승한 Apparatus and method for measuring three-dimensional shape
KR20080027616A (en) * 2006-09-25 2008-03-28 주식회사 고영테크놀러지 3D shape measurement system using multiple interferometer

Also Published As

Publication number Publication date
KR20110088943A (en) 2011-08-04

Similar Documents

Publication Publication Date Title
JP5256251B2 (en) Inspection method of measurement object
KR101251372B1 (en) Three dimension shape measuring method
CN104335030B (en) Method for detecting foreign matter on substrate
JP5562407B2 (en) Substrate inspection apparatus and inspection method
KR101078781B1 (en) Method of inspecting a three dimensional shape
JP5690774B2 (en) Inspection method
KR101614061B1 (en) Apparatus for joint inspection
KR101237497B1 (en) Method of setting inspection area
JP2019100917A (en) Inspection program generation system, generation method of inspection program and generation program of inspection program
KR20120052087A (en) Method of inspecting board
KR101144749B1 (en) Method for inspecting joint error of an element formed on a printed circuit board
KR101622628B1 (en) Method and apparatus of inspecting a substrate with electronic devices mounted thereon
KR101215083B1 (en) Method for generating height information of board inspection apparatus
KR101056995B1 (en) 3D shape inspection method
KR101133641B1 (en) Method of inspecting three-dimensional shape
KR101133972B1 (en) Method of inspecting terminal
KR101216453B1 (en) Inspection method of measuring object
KR101132792B1 (en) Method of inspecting substrate
KR101311255B1 (en) Inspection method of measuring object
KR101544763B1 (en) Method of inspecting terminal
JP2017181270A (en) Inspection method and inspection device
KR20120049196A (en) Three dimension shape measuring method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150310

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20160303

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000