KR101190125B1 - Method of three dimensional mesurement - Google Patents
Method of three dimensional mesurement Download PDFInfo
- Publication number
- KR101190125B1 KR101190125B1 KR1020100035255A KR20100035255A KR101190125B1 KR 101190125 B1 KR101190125 B1 KR 101190125B1 KR 1020100035255 A KR1020100035255 A KR 1020100035255A KR 20100035255 A KR20100035255 A KR 20100035255A KR 101190125 B1 KR101190125 B1 KR 101190125B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- measurement
- image
- measurement objects
- substrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
Abstract
검사의 정확성을 향상시킬 수 있는 3차원 형상 측정방법이 개시된다. 이러한 3차원 형상 측정방법은 다수의 측정 대상물이 형성된 기판을 향해 광을 조사하고 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 이미지를 획득하는 단계와, 상기 획득된 이미지의 검사 영역 중에서, 제1 측정 대상물이 위치하는 제1 오브젝트 영역 및 제2 측정 대상물이 위치하는 제2 오브젝트 영역과 상기 검사영역 중에서 상기 제1 및 제2 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계와, 상기 다수의 측정대상물이 형성된 기판을 향해 패턴광을 조사하고 상기 다수의 측정대상물이 형성된 기판으로부터 반사된 패턴광을 수광하여 패턴 이미지를 획득하는 단계, 및 상기 획득된 패턴 이미지의 각 지점에서의 위상을 획득하고 상기 제1 및 제2 오브젝트 영역의 위상 및 상기 바닥영역의 위상을 이용하여 상기 다수의 측정대상물의 위상을 획득하는 단계를 포함한다.Disclosed is a three-dimensional shape measurement method that can improve the accuracy of inspection. The three-dimensional shape measuring method may be configured to obtain an image by irradiating light toward a substrate on which a plurality of measurement objects are formed and receiving light reflected from the substrate on which the plurality of measurement objects are formed, and among the inspection areas of the obtained image. Determining a bottom area excluding the first and second object areas from among the first object area in which the first measurement object is located and the second object area in which the second measurement object is located, and the inspection area; Irradiating pattern light toward the substrate on which the measurement object is formed, receiving pattern light reflected from the substrate on which the plurality of measurement objects are formed, obtaining a pattern image, and obtaining a phase at each point of the obtained pattern image; The plurality of sides using phases of the first and second object regions and phases of the bottom region; Obtaining a phase of the object.
Description
본 발명은 3차원 형상 측정 방법에 관한 것으로, 보다 상세히 모아레 패턴을 이용한 위상시프트 방식을 이용한 3차원 형상 측정 방법에 관한 것이다.The present invention relates to a three-dimensional shape measurement method, and more particularly to a three-dimensional shape measurement method using a phase shift method using a moire pattern.
전자장비들은 눈부신 발전을 거듭하며, 점차 경량화 소형화가 진행되어 왔다. 따라서, 이들 전자장비들의 제조공정에서 오류가 발생될 가능성이 증대되고 있으며, 이를 검출하기 위한 장비들 또한 이에 발맞추어 개량되고 있다.Electronic equipment has developed remarkably, and lightweight and miniaturization has been gradually progressed. Therefore, the possibility of an error occurring in the manufacturing process of these electronic equipment is increasing, and the equipment for detecting it is also being improved accordingly.
최근들어 3차원 형상측정 기술은 공학분야에만 국한되지 않고, 그 응용분야를 다양한 범위로 확장하고 있다. 이러한 분야의 요구를 만족시킬 수 있는 3차원 형상측정기술로 과거에는 3차원좌표 측정기(CMM)를 이용한 접촉식 측정법이 있었으나, 광학이론을 바탕으로 하는 비접촉 3차원 형상측정기술에 대한 활발한 연구가 진행되고 있다.In recent years, three-dimensional shape measurement technology is not limited to the engineering field, but is expanding its application to various ranges. As a three-dimensional shape measurement technology that can satisfy the needs of these fields, in the past, there has been a contact measurement method using a three-dimensional coordinate measuring machine (CMM), but active research on the non-contact three-dimensional shape measurement technology based on optical theory is in progress. It is becoming.
대표적인 비접촉 측정법의 하나인 모아레 현상을 이용한 3차원 형상 측정법은, 위상이 이동된 격자패턴을 조사하여 xy평면상의 각 지점에서의 높이를 검출함으로써, 3차원 형상을 측정하게 된다.In the three-dimensional shape measuring method using the moire phenomenon, which is one of typical non-contact measuring methods, the three-dimensional shape is measured by detecting the height at each point on the xy plane by examining the grid pattern whose phase is shifted.
보다 상세히, 측정영역(FOV)에 격자패턴을 조사하고, 측정 대상물이 형성된 검사영역(ROI)을 조사하게 되는데, 종래의 방법에 의하면 검사영역에서 측정 대상물이 형성된 오브젝트 영역을 찾지 않고, 측정 대상물의 CAD 상의 위치에 측정 대상물이 형성되어 있다고 가정하였다.In more detail, the grid pattern is irradiated to the measurement area FOV, and the inspection area ROI in which the measurement object is formed is irradiated. According to the conventional method, the object area in which the measurement object is formed in the inspection area is not found, It is assumed that a measurement object is formed at a position on the CAD.
그러나, 기판의 휨(warpage) 등이 있는 경우, CAD 상의 위치와 일치하지 않아서, 검사의 정확성이 떨어지는 문제점이 있었다.However, when there is warpage of the substrate or the like, there is a problem that the accuracy of inspection is inferior because it does not coincide with the position on the CAD.
특히, 도 1과 같이, 다수의 범프를 갖는 반도체를 위한 인쇄회로기판 등이 대상인 경우에는 측정 대상물의 촘촘하게 있어 이때, 오브젝트 영역 외곽의 바닥 영역 확인이 용이하지 않고, 반복성이 떨어지는 문제점이 있었다.In particular, as shown in FIG. 1, when a printed circuit board for a semiconductor having a plurality of bumps is an object, the measurement object is densely formed, and at this time, it is not easy to check the bottom region outside the object region and the repeatability is poor.
본 발명이 해결하고자 하는 과제는 검사의 정확성 및 반복성을 향상시킬 수 있는 3차원 형상 측정방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a three-dimensional shape measurement method that can improve the accuracy and repeatability of the inspection.
이러한 과제를 해결하기 위한, 본 발명의 예시적인 일 실시예에 의한 3차원 형상 측정방법은, 다수의 측정 대상물이 형성된 기판을 향해 광을 조사하고 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 이미지를 획득하는 단계와, 상기 획득된 이미지의 검사 영역 중에서, 제1 측정 대상물이 위치하는 제1 오브젝트 영역 및 제2 측정 대상물이 위치하는 제2 오브젝트 영역과 상기 검사영역 중에서 상기 제1 및 제2 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계와, 상기 다수의 측정대상물이 형성된 기판을 향해 패턴광을 조사하고 상기 다수의 측정대상물이 형성된 기판으로부터 반사된 패턴광을 수광하여 패턴 이미지를 획득하는 단계, 및 상기 획득된 패턴 이미지의 각 지점에서의 위상을 획득하고 상기 제1 및 제2 오브젝트 영역의 위상 및 상기 바닥영역의 위상을 이용하여 상기 다수의 측정대상물의 위상을 획득하는 단계를 포함한다.In order to solve this problem, a three-dimensional shape measuring method according to an exemplary embodiment of the present invention, irradiates light toward a substrate on which a plurality of measurement objects are formed and reflects light reflected from the substrate on which the plurality of measurement objects are formed. Receiving an image and acquiring an image, and among the inspection areas of the acquired image, a first object area in which a first measurement object is located and a second object area in which a second measurement object is located, and the first and second inspection areas in the inspection area. Determining a bottom region excluding a second object region, irradiating pattern light toward a substrate on which the plurality of measurement objects are formed, and receiving pattern light reflected from a substrate on which the plurality of measurement objects are formed to obtain a pattern image And obtaining a phase at each point of the obtained pattern image and generating the first and second object zeros. And the phase and the phase of the bottom region includes a step of obtaining a phase of the plurality of measurement object.
본 발명의 예시적인 다른 실시예에 의한 3차원 형상 측정방법은, 다수의 측정 대상물이 형성된 기판을 향해 광을 조사하고 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 이미지를 획득하는 단계와, 상기 획득된 이미지의 검사 영역 중에서, 상기 측정 대상물이 위치하는 오브젝트영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계와, 상기 다수의 측정대상물이 형성된 기판을 향해 적어도 두개 이상의 방향에서 각각 패턴광을 조사하고 상기 다수의 측정대상물이 형성된 기판으로부터 반사된 적어도 두 개 이상의 패턴 이미지를 각각 획득하는 단계, 및 상기 획득된 적어도 두 개 이상의 패턴 이미지의 각 지점에서의 위상을 각각 획득하고 상기 바닥영역의 위상을 이용하여 상기 다수의 측정대상물의 위상을 각각 획득하는 단계를 포함한다.According to another exemplary embodiment of the present invention, a method for measuring a three-dimensional shape includes obtaining an image by irradiating light toward a substrate on which a plurality of measurement objects are formed and receiving light reflected from the substrate on which the plurality of measurement objects are formed. Determining an object area in which the measurement object is located and a bottom area except the object area in the inspection area of the acquired image, and at least two or more toward the substrate on which the plurality of measurement objects are formed. Irradiating pattern light in a direction, respectively, and acquiring at least two or more pattern images reflected from the substrate on which the plurality of measurement objects are formed, and respectively acquiring a phase at each point of the obtained at least two pattern images And the plurality of measurements using the phase of the bottom region. And a step of obtaining a phase water phase, respectively.
한편, 획득된 이미지의 검사 영역 중에서, 상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계는, 상기 획득된 이미지의 각지점에서 인텐시티(Intensity)정보를 획득하고, 상기 인텐시티(Intensity)를 제1축으로하고, 해당 인텐시티(Intensity)에 대응하는 각 지점의 갯수를 제2축으로 하는 계조 히스토그램을 형성하는 단계와, 상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득하는 단계, 및 상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계를 포함할 수 있다.Meanwhile, in the inspecting region of the acquired image, determining the object region in which the plurality of measurement objects are located and the bottom region except the object region in the inspection region may include intensity at each point of the acquired image. Obtaining information, forming an intensity histogram as a first axis, and forming a gray level histogram having the number of points corresponding to the intensity as a second axis; and the object area from the gray histogram. And obtaining a boundary of the floor area, and determining a floor area excluding the object area among the object area in which the plurality of measurement objects are located and the inspection area.
이때, 상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득하는 단계는, 상기 계조 히스토그램에서 최소의 갯수 범위에 대응하는 인텐시티에 대응하는 영역을 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하거나, 또는 상기 오브젝트 영역으로 결정된 영역을 팽창시킨 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하는 단계를 포함할 수 있다.The obtaining of the boundary between the object area and the bottom area from the gray level histogram may include determining a region corresponding to an intensity corresponding to a minimum number range in the gray level histogram as the boundary between the object area and the floor area. Or determining the boundary in which the area determined as the object area is expanded as a boundary between the object area and the bottom area.
이와 다르게, 상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득하는 단계는, 상기 계조 히스토그램에서 Otsu 알고리즘을 이용하여 결정된 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하거나, 또는 상기 오브젝트 영역으로 결정된 영역을 팽창시킨 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하는 단계를 할 수 있다.Alternatively, obtaining a boundary between the object region and the bottom region from the gradation histogram may include determining a boundary determined by an Otsu algorithm in the gradation histogram as a boundary between the object region and the bottom region, or the object. The boundary in which the area determined as the area is expanded may be determined as a boundary between the object area and the bottom area.
한편, 레퍼런스 데이터에 의한 위치 정보와 상기 오브젝트 영역들의 크기와 주변의 상관관계를 고려하여 위상들의 노이즈를 제거하는 단계를 더 포함할 수 있다.Meanwhile, the method may further include removing noise of phases in consideration of positional information based on reference data and a correlation between the size of the object regions and the surroundings.
또한, 다수의 측정 대상물이 형성된 기판을 향해 광을 조사하고 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 이미지를 획득하는 단계는, 복수의 컬러 조명을 상기 다수의 측정 대상물이 형성된 기판을 향해 조사하여 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 복수의 컬러 이미지를 획득하는 단계를 포함할 수 있다.In addition, the step of irradiating light toward the substrate on which the plurality of measurement targets are formed and receiving light reflected from the substrate on which the plurality of measurement targets is formed, obtaining an image may include a plurality of color illumination substrates on which the plurality of measurement targets are formed. And receiving light reflected from the substrate on which the plurality of measurement objects are formed to irradiate toward to obtain a plurality of color images.
이때, 상기 컬러 이미지를 획득하는 단계는, 적색 조명, 녹색 조명 및 청색 조명을 각각 조사하여 적색 이미지, 녹색 이미지 및 청색 이미지를 각각 획득하거나 적어도 두 개 이상의 조명을 함께 조사하여 이미지를 획득할 수 있다.In this case, the obtaining of the color image may be performed by irradiating red, green, and blue lights, respectively, to obtain a red image, a green image, and a blue image, respectively, or at least two or more lights together to obtain an image. .
또한, 상기 획득된 이미지의 검사 영역 중에서, 상기 다수의 측정 대상물이 위치하는 오브젝트 영역 과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계는, 상기 획득된 이미지의 각 지점에서 재질에 따라 구분되는 색상 정보를 획득하고 획득된 상기 재질에 따라 구분되는 색상 정보가 저장되는 색상정보 맵(map)을 생성하는 단계와, 상기 색상정보 맵을 이용하여 상기 오브젝트 영역과 상기 바닥 영역을 구분하는 단계, 및 상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계를 포함할 수 있다.The determining of the object area in which the plurality of objects to be measured and the floor area excluding the object area from the inspection area may be determined among the inspection areas of the acquired image according to the material at each point of the acquired image. Acquiring color information to be distinguished and generating a color information map storing color information distinguished according to the obtained material; and separating the object area and the floor area using the color information map. And determining a bottom area excluding the object area among the object area in which the plurality of measurement objects are located and the inspection area.
이때, 상기 색상정보 맵은 채도맵이고, 상기 채도맵을 생성하는 단계는, 상기 컬러 이미지에 대한 색좌표 변환을 통하여 컬러별 색상(hue), 채도(saturation) 및 명도(intensity) 정보를 획득하는 단계, 및 상기 컬러별 채도 정보를 이용하여 상기 채도맵을 생성하는 단계를 포함할 수 있다.In this case, the color information map is a saturation map, and the generating of the saturation map may include obtaining hue, saturation, and intensity information for each color through color coordinate conversion of the color image. And generating the saturation map by using the saturation information for each color.
또한, 상기 검사 영역은 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 획득한 이미지의 전체 영역이 될 수 있다.The inspection area may be an entire area of an image obtained by receiving light reflected from a substrate on which the plurality of measurement objects are formed.
또한, 상기 다수의 측정 대상물에 대하여, 동일한 상기 바닥영역의 위상을 적용할 수 있다.In addition, the same phase of the bottom region may be applied to the plurality of measurement objects.
이러한 본 발명에 의하면, 기판의 휨(warpage), 솔더형성 위치의 오류, 솔더의 과납 또는 오납 등에 기인한 측정 대상물의 위치가 불분명 할 때, 실제 측정된 2차원 이미지를 이용하여 측정 대상물과 기판 표면의 경계를 분명하고 바닥 영역 측정된 위상을 평균하여 바닥 위상의 신뢰도롤 향상시킴으로써, 3차원 형상측정의 정확성을 향상시킬 수 있다.According to the present invention, when the position of the measurement object due to the warpage of the substrate, the position of the solder formation position, the overpayment or the soldering of the solder is unclear, the measurement object and the substrate surface using the actual measured two-dimensional image By improving the reliability of the floor phase by clearing the boundary of the floor and averaging the measured phase of the floor area, the accuracy of the three-dimensional shape measurement can be improved.
또한, 상기 검사 영역의 위상은 적어도 두 개 이상의 방향에서 획득하고, 두 개 이상의 방향에서 획득된 상기 검사 영역의 위상에서 상기 바닥 영역의 위상을 일치시킴으로써, 검사의 정확성을 향상시키고, 또한 2차원 검사에 의해 확정된 바닥 영역을 여러 방향에서 측정된 데이터에 활용하여 각각의 방향에서 획득된 위상마다 검사 영역과 바닥영역을 구분하지 않음으로써, 검사시간을 단축 시킬 수 있다.In addition, the phase of the inspection area is obtained in at least two directions, and the phase of the bottom area is matched in the phase of the inspection area obtained in two or more directions, thereby improving the accuracy of the inspection and furthermore, the two-dimensional inspection. The inspection area can be shortened by utilizing the floor area determined by the method in the data measured in various directions by not distinguishing the inspection area and the floor area for each phase acquired in each direction.
또한, 검사영역에 측정대상물이 촘촘히 존재하여 각각의 측정대상물에 대한 검사영역의 설정이 용이하지 않고 또한 바닥영역의 면적이 좁아 바닥영역에 대한 신뢰성이 낮을 때 측정영역 전체에서 바닥영역의 위상을 획득하여 반복성을 향상시킬 수 있다.In addition, because the measurement objects are densely present in the inspection area, it is not easy to set the inspection area for each measurement object and when the reliability of the floor area is low because the area of the floor area is narrow, the phase of the floor area is acquired throughout the measurement area. The repeatability can be improved.
도 1은 측정 대상물이 촘촘히 존재하는 반도체의 경우를 도시한 평면도이다.
도 2a는 모아레 패턴을 이용한 위상시프트 방식을 이용한 3차원 형상 측정 장치의 촬영부에서 관측되는 측정 영역을 도시한 개략도이다.
도 2b는 검사 영역이 측정 영역과 동일한 경우로서, 검사 영역 내에 다수의 측정 대상물이 형성된 것을 도시한 개략도이다.
도 3는 도 2a에서 도시된 I-I' 선분에 의한 단면을 도시한 개략도이다.
도 4는 도 3의 측정 대상물의 개략적인 위상 다이어그램이다.
도 5는 도 4에서 도시된 위상을 보정한 위상 다이어그램이다.
도 6은 인텐시티와 빈도수를 나타낸 계조 히스토그램의 개략도이다.
도 7a 및 7b는 위상과 빈도수를 나타낸 위상 히스토그램의 개략도로서 각각 노이즈 제거 전과 노이즈 제거 후를 도시한다.1 is a plan view illustrating a semiconductor in which a measurement object is densely present.
FIG. 2A is a schematic diagram illustrating a measurement area observed from a photographing unit of a three-dimensional shape measuring device using a phase shift method using a moire pattern. FIG.
FIG. 2B is a schematic diagram illustrating a case where a plurality of measurement objects are formed in the inspection area when the inspection area is the same as the measurement area.
FIG. 3 is a schematic view showing a cross section taken along line II ′ shown in FIG. 2A.
4 is a schematic phase diagram of the measurement object of FIG. 3.
FIG. 5 is a phase diagram of correcting the phase shown in FIG. 4.
6 is a schematic diagram of a gradation histogram showing intensity and frequency.
7A and 7B are schematic diagrams of phase histograms showing phases and frequencies, showing before and after noise removal, respectively.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, and that one or more other features It should be understood that it does not exclude in advance the possibility of the presence or addition of numbers, steps, actions, components, parts or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 본 발명의 이해를 위해서, 모아레 패턴을 이용한 위상천이 방식에 의한 3차원 형상측정방법을 간단히 설명한다.Hereinafter, for the understanding of the present invention, a three-dimensional shape measuring method by a phase shift method using a moire pattern will be briefly described.
모아레 패턴을 이용한 위상천이 방식에서는 격자 무늬 이미지를 측정 대상물에 조사하고, 측정 대상물로부터 반사되는 격자 이미지를 관측하여 3차원 형상을 측정한다.In the phase shift method using a moiré pattern, the grid pattern image is irradiated to the measurement object, and the grid image reflected from the measurement object is observed to measure a three-dimensional shape.
이때, 기판의 표면의 각 위치를 xy평면으로 가정하고, 각 x, y좌표값에 대응하는 광의 인텐시티값은 아래의 수학식 1로 표현될 수 있다.In this case, it is assumed that each position of the surface of the substrate as the xy plane, and the intensity value of light corresponding to each x and y coordinate value may be expressed by Equation 1 below.
이 식에서, I는 측정광의 강도, D는 DC광 강도(조명 광 강도 및 물체의 반사율의 함수), γ는 시감도(visibility, 물체의 반사율 및 격자주기의 함수)이다. 예컨대, 4-버킷(bucket)알고리즘의 경우, 아래첨자는 1,2,3 및 4를 가질 수 있으며, 각각, 위상을 변화시키지 않았을때, 90도, 180도 270도 변화시켰을 때를 나타낸다.
In this equation, I is the intensity of the measured light, D is the DC light intensity (a function of illumination light intensity and the reflectivity of the object), and γ is the visibility, a function of the reflectance of the object and the grating period. For example, in the case of a four-bucket algorithm, the subscripts may have 1,2,3 and 4, respectively, when the phases are changed by 90 degrees, 180 degrees and 270 degrees without changing the phase.
이식으로부터, 수학식 2를 얻을 수 있다.From transplantation, equation (2) can be obtained.
한편 위상 Φ과 높이 h는 다음의 수학식 3에서와 같이 비례 관계가 성립한다.Meanwhile, the phase Φ and the height h have a proportional relationship as shown in Equation 3 below.
Λ는 모아레 등가파장임.Λ is equivalent wavelength.
이상에서 기술된 수학식을 이용하여, 격자패턴을 물체에 조사하여, 각 x,y 좌표값에 대응하는 위상값(Φ)을 구하고, 이러한 위상값을 이용하여 x, y좌표값에 대응하는 높이(h)를 구함으로써 측정 대상물의 3차원 형상을 얻을 수 있다.
Using the equation described above, the grid pattern is irradiated to the object to obtain a phase value Φ corresponding to each x, y coordinate value, and the height corresponding to the x, y coordinate value is used using the phase value. By obtaining (h), the three-dimensional shape of the measurement object can be obtained.
도 2a는 모아레 패턴을 이용한 위상시프트 방식을 이용한 3차원 형상 측정 장치의 촬영부에서 관측되는 측정 영역을 도시한 개략도이다. 도 2b는 검사 영역이 측정 영역과 동일한 경우로서, 검사 영역 내에 다수의 측정 대상물이 형성된 것을 도시한 개략도이다. 도 3는 도 2a에서 도시된 I-I' 선분에 의한 단면을 도시한 개략도이다.FIG. 2A is a schematic diagram illustrating a measurement area observed from a photographing unit of a three-dimensional shape measuring device using a phase shift method using a moire pattern. FIG. FIG. 2B is a schematic diagram illustrating a case where a plurality of measurement objects are formed in the inspection area when the inspection area is the same as the measurement area. FIG. 3 is a schematic view showing a cross section taken along line II ′ shown in FIG. 2A.
도 2a 및 3을 참조하면, 일반적으로 촬영부에서 관측되는 측정 영역(FOV: Field Of View, 100)에는 다수의 검사 영역(ROI: Region Of Interest, 110)이 포함되며, 이러한 검사 영역(110)은 측정 대상물이 형성된 오브젝트 영역(111)과 오브젝트 영역(111) 외곽의 바닥 영역(112)을 포함한다. 이와 다르게, 도 2b에서 도시된 바와 같이, 검사 영역(110)은 도 2a의 측정 영역(100)과 동일할 수도 있으며, 검사 영역(110) 내에 다수의 측정 대상물이 형성되어 다수의 오브젝트 영역(111)을 포함할 수 있다.Referring to FIGS. 2A and 3, a field of view (FOV) 100 observed from a photographing unit generally includes a plurality of region of interest (ROI) 110, and such an
한편, 격자 패턴은 도 3에서 도시된 바와 같이, 제1 방향(D1) 또는 제2 방향(D2)과 같이, 측정 대상물(O)에 경사지게 조사된다. 이 때문에, 측정 대상물의 3차원 형상이 정확하게 측정되지 못하는 경우가 발생된다. 보다 상세히 설명하면, 제1 방향(D1)에서 격자 패턴을 조사하는 경우, 측정 대상물(O)의 우측에 그림자 영역이 발생될 수 있으며, 반대로 제2 방향(D2)에서 격자 패턴을 조사하는 경우, 측정 대상물(O)의 좌측에 그림자 영역이 발생될 수 있다. 이러한 그림자 영역에 대응하는 측정 대상물(O)의 형상을 정확하게 측정하기 위해서, 측정 대상물(O)의 양 측에서 위상을 측정하게 된다. 한편, 검사의 정확성을 향상하기 위해 다른 방향에서 추가적으로 조사할 수도 있다.Meanwhile, as illustrated in FIG. 3, the grating pattern is inclinedly irradiated to the measurement object O, as in the first direction D1 or the second direction D2. For this reason, the case where the three-dimensional shape of a measurement object cannot be measured correctly arises. In more detail, when the grid pattern is irradiated in the first direction D1, a shadow area may be generated on the right side of the measurement object O. On the contrary, when the grid pattern is irradiated in the second direction D2, A shadow area may be generated on the left side of the measurement object O. In order to accurately measure the shape of the measurement object O corresponding to the shadow area, the phase is measured on both sides of the measurement object O. On the other hand, additional investigations may be made in other directions to improve the accuracy of the inspection.
도 4는 도 3의 측정 대상물의 개략적인 위상 다이어그램이다.4 is a schematic phase diagram of the measurement object of FIG. 3.
도 4를 참조하면, 도 3의 제1 방향(D1)에서 각각 관측된 위상은 우측에 에러(S1)가 발생될 수 있으며, 제2 방향(D2)에서 각각 관측된 위상은 좌측에 에러(S2)가 발생될 수 있다. 따라서, 이렇게 측정 대상물의 양 방향에서 관측된 위상을 보정하고, 오브젝트 영역을 명확히 함으로써, 측정 대상물의 정확한 높이 검출이 가능하게 된다.Referring to FIG. 4, an error S1 may occur on the right side of each of the phases observed in the first direction D1 of FIG. 3, and an error S2 may be observed on the left side of each of the phases observed in the second direction D2. ) May be generated. Thus, by correcting the phase observed in both directions of the measurement object and making the object area clear, accurate height detection of the measurement object is possible.
한편, 모아레 패턴을 이용한 위상 천이법은 절대적인 높이가 아닌 상대적인 높이가 측정되므로, 도 4에서 보는 바와 같이, 제1 방향(D1)에서 측정된 바닥 영역의 위상인 바닥 위상(ΦA)과 제2 방향(D2)에서 측정된 바닥 영역의 위상인 바닥 위상(ΦB)이 서로 상이하게 될 수 있으므로, 이를 보정하는 것이 필요하다.Meanwhile, the phase-shift method using the moire pattern is enormous since the relative height measurement than the height, as shown in Figure 4, the first direction (D1) phases of the bottom phase (Φ A) of the floor area and the second measurement from Since the bottom phase Φ B which is the phase of the bottom area measured in the direction D2 may be different from each other, it is necessary to correct this.
이를 위해서, 먼저 측정 영역(100)의 일부인 검사 영역(110) 중에서, 측정 대상물이 위치하는 오브젝트 영역(111)과 상기 오브젝트 영역 외곽의 바닥 영역(112)을 구분한다. 상기 오브젝트 영역(111)과 상기 바닥 영역(112)을 구분하는 방법은 이후 상세히 설명한다. To this end, first, among the
그 이후, 바닥 영역의 각 지점(x,y)에서의 위상을 평균하여 바닥 위상을 획득하고, 상기 바닥 위상을 이용하여 상기 오브젝트 영역의 위상을 시프트(shift)시킨다. 이렇게 시프트된 위상에서 그림자 영역을 제거함으로써 도 5에서 도시된 위상 다이어그램을 획득하고, 위의 수학식 3을 이용하여 각 지점(x,y)에서의 높이를 구하여 측정 대상물의 3차원 형상을 측정한다.
Thereafter, the phase at each point (x, y) of the floor area is averaged to obtain a floor phase, and the floor phase is used to shift the phase of the object area. The phase diagram shown in FIG. 5 is obtained by removing the shadow region from the shifted phase, and the height at each point (x, y) is obtained by using Equation 3 above to measure the three-dimensional shape of the measurement object. .
본 발명의 일 실시예에서는 오브젝트 영역과 바닥 영역을 구분하기 위해서, 측정 대상물이 형성된 기판의 2차원 이미지를 획득한다. 이러한 2차원 이미지는 예컨대 백색의 단색 이미지 일 수도 있고, 다수의 컬러 이미지일 수도 있다.In an embodiment of the present invention, in order to distinguish the object region from the bottom region, a two-dimensional image of a substrate on which a measurement object is formed is obtained. Such a two-dimensional image may be, for example, a white monochrome image or may be a plurality of color images.
이를 위해서, 먼저 선택적으로, 기판상에 특징치(예컨대, 배선패턴의 특이한 형상 등)를 이용하여 레퍼런스 데이터와 실측이미지 사이의 왜곡에 대한 정량적인 보상을 통해 검사영역 설정을 정확하게 하기 위한, 패드 레퍼런싱(pad referencing)과정을 진행 할 수도 있다. 즉, 설계나 제조 데이터를 이용하여, 이후 설명할 백색의 단색 이미지 또는 다수의 컬러 이미지에서 오브젝트 영역을 임시로 확정한 후, 보다 정확한 오브젝트 영역과 바닥 영역을 구분하는 과정을 진행할 수도 있다. 이와 같이, 패드 레퍼런싱 과정을 진행하는 경우, 오브젝트 영역과 바닥 영역의 위치를 먼저 알 수 있게 되므로, 오브젝트 영역과 바닥 영역을 확정하는 데 필요한 시간을 단축할 수 있다.To this end, first, selectively, by using a characteristic value (e.g., an unusual shape of a wiring pattern, etc.) on a substrate, a pad level for accurately setting the inspection area through quantitative compensation for distortion between the reference data and the measured image. You can also go through the pad referencing process. That is, by using the design or manufacturing data, the object region may be temporarily determined in a single monochrome image or a plurality of color images, which will be described later, and then a process of distinguishing the more accurate object region and the bottom region may be performed. As described above, when the pad referencing process is performed, the positions of the object region and the bottom region can be known first, thereby reducing the time required to determine the object region and the bottom region.
먼저, 백색의 단색 이미지를 이용한 오브젝트 영역과 바닥 영역의 구분방법을 설명한다.First, a method of distinguishing an object region and a bottom region using a white monochrome image will be described.
먼저 백색광을 검사 영역 또는 측정 영역에 조사하고, 상기 검사 영역의 각 지점에서의 인텐시티(Intensity)를 획득한다. 바람직하게는 측정 영역 전체에서 인텐시티를 획득하는 것이 바람직하다. 이와 같이 측정 영역 전체에서의 인텐시티를 획득하여 측정 영역 전체의 바닥 위상을 획득하는 경우, 측정 영역 내부의 다른 검사 영역을 검사하는 경우, 동일한 바닥 위상을 적용할 수 있기 때문에 반복성이 향상될 수 있다. 더욱이, 검사영역 내에서 오브젝트 영역이 바닥영역에 비해 상당히 큰 경우 바닥 영역의 바닥 위상의 정확성이 떨어질 수 있는데, 측정 영역 전체의 바닥 위상을 측정하면, 상기 바닥 위상의 정확성을 향상시킬 수 있다.First, white light is irradiated to the inspection area or the measurement area, and the intensity at each point of the inspection area is obtained. Preferably, it is desirable to obtain intensity in the entire measurement area. As described above, when the bottom phase of the entire measurement area is obtained by obtaining the intensity in the entire measurement area, when the other inspection area inside the measurement area is inspected, the same bottom phase may be applied, thereby improving repeatability. Furthermore, when the object area in the inspection area is considerably larger than the floor area, the bottom phase accuracy of the floor area may be lowered. By measuring the floor phase of the entire measurement area, the accuracy of the floor phase may be improved.
이후, 인텐시티를 제1축으로하고 해당 인텐시티에 대응하는 각 지점의 갯수를 제2축으로 하는 계조 히스토그램을 형성한 후, 상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득한다.Thereafter, a gradation histogram having an intensity as a first axis and a number of points corresponding to the intensity as a second axis is formed, and then a boundary between the object area and the bottom area is obtained from the gradation histogram.
먼저, 측정 영역의 각 지점에서의 인텐시티(Intensity)를 획득하기 위해서, 상기 측정 대상물의 상부에서 상기 측정 대상물을 향해 광을 조사하고, 상기 측정 대상물로부터 반사된 광을 수광하여 측정 영역의 각 지점에서의 인텐시티를 측정한다. First, in order to obtain intensity at each point of the measurement area, the light is irradiated from the upper part of the measurement object toward the measurement object, and the light reflected from the measurement object is received at each point of the measurement area. Measure the intensity of.
한편, 측정 대상물로 광을 조사할 때, 측정 영역 전체에 고르게 광이 조사되도록 하는 것이 중요하다. 측정 대상물에서 반사되는 광이 고르지 않고 일부분의 인텐시티가 높거나 낮게 나오는 경우, 정확도가 떨어질 수 있기 때문이다. 한가지 방법으로, 측정 대상물, 수광부 및 광원이 수직한 동축선상에 있도록 배치할 수 있으며, 또는 측정 영역 상부에서 동심원으로 배치된 광원에서 측정 영역을 향해 광을 조사할 수도 있다.On the other hand, when irradiating light to a measurement object, it is important to make light evenly radiate to the whole measurement area. This is because when the light reflected from the measurement object is uneven and the intensity of a part is high or low, the accuracy may be reduced. In one method, the measurement object, the light receiving portion, and the light source may be disposed so as to be on a vertical coaxial line, or the light may be irradiated toward the measurement area from a light source arranged concentrically on the upper part of the measurement area.
이렇게 측정된 측정 영역의 각 지점(x,y)에서의 인텐시티를 이용하여 인텐시티를 제1축으로하고 해당 인텐시티에 대응하는 각 지점의 갯수를 제2축으로 하는 계조 히스토그램을 형성한다.The intensity at each point (x, y) of the measurement area thus measured is used to form a gradation histogram having the intensity as the first axis and the number of points corresponding to the intensity as the second axis.
도 6은 인텐시티와 빈도수를 나타낸 계조 히스토그램의 개략도이고, 도 7은 위상과 빈도수를 나타낸 위상 히스토그램의 개략도이다.6 is a schematic diagram of a gradation histogram showing intensity and frequency, and FIG. 7 is a schematic diagram of a phase histogram showing phase and frequency.
도 6를 참조하면, 예컨대, 인텐시티가 낮은 A영역과 인텐시티가 높은 B영역 중에서 어느 하나는 오브젝트 영역에 대응하고, 다른 하나는 바닥 영역에 대응한다. 측정 대상물이 바닥 영역보다 반사율이 높은 경우, 예컨대, PCB기판(바닥 영역)에 솔더(측정 대상물)가 형성된 경우에는 측정 대상물의 인텐시티가 높고, 바닥 영역의 인텐시티가 낮다. 이 경우에는 A영역이 바닥 영역에 대응하고, B영역이 오브젝트 영역에 대응한다. 반면, 측정 대상물이 바닥 영역보다 반사율이 낮은 경우에는 측정 대상물의 인텐시티가 낮고, 바닥영역의 인텐시티가 높다. 이 경우에는 B영역이 바닥 영역에 대응하고, A영역이 오브젝트 영역에 대응한다.Referring to FIG. 6, for example, any one of an A region having low intensity and a B region having high intensity corresponds to an object region, and the other corresponds to a floor region. In the case where the measurement object has a higher reflectance than the bottom area, for example, when solder (a measurement object) is formed on the PCB substrate (bottom area), the intensity of the measurement object is high and the intensity of the bottom area is low. In this case, area A corresponds to the floor area, and area B corresponds to the object area. On the other hand, when the measurement object has a lower reflectance than the bottom area, the intensity of the measurement object is low and the intensity of the bottom area is high. In this case, area B corresponds to the floor area, and area A corresponds to the object area.
이때, 인텐시티가 낮은 A영역과 인텐시티가 높은 B영역 사이에 빈도수가 적게 나타나는 C영역이 오브젝트 영역과 바닥 영역의 경계부에 대응할 수 있다.In this case, the C region where the frequency is low between the A region with low intensity and the B region with high intensity may correspond to the boundary between the object region and the bottom region.
한편, 측정 대상물을 형성하기 위한 CAD데이터 또는 스텐실의 개구부에 대응하는 영역이 오브젝트 영역과 바닥 영역의 경계부에 대응할 수 있다. The area corresponding to the opening of the CAD data or the stencil for forming the measurement object may correspond to the boundary between the object area and the bottom area.
도 7a을 참조하면, 레퍼런스 데이터에 의한 위치정보와 오브젝트 영역들의 크기와 주변의 상관관계를 고려하여 위상들의 노이즈를 제거하는 단계를 더 포함할 수 있다. 레퍼런스 데이터에 의한 위치정보에 의해서 PCB기판 등에서 배선 패턴등을 연결하기 위한 홀 및 인쇄회로기판표면에 실크스크린 인쇄방법으로 형성되는 실크스크린 패턴영역 및 OCR영역은 제거한다. 홀은 광이 반사되지 않고, 실크스크린 패턴영역 및 OCR영역 광이 세추레이션(saturation)되어 노이즈로 작용하게 된다. 이외에도, 주변의 상관관계, 즉, 주변에 비해 급작스런 변화가 있는 곳을 노이즈로 제거할 수도 있다.Referring to FIG. 7A, the method may further include removing noise of phases in consideration of the positional information based on the reference data, the size of the object regions, and the correlation between the surroundings. The silk screen pattern area and the OCR area formed by the silk screen printing method on the surface of the printed circuit board and the hole for connecting the wiring pattern and the like to the PCB board by the positional information by reference data are removed. In the hole, light is not reflected, and the silkscreen pattern region and the OCR region light are saturated to act as noise. In addition, it is also possible to remove noise with a peripheral correlation, that is, a place where there is a sudden change compared to the surroundings.
도 7b를 참조하면, 이렇게 상기 계조 히스토그램에서 최소의 갯수 범위에 대응하는 인텐시티에 대응하는 영역들을 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하고, 바닥 영역을 결정한 후, 바닥 영역 A'에서의 위상들을 평균하여 바닥 위상을 획득한다. 또는, 그림자 영역을 고려하여 오브젝트 영역과 바닥 영역의 경계에서 오브젝트 영역을 팽창시킨 영역에서 오브젝트 영역과 바닥 영역의 경계로 확정하고, 바닥 영역을 결정한 후, 바닥 영역 A'에서의 위상들을 평균하여 바닥 위상을 획득할 수도 있다.Referring to FIG. 7B, the regions corresponding to the intensity corresponding to the minimum number range in the grayscale histogram are determined as the boundary between the object region and the bottom region, the bottom region is determined, and the phase in the bottom region A 'is determined. Average these to obtain the bottom phase. Alternatively, in the area where the object area is expanded at the boundary between the object area and the floor area in consideration of the shadow area, it is determined as the boundary between the object area and the floor area, and after determining the floor area, the floors are averaged from the floor area A '. Phase may also be obtained.
이와 다르게, 상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득하기 위해서, Otsu 알고리즘을 이용하여 상기 오브젝트 영역과 상기 바닥 영역의 경계를 결정하거나, 또는 이러한 바닥 영역의 경계에서 오브젝트 영역을 팽창시킨 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하고 바닥 영역을 결정한 후, 바닥 영역 A'에서의 위상들을 평균하여 바닥 위상을 획득할 수도 있다. Alternatively, in order to obtain a boundary between the object region and the bottom region from the gradation histogram, the boundary between the object region and the bottom region is determined using an Otsu algorithm, or the object region is expanded at the boundary of the bottom region. After determining the boundary as the boundary between the object region and the bottom region and determining the bottom region, the bottom phase may be obtained by averaging the phases in the bottom region A '.
Otsu 알고리즘으로, 오브젝트 영역과 바닥 영역의 경계값을 결정하는 방법을 상세히 설명하면, 먼저 오브젝트 영역과 바닥 영역의 경계값(T)을 추정한다. 예컨대, 오브젝트 영역과 바닥 영역의 경계값(T)을 추정하기 위해서 CAD 데이터가 사용될 수도 있고, 앞서 설명된 계조 히스토그램에서 최소의 빈도수를 갖는 지점이 사용될 수도 있다.The method for determining the boundary value between the object area and the floor area by the Otsu algorithm will be described in detail. First, the boundary value T between the object area and the floor area is estimated. For example, CAD data may be used to estimate the boundary value T between the object area and the floor area, and a point having a minimum frequency in the grayscale histogram described above may be used.
다음으로, 추정된 경계값에 의해 오브젝트 영역(G1)과 바닥 영역(G2)의 두 그룹으로 나누고, 오브젝트 영역에서의 인텐시티 평균(m1)을 구하고, 바닥 영역에서의 인텐시티 평균(m2)을 구한다.Next, the estimated boundary value is divided into two groups, the object region G1 and the bottom region G2, the intensity average m1 in the object region is obtained, and the intensity average m2 in the bottom region is obtained.
이렇게 구해진 오브젝트 영역에서의 인텐시티 평균값과 바닥 영역에서의 인텐시티 평균값의 평균을 다시 구하여 새로운 경계값(T=(m1+m2)/2)을 구하고 위의 과정을 반복한 후, 연속해서 구해진 경계값의 차이가, 특정값(ε)보다 작아질 때 까지 위의 과정을 반복한다.The mean value of the intensity values in the object area and the mean value in the floor area are again obtained to obtain a new boundary value (T = (m1 + m2) / 2), and the above process is repeated. The above process is repeated until the difference is smaller than the specified value ε.
이러한 방법은 Otsu 알고리즘의 일 예로서, 다양한 Otsu알고리즘이 적용될 수도 있다.
This method is an example of an Otsu algorithm, and various Otsu algorithms may be applied.
본 발명의 다른 실시예에서는 오브젝트 영역과 바닥 영역을 구분하기 위해서, 복수의 컬러 조명을 측정 영역에 조사하여 복수의 컬러 이미지를 획득한다. 예를 들어, 적색 조명, 녹색 조명 및 청색 조명을 측정 영역에 각각 조사한 후, 각각의 컬러 조명에 대응되는 적색 이미지, 녹색 이미지 및 청색 이미지를 획득한다.In another embodiment of the present invention, in order to distinguish the object area from the floor area, a plurality of color lights are irradiated to the measurement area to obtain a plurality of color images. For example, the red, green, and blue illuminations are irradiated to the measurement area, respectively, and then a red image, a green image, and a blue image corresponding to each color illumination are obtained.
서로 다른 파장을 갖는 적색 조명, 녹색 조명 및 청색 조명을 사용함에 따라, 색수차로 인해 측정 영역 내에서의 적색 이미지, 녹색 이미지 및 청색 이미지의 분포가 서로 다르게 나타난다. 도 1에서 도시된 솔더(S) 및 배선 패턴(P)을 제외한 바닥 영역(B)을 구분하기 위해서, 재질에 따라 구분되는 색상 정보가 저장되는 색상정보 맵(map)을 이용하면 용이하게 바닥 영역(B)을 구분할 수 있다.With the use of red, green and blue illumination having different wavelengths, chromatic aberration causes different distributions of the red, green and blue images within the measurement area. In order to distinguish the bottom area B excluding the solder S and the wiring pattern P shown in FIG. 1, the bottom area may be easily used by using a color information map in which color information classified according to a material is stored. (B) can be distinguished.
예컨대, 채도 맵을 이용하면 바닥 영역(B)을 솔더(S) 및 배선 패턴(P)으로부터 용이하게 구분할 수 있다. 일반적으로, 측정 대상물, 예컨대 솔더(S)는 무채색에 가깝기 때문에, 채도맵 상에서 0에 가까운 값을 갖는 영역을 오브젝트 영역으로 판단할 수 있다. 예컨대, 도 1에서 솔더(S) 이외에 기판의 배선 패턴(P) 등도 무채색에 가깝기 때문에 바닥 영역(B)에서, 무채색을 갖는 솔더(S) 및 배선 패턴(P)을 제외하면 바닥 영역(B)을 구분할 수 있다.For example, using the saturation map, the bottom region B can be easily distinguished from the solder S and the wiring pattern P. FIG. In general, since the measurement object, for example, the solder S is close to achromatic color, a region having a value close to zero on the chroma map may be determined as an object region. For example, since the wiring pattern P of the substrate in addition to the solder S in FIG. 1 is also achromatic, the bottom region B is excluded from the bottom region B except for the solder S and the wiring pattern P having achromatic color. Can be distinguished.
이러한 채도맵을 형성하기 위해서, 획득된 컬러 이미지들에 대한 색좌표 변환을 통하여 컬러별 색상(hue), 채도(saturation) 및 명도(intensity) 등이 포함된 HSI 정보를 획득한다. 이와 같은 RGB 정보로부터 HSI 정보로 변환하는 과정은 주지의 방법을 통하여 이루어질 수 있으므로, 이에 대한 상세한 설명은 생략한다.In order to form such a saturation map, HSI information including hue, saturation, intensity, etc. for each color is obtained through color coordinate transformation of the obtained color images. Since the process of converting the RGB information into the HSI information can be performed by a well-known method, a detailed description thereof will be omitted.
한편, 획득된 컬러 이미지들에 대한 색좌표 변환을 하기 전에, 획득된 컬러 이미지들에 각각 에버리지 필터를 적용하여 채도를 완화시키는 과정을 거칠 수 있다. On the other hand, before the color coordinate conversion is performed on the obtained color images, each of the obtained color images may be subjected to an averaging filter to mitigate saturation.
이후, 상기 HSI 정보 중 컬러별 채도 정보를 이용하여 채도맵(saturation map)을 생성한다.Thereafter, a saturation map is generated using color saturation information of the HSI information.
상기 채도맵은 적색 이미지, 녹색 이미지 및 청색 이미지의 각 픽셀별 채도 정보를 이용하여 생성할 수 있다. 구체적으로, 채도맵은 다음의 수학식 4를 통해 산출된 픽셀별 채도를 바탕으로 생성할 수 있다.The saturation map may be generated using saturation information for each pixel of the red image, the green image, and the blue image. In detail, the saturation map may be generated based on the saturation for each pixel calculated through Equation 4 below.
상기 수학식 4에서, R은 적색 이미지에서의 각 픽셀에 대한 채도 정보이고, G는 녹색 이미지에서의 각 픽셀에 대한 채도 정보이고, B는 청색 이미지에서의 각 픽셀에 대한 채도 정보이다.In Equation 4, R is chroma information for each pixel in the red image, G is chroma information for each pixel in the green image, and B is chroma information for each pixel in the blue image.
상기 수학식 4를 통해 생성된 세츄레이션 맵은 0 ~ 1의 값을 가지며, 1에 가까울수록 원색임을 나타낸다. 이러한 방법을 통해서, 바닥 영역을 확정하고, 바닥 영역의 위상을 평균하여 바닥 위상을 획득할 수 있다.
The segmentation map generated through Equation 4 has a value of 0 to 1, and the closer to 1, the primary color. Through this method, the floor area can be determined and the floor phase can be obtained by averaging the phases of the floor area.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이다. 따라서, 전술한 설명 및 아래의 도면은 본 발명의 기술사상을 한정하는 것이 아닌 본 발명을 예시하는 것으로 해석되어져야 한다.While the present invention has been described in connection with what is presently considered to be practical and exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention. Therefore, the above description and the drawings below should be construed as illustrating the present invention, not limiting the technical spirit of the present invention.
100: 측정 영역
110: 검사 영역
111: 오브젝트 영역
112: 바닥 영역100: measuring area
110: inspection area
111: object area
112: floor area
Claims (12)
상기 획득된 이미지의 검사 영역 중에서, 제1 측정 대상물이 위치하는 제1 오브젝트 영역 및 제2 측정 대상물이 위치하는 제2 오브젝트 영역과 상기 검사영역 중에서 상기 제1 및 제2 오브젝트 영역에 대한 바닥 영역을 확정하는 단계;
상기 다수의 측정대상물이 형성된 기판을 향해 패턴광을 조사하고 상기 다수의 측정대상물이 형성된 기판으로부터 반사된 패턴광을 수광하여 패턴 이미지를 획득하는 단계; 및
상기 획득된 패턴 이미지의 각 지점에서의 위상을 획득하고 상기 제1 및 제2 오브젝트 영역의 위상 및 상기 바닥영역의 위상을 이용하여 상기 다수의 측정대상물의 위상을 획득하는 단계를 포함하는 3차원 형상 측정 방법.Irradiating light toward a substrate on which the plurality of measurement objects are formed and receiving light reflected from the substrate on which the plurality of measurement objects are formed to obtain an image;
Among the inspection areas of the acquired image, a first object area in which a first measurement object is located, a second object area in which a second measurement object is located, and a bottom area of the first and second object areas in the inspection area are defined. Determining;
Irradiating pattern light toward a substrate on which the plurality of measurement objects are formed and receiving pattern light reflected from the substrate on which the plurality of measurement objects are formed to obtain a pattern image; And
Acquiring a phase at each point of the acquired pattern image and acquiring phases of the plurality of measurement objects by using phases of the first and second object regions and phases of the bottom region; How to measure.
상기 획득된 이미지의 검사 영역 중에서, 상기 측정 대상물이 위치하는 오브젝트영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계;
상기 다수의 측정대상물이 형성된 기판을 향해 패턴광을 조사하고 상기 다수의 측정대상물이 형성된 기판으로부터 반사된 패턴광을 수광하여 패턴 이미지를 획득하는 단계; 및
상기 획득된 패턴 이미지의 각 지점에서의 위상을 획득하고 상기 바닥영역의 위상을 이용하여 상기 다수의 측정대상물의 위상을 각각 획득하는 단계를 포함하는 3차원 형상 측정 방법.Irradiating light toward a substrate on which the plurality of measurement objects are formed and receiving light reflected from the substrate on which the plurality of measurement objects are formed to obtain an image;
Determining an object area in which the measurement object is located and a floor area excluding the object area from the inspection area among the inspection areas of the obtained image;
Irradiating pattern light toward a substrate on which the plurality of measurement objects are formed and receiving pattern light reflected from the substrate on which the plurality of measurement objects are formed to obtain a pattern image; And
Acquiring a phase at each point of the acquired pattern image and acquiring phases of the plurality of measurement objects using the phases of the bottom area, respectively.
상기 획득된 이미지의 검사 영역 중에서, 상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계는,
상기 획득된 이미지의 각지점에서 인텐시티(Intensity)정보를 획득하고, 상기 인텐시티(Intensity)를 제1축으로하고, 해당 인텐시티(Intensity)에 대응하는 각 지점의 갯수를 제2축으로 하는 계조 히스토그램을 형성하는 단계;
상기 계조 히스토그램으로부터 상기 오브젝트 영역과 상기 바닥 영역의 경계를 획득하는 단계; 및
상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정방법.3. The method according to claim 1 or 2,
In the inspecting region of the obtained image, determining the object region in which the plurality of measurement objects are located and the bottom region except the object region in the inspection region,
Obtain intensity information at each point of the acquired image, use the intensity as a first axis, and a gradation histogram with the number of points corresponding to the intensity as a second axis. Forming;
Obtaining a boundary between the object area and the bottom area from the gray level histogram; And
And determining a bottom area excluding the object area from among the object area in which the plurality of measurement objects are located and the inspection area.
상기 계조 히스토그램에서 최소의 갯수 범위에 대응하는 인텐시티에 대응하는 영역을 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하거나, 또는 상기 오브젝트 영역으로 결정된 영역을 팽창시킨 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정방법.The method of claim 3, wherein obtaining a boundary between the object area and the bottom area from the gray level histogram comprises:
An area corresponding to an intensity corresponding to a minimum number range in the grayscale histogram is determined as a boundary between the object area and the floor area, or a boundary in which the area determined as the object area is expanded is defined by the area of the object area and the floor area. Three-dimensional shape measurement method comprising the step of determining the boundary.
상기 계조 히스토그램에서 Otsu 알고리즘을 이용하여 결정된 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하거나, 또는 상기 오브젝트 영역으로 결정된 영역을 팽창시킨 경계를 상기 오브젝트 영역과 상기 바닥 영역의 경계로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정방법.The method of claim 3, wherein obtaining a boundary between the object area and the bottom area from the gray level histogram comprises:
Determining a boundary determined using the Otsu algorithm in the grayscale histogram as a boundary between the object region and the bottom region, or determining a boundary in which the region determined as the object region is expanded as a boundary between the object region and the bottom region. Three-dimensional shape measurement method comprising a.
복수의 컬러 조명을 상기 다수의 측정 대상물이 형성된 기판을 향해 조사하여 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 복수의 컬러 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정 방법.The method of claim 1, wherein the irradiating light toward the substrate on which the plurality of measurement objects are formed and receiving light reflected from the substrate on which the plurality of measurement objects are formed, acquires an image.
Irradiating a plurality of color lights toward a substrate on which the plurality of measurement objects are formed, receiving light reflected from the substrate on which the plurality of measurement objects are formed, and obtaining a plurality of color images. How to measure.
적색 조명, 녹색 조명 및 청색 조명을 각각 조사하여 적색 이미지, 녹색 이미지 및 청색 이미지를 각각 획득하거나 적어도 두 개 이상의 조명을 함께 조사하여 이미지를 획득하는 것을 특징으로 하는 3차원 형상 측정방법.The method of claim 7, wherein the obtaining of the color image,
3. The method of claim 3, wherein the red, green, and blue lights are respectively irradiated to obtain a red image, a green image, and a blue image, or at least two lights are irradiated together.
상기 획득된 이미지의 각 지점에서 재질에 따라 구분되는 색상 정보를 획득하고 획득된 상기 재질에 따라 구분되는 색상 정보가 저장되는 색상정보 맵(map)을 생성하는 단계;
상기 색상정보 맵을 이용하여 상기 오브젝트 영역과 상기 바닥 영역을 구분하는 단계; 및
상기 다수의 측정 대상물이 위치하는 오브젝트 영역과 상기 검사영역 중에서 상기 오브젝트 영역을 제외한 바닥 영역을 확정하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정방법.The method of claim 2, wherein the determining of the object area in which the plurality of measurement objects is located and the floor area excluding the object area from the inspection area is performed from among the inspection areas of the obtained image.
Acquiring color information classified according to a material at each point of the obtained image and generating a color information map storing color information classified according to the obtained material;
Dividing the object area from the bottom area by using the color information map; And
And determining a bottom area excluding the object area from among the object area in which the plurality of measurement objects are located and the inspection area.
상기 채도맵을 생성하는 단계는,
컬러 이미지에 대한 색좌표 변환을 통하여 컬러별 색상(hue), 채도(saturation) 및 명도(intensity) 정보를 획득하는 단계; 및
상기 컬러별 채도 정보를 이용하여 상기 채도맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 형상 측정방법.The method of claim 9, wherein the color information map is a chroma map,
Generating the saturation map,
Acquiring hue, saturation, and intensity information for each color through color coordinate transformation on the color image; And
And generating the chroma map using the chroma information for each color.
상기 검사 영역은 상기 다수의 측정 대상물이 형성된 기판으로부터 반사된 광을 수광하여 획득한 이미지의 전체 영역인 것을 특징으로 하는 3차원 형상 측정 방법3. The method according to claim 1 or 2,
The inspection area is a three-dimensional shape measuring method, characterized in that the entire area of the image obtained by receiving light reflected from the substrate on which the plurality of measurement objects are formed
상기 검사영역 내에 존재하는 다수의 측정대상물 각각의 오브젝트 위상에 대해 동일한 바닥 영역의 위상을 차감함으로써 상기 다수의 측정 대상물의 위상을 획득하는 것을 특징으로 하는 3차원 형상 측정 방법.
3. The method according to claim 1 or 2,
3. The method of claim 3, wherein the phases of the plurality of measurement objects are obtained by subtracting the phase of the same bottom region from the object phase of each of the plurality of measurement objects existing in the inspection area.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100035255A KR101190125B1 (en) | 2010-04-16 | 2010-04-16 | Method of three dimensional mesurement |
| US13/086,879 US8855403B2 (en) | 2010-04-16 | 2011-04-14 | Method of discriminating between an object region and a ground region and method of measuring three dimensional shape by using the same |
| JP2011091979A JP2011227080A (en) | 2010-04-16 | 2011-04-18 | Discrimination method of object area from ground area and three-dimensional shape measurement method |
| CN201110096894.5A CN102261895B (en) | 2010-04-16 | 2011-04-18 | Method of discriminating between an object region and a ground region and method of measuring three dimensional shape by using the same |
| JP2014139443A JP2014197023A (en) | 2010-04-16 | 2014-07-07 | Discrimination method of object area from ground area and three-dimensional shape measurement method |
| JP2016021646A JP6211114B2 (en) | 2010-04-16 | 2016-02-08 | A method for distinguishing an object region from a ground region and a three-dimensional shape measurement method. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100035255A KR101190125B1 (en) | 2010-04-16 | 2010-04-16 | Method of three dimensional mesurement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110115752A KR20110115752A (en) | 2011-10-24 |
| KR101190125B1 true KR101190125B1 (en) | 2012-10-11 |
Family
ID=45030296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100035255A Active KR101190125B1 (en) | 2010-04-16 | 2010-04-16 | Method of three dimensional mesurement |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101190125B1 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2208354A4 (en) | 2007-10-10 | 2010-12-22 | Gerard Dirk Smits | Image projector with reflected light tracking |
| US9946076B2 (en) | 2010-10-04 | 2018-04-17 | Gerard Dirk Smits | System and method for 3-D projection and enhancements for interactivity |
| US12025807B2 (en) | 2010-10-04 | 2024-07-02 | Gerard Dirk Smits | System and method for 3-D projection and enhancements for interactivity |
| JP5948496B2 (en) | 2012-05-22 | 2016-07-06 | コー・ヤング・テクノロジー・インコーポレーテッド | Method for measuring the height of a three-dimensional shape measuring device |
| US8971568B1 (en) | 2012-10-08 | 2015-03-03 | Gerard Dirk Smits | Method, apparatus, and manufacture for document writing and annotation with virtual ink |
| US9810913B2 (en) | 2014-03-28 | 2017-11-07 | Gerard Dirk Smits | Smart head-mounted projection system |
| WO2016025502A1 (en) | 2014-08-11 | 2016-02-18 | Gerard Dirk Smits | Three-dimensional triangulation and time-of-flight based tracking systems and methods |
| US10043282B2 (en) | 2015-04-13 | 2018-08-07 | Gerard Dirk Smits | Machine vision for ego-motion, segmenting, and classifying objects |
| US9753126B2 (en) | 2015-12-18 | 2017-09-05 | Gerard Dirk Smits | Real time position sensing of objects |
| US9813673B2 (en) | 2016-01-20 | 2017-11-07 | Gerard Dirk Smits | Holographic video capture and telepresence system |
| CN110073243B (en) | 2016-10-31 | 2023-08-04 | 杰拉德·迪尔克·施密茨 | Fast-scanning lidar with dynamic voxel detection |
| US10261183B2 (en) | 2016-12-27 | 2019-04-16 | Gerard Dirk Smits | Systems and methods for machine perception |
| CN110612465B (en) | 2017-05-10 | 2022-03-08 | 杰拉德·迪尔克·施密茨 | Scanning mirror system and method |
| WO2019079750A1 (en) | 2017-10-19 | 2019-04-25 | Gerard Dirk Smits | Methods and systems for navigating a vehicle including a novel fiducial marker system |
| WO2019148214A1 (en) | 2018-01-29 | 2019-08-01 | Gerard Dirk Smits | Hyper-resolved, high bandwidth scanned lidar systems |
| WO2021174227A1 (en) | 2020-02-27 | 2021-09-02 | Gerard Dirk Smits | High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array |
| WO2021252826A1 (en) * | 2020-06-12 | 2021-12-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Surface profile mapping for evaluating iii-n device performance and yield |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010006886A2 (en) | 2008-06-23 | 2010-01-21 | Flatfrog Laboratories Ab | Determining the location of one or more objects on a touch surface |
-
2010
- 2010-04-16 KR KR1020100035255A patent/KR101190125B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010006886A2 (en) | 2008-06-23 | 2010-01-21 | Flatfrog Laboratories Ab | Determining the location of one or more objects on a touch surface |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110115752A (en) | 2011-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101190125B1 (en) | Method of three dimensional mesurement | |
| JP5256251B2 (en) | Inspection method of measurement object | |
| JP6211114B2 (en) | A method for distinguishing an object region from a ground region and a three-dimensional shape measurement method. | |
| JP5202575B2 (en) | Shape measuring apparatus and shape measuring method | |
| JP5562407B2 (en) | Substrate inspection apparatus and inspection method | |
| US8730464B2 (en) | Method of inspecting a substrate | |
| CN100472205C (en) | Substrate inspection method and device, and inspection logic setting method and device thereof | |
| CN104169679A (en) | Height measurement method of three-dimensional shape measuring device | |
| US10533952B2 (en) | Method of inspecting a terminal of a component mounted on a substrate and substrate inspection apparatus | |
| KR20130141345A (en) | Solder Height Detection Method and Solder Height Detection Device | |
| JP5622816B2 (en) | Method for measuring an object to be measured on a printed circuit board | |
| KR101227110B1 (en) | Method of checking and setting inspection apparatus | |
| US8755043B2 (en) | Method of inspecting a substrate | |
| JP5584671B2 (en) | Board inspection method | |
| KR101684244B1 (en) | Board inspection method | |
| KR101190127B1 (en) | Method of dividing a region | |
| JP2006317408A (en) | Warpage checker | |
| KR101216453B1 (en) | Inspection method of measuring object | |
| KR101570360B1 (en) | Method of setting reference region and method of eliminating noise for the same | |
| KR100862636B1 (en) | Optical inspection method | |
| KR101311255B1 (en) | Inspection method of measuring object | |
| KR101227116B1 (en) | Method of checking and setting inspection apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-5-5-R10-R17-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20150924 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20160906 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170907 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190909 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 14 |
|
| U11 | Full renewal or maintenance fee paid |
Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE) Year of fee payment: 14 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |



