KR101628158B1 - Apparatus for measuring three dimension shape - Google Patents
Apparatus for measuring three dimension shape Download PDFInfo
- Publication number
- KR101628158B1 KR101628158B1 KR1020140174483A KR20140174483A KR101628158B1 KR 101628158 B1 KR101628158 B1 KR 101628158B1 KR 1020140174483 A KR1020140174483 A KR 1020140174483A KR 20140174483 A KR20140174483 A KR 20140174483A KR 101628158 B1 KR101628158 B1 KR 101628158B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- projector
- cameras
- illumination
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 3차원 형상 측정 장치에 관한 것으로서, 검사 대상물을 지지하는 스테이지; 상기 스테이지의 상부로 수직 방향의 패턴광을 조사하는 프로젝터; 상기 프로젝터의 주위에 복수 개가 배치되고, 설치 방향에 따라 제 1 그룹과 제 2 그룹으로 구분되는 복수 개의 카메라; 상기 복수 개의 카메라로부터 상기 복수의 영상 신호를 획득하여 디지털 신호로 변환한 패턴 이미지를 출력하는 그래버; 상기 프로젝터의 조명 밝기 또는 점등 상태를 설정하는 조명 구동부; 및 각 그룹별 카메라에 대응되는 서로 다른 조명 패턴 데이터를 생성하여 상기 프로젝터로 제공하고, 상기 프로젝터에서 조사될 조명 패턴 데이터에 대응되는 그룹의 카메라들을 구동하기 위한 트리거 신호를 발생하며, 상기 그래버로부터 패턴 이미지를 전송받아 영상 처리하여 상기 검사 대상물의 형상에 대한 검사 결과 데이터를 제공하는 영상 처리부를 포함한다. 따라서, 본 발명은 소프트웨어적으로 프로젝터의 조명 패턴을 변경하여 서로 다른 패턴광이 투사되도록 하고, 각 조명 패턴에 따라 특정 방향에 위치한 카메라들이 2대씩 동시에 패턴 이미지를 획득함으로써 기존에 비해 이미지 촬영 소요 시간이 절감될 수 있고, 프로젝터의 조명 패턴을 쉽게 변경할 수 있어 작업 효율을 높일 수 있다.The present invention relates to a three-dimensional shape measuring apparatus, and more particularly, to a three-dimensional shape measuring apparatus comprising a stage for supporting an object to be inspected; A projector for irradiating a pattern light in a vertical direction to an upper portion of the stage; A plurality of cameras arranged in the periphery of the projector and divided into a first group and a second group according to an installation direction; A grabber for acquiring the plurality of video signals from the plurality of cameras and outputting a pattern image obtained by converting the plurality of video signals into digital signals; An illumination driver configured to set a brightness or a lighting state of the projector; And generating different illumination pattern data corresponding to the cameras of the respective groups to provide the generated illumination pattern data to the projector and generating a trigger signal for driving the cameras of the group corresponding to the illumination pattern data to be illuminated in the projector, And an image processing unit for receiving and processing an image and providing inspection result data on the shape of the inspection object. Therefore, according to the present invention, by changing the illumination pattern of the projector by software, different pattern light is projected, and the cameras positioned in a specific direction acquire pattern images at the same time by two illumination patterns, Can be saved, and the illumination pattern of the projector can be easily changed, thereby improving the working efficiency.
Description
본 발명은 3차원 형상 측정 장치 관한 것으로, 보다 상세하게는 복수개의 카메라를 수직에 가까운 각도로 설치하고, 카메라의 설치방향에 따라 대향하는 카메라들을 그룹화하여 각 그룹마다 카메라의 촬영 방향에 적합한 조명 패턴 데이터를 소프트웨어적으로 형성하여 프로젝터를 통해 조사함으로써 영상 촬영 회수를 감소시키고 그에 따라 검사시간을 대폭 단축시킬 수 있도록 하는 3차원 형상 측정 장치에 관한 것이다.
The present invention relates to a three-dimensional shape measuring apparatus, more particularly, to a three-dimensional shape measuring apparatus in which a plurality of cameras are installed at an angle close to a vertical direction, groups of cameras facing each other in accordance with the installation direction of the camera, The present invention relates to a three-dimensional shape measuring apparatus for forming data by software and irradiating the same through a projector, thereby reducing the number of image capturing times and thereby greatly shortening inspection time.
정보통신의 급속한 발전으로 휴대전화, 노트북, 스마트폰, 태블릿 PC와 같은 전자기기를 더욱 소형화, 경량화, 고기능화시키는 기술이 요구되고 있다. 이러한 기술의 요구를 실현하기 위해서는 전자기기에 탑재되는 전자부품의 소형화, 고집적화뿐만 아니라 이에 대한 대응 실장설비, 운용기술, 검사기술, 불량수리기술 등 양품을 생산할 수 있는 고집적화에 대한 전반적인 인프라의 구축과 실장 요소 기술이 필요하게 되었다.With the rapid development of information and communication, there is a demand for technology to make electronic devices such as mobile phones, notebooks, smart phones, and tablet PCs smaller, lighter, and more functional. In order to realize the demands of these technologies, it is necessary to build an overall infrastructure for high-density integration that can produce not only miniaturization and high integration of electronic parts mounted in electronic devices, but also proper mounting equipments, operation technology, inspection technology, The mounting element technology became necessary.
그 중에서, 비전 검사는 고속으로 이동하는 칩의 외관을 카메라를 이용하여 촬영한 이미지를 분석하여 제품의 외관에 불량이 있는지 여부를 판단한다. 일반적으로 비전 검사는 10~20msec의 짧은 시간 내에 영상을 획득하고 분석하고 있다. 비전 검사 시간이 지연되는 경우, 전체 부품 생산 시간이 지연되므로 생산성이 저하된다. 따라서, 빠른 시간 내에 정확하게 제품의 외관 불량 여부를 판단하는 비전 검사 기술이 요구되고 있다.Among them, the vision inspection analyzes an image of a chip moving at a high speed using a camera to judge whether or not there is a defect in the appearance of the product. In general, the vision test acquires and analyzes images within a short time of 10 to 20 msec. If the vision inspection time is delayed, the production time is delayed and the productivity is lowered. Therefore, there is a need for a vision inspection technology for accurately judging whether or not the appearance of the product is defective within a short period of time.
이러한 비전 검사 장치는 통상 검사대상 쪽으로 광을 조명하기 위한 조명기구와, 조명을 받은 검사대상을 촬영하기 위한 카메라와, 카메라를 통해 촬영된 화면을 표준화면과 비교하여 검사대상의 제조 불량 내지 양호 상태를 판별하는 판별수단을 구비한다. Such a vision inspection apparatus generally includes a lighting device for illuminating a light toward a subject to be inspected, a camera for photographing the illuminated inspection object, and a screen photographed by the camera, And a discriminating means for discriminating a discrimination result.
조명기구와 카메라의 경우 통상 검사대상물의 맞은편에 배치되어 검사대상물 쪽으로 광을 조사하고 조명된 검사대상물을 촬영하게 되며, 판별수단은 카메라에서 촬영된 화면을 출력하고 이를 정상 상태를 나타내고 있는 표준화면과 비교 연산하여 검사대상물이 바른 상태로 제조되었는가를 판별하게 된다. In the case of a lighting device and a camera, usually, a light source is disposed on the opposite side of the object to be inspected, and light is irradiated toward the object to be inspected and the illuminated object is photographed. The distinguishing means outputs a screen shot by the camera, And it is determined whether the object to be inspected is manufactured in the correct state.
검사대상물을 정확하게 검사하기 위해서는 검사대상물의 3차원 형상 특히 높이를 정확하게 측정하는 것이 중요하다.In order to accurately inspect the object to be inspected, it is important to accurately measure the three-dimensional shape of the object to be inspected, particularly the height.
검사대상물의 3차원 측정방법으로는 간섭계를 이용한 방식, 레이저 방식, 모아레 방식 등 다양한 방식이 있는데, 모아레 방식은 넓은 면적에서 물체의 높이를 정확하게 측정할 수 있는 장점이 있어 널리 사용되고 있다.As the three-dimensional measurement method of the object to be inspected, there are various methods such as an interferometer method, a laser method, and a moire method. Moire method is widely used because it can accurately measure the height of an object over a wide area.
모아레를 이용한 3차원 형상 측정 기술은 그림자식 모아레를 이용한 3차원 형상 측정 방식과 투영식 모아레를 이용한 3차원 형상 측정 방식을 사용하고 있다. 그 중 투영식 모아레를 이용한 3차원 형상 측정 방식은 대상물의 표면 형상을 정밀하게 측정하기 위하여 위상 천이 방법으로 모아레 형상을 측정한다.The 3D shape measurement technique using moiré uses a three-dimensional shape measurement method using a child moiré and a three-dimensional shape measurement method using a projection moiré. Among them, the three dimensional shape measurement method using the projection moire is to measure the moire shape by the phase shift method in order to precisely measure the surface shape of the object.
즉, 위상 천이 투영식 모아레를 이용한 3차원 형상 측정 기술은 1/4 주기씩 격자를 위상 이동하면서 대상물의 형상을 측정하기 때문에 1주기동안 4회의 영상을 촬영한다. 이때, 서로 다른 주기의 격자를 이용할 경우에는 큰 주기의 격자에서 4회 영상 촬영을 수행하고, 작은 주기의 격자에서 4회 영상을 촬영해야 하므로 격자 무늬 조명을 조사하는 하나의 프로젝터당 총 8회의 영상을 촬영해야 한다. In other words, the 3D shape measurement technique using the phase shift projection type moiré measures the shape of the object while shifting the lattice phase by quarter cycle, so the image is captured four times in one cycle. In this case, when the gratings of different periods are used, four times of image capturing is performed in a large period lattice and four times of images are taken in a small period lattice. Therefore, a total of 8 images .
위상 천이 투영식 모아레를 이용한 3차원 형상 측정 기술은 그림자 영역을 해소하기 위해 여러 방향으로 다수의 프로젝터를 설치하는 경우에 프로젝터당 영상 촬영 횟수가 증가하고, 그만큼 촬영 소요 시간이 많이 소요되며, 이로 인해 비전 검사 속도가 늦어져 검사 시간이 지연되는 문제점이 있다.Phase Shaped Projection Three-dimensional shape measurement technology using moiré increases the number of image capturing per projector when a large number of projectors are installed in various directions in order to solve the shadow area, There is a problem that the inspection time is delayed because the vision inspection speed is slowed down.
1개의 카메라를 이용하는 일반적인 기술과 달리 선행기술자료로서, 한국등록특허 제10-1245148호의 영상 선명도가 개선된 비전 검사 장치와 한국등록특허 제10-1081538호의 3차원 형상 측정 장치 및 측정 방법에는 수직 방향이 카메라와 수직 방향의 카메라 주변에 4대의 카메라가 설치되고, 격자무늬 조명을 대상물에 조사하여 대상물의 3차원 형상을 산출하는 기술이 기재되어 있다. Unlike the general technique using one camera, the vision inspection apparatus improved in image clarity of Korean Patent No. 10-1245148 and the three-dimensional shape measurement apparatus and measurement method of Korean Patent No. 10-1081538, which are prior art data, Four cameras are provided in the vicinity of a camera in a direction perpendicular to the camera, and a technique of calculating a three-dimensional shape of an object by irradiating an object with a grid pattern illumination is disclosed.
상기 종래기술은 1개의 프로젝터를 사용하므로 종래에 비해 영상 촬영 회수가 감소될 수 있는 장점이 있다. 그러나, 종래의 3차원 형상 측정 기술은 패턴광을 만들기 위한 수단으로서 물리적 격자를 이용하므로 다른 패턴을 만들어내기 위해서는 서로 다른 패턴을 갖는 격자가 별도로 구비되어야 하므로 패턴의 변경 시간이 많이 소요되고 번거롭다는 문제점이 있다.
The conventional technique uses one projector, which is advantageous in that the number of image capturing times can be reduced as compared with the related art. However, since the conventional three-dimensional shape measuring technique uses a physical lattice as a means for producing pattern light, it is necessary to separately provide gratings having different patterns in order to produce different patterns, There is a problem.
본 발명은 영상 처리부를 통해 프로젝터에 조명 패턴에 대한 데이터를 제공하여 소프트웨어적으로 프로젝터가 서로 다른 패턴광을 투사하도록 하고, 서로 다른 패턴광에 의해 촬영된 패턴 이미지들을 이용하여 검사 대상물의 형상을 검사할 수 있고, 서로 다른 주기로 조명 패턴을 조사하여 주기별로 패턴간 간격이 달라지도록 함으로써 검사 대상물의 사이즈를 확인할 수 있는 3차원 형상 측정 장치을 제공한다.
According to the present invention, data on an illumination pattern is provided to a projector through an image processing unit so that projectors project different pattern lights in software, and the shape of the object to be inspected is inspected using pattern images photographed by different pattern lights The present invention provides a three-dimensional shape measuring apparatus capable of checking the size of an object to be inspected by irradiating illumination patterns at different periods and making intervals between patterns different for each cycle.
실시예들 중에서, 3차원 형상 측정 장치는, 검사 대상물을 지지하는 스테이지; 상기 스테이지의 상부로 수직 방향의 패턴광을 조사하는 프로젝터; 상기 프로젝터의 주위에 복수 개가 배치되고, 설치 방향에 따라 제 1 그룹과 제 2 그룹으로 구분되는 복수 개의 카메라; 상기 복수 개의 카메라로부터 상기 복수의 영상 신호를 획득하여 디지털 신호로 변환한 패턴 이미지를 출력하는 그래버; 상기 프로젝터의 조명 밝기 또는 점등 상태를 설정하는 조명 구동부; 및 각 그룹별 카메라에 대응되는 서로 다른 조명 패턴 데이터를 생성하여 상기 프로젝터로 제공하고, 상기 프로젝터에서 조사될 조명 패턴 데이터에 대응되는 그룹의 카메라들을 구동하기 위한 트리거 신호를 발생하며, 상기 그래버로부터 패턴 이미지를 전송받아 영상 처리하여 상기 검사 대상물의 형상에 대한 검사 결과 데이터를 제공하는 영상 처리부를 포함하는 것을 특징으로 한다.Among the embodiments, the three-dimensional shape measuring apparatus includes: a stage supporting an object to be inspected; A projector for irradiating a pattern light in a vertical direction to an upper portion of the stage; A plurality of cameras arranged in the periphery of the projector and divided into a first group and a second group according to an installation direction; A grabber for acquiring the plurality of video signals from the plurality of cameras and outputting a pattern image obtained by converting the plurality of video signals into digital signals; An illumination driver configured to set a brightness or a lighting state of the projector; And generating different illumination pattern data corresponding to the cameras of the respective groups to provide the generated illumination pattern data to the projector and generating a trigger signal for driving the cameras of the group corresponding to the illumination pattern data to be illuminated in the projector, And an image processing unit for receiving and processing an image and providing inspection result data on the shape of the object to be inspected.
상기 트리거 신호를 전송받아 상기 프로젝터의 구동을 지시하는 조명 제어 신호를 발생하여 상기 조명 구동부에 전송하고, 상기 조명 제어 신호와 동기화하여 상기 복수 개의 카메라의 구동을 지시하는 이미지 획득 신호를 발생하여 상기 그래버로 전송하는 프로젝터 구동부를 더 포함하는 것을 특징으로 한다.And a controller for generating an image acquisition signal for instructing the driving of the plurality of cameras in synchronism with the illumination control signal, And a projector driving unit that transmits the image data to the display unit.
상기 제 1 그룹의 카메라에 대응되는 조명 패턴은 수평 줄무늬의 제1 패턴이고, 상기 제 2 그룹의 카메라에 대응되는 조명 패턴은 수직 줄무늬의 제2 패턴인 것을 특징으로 한다.The illumination pattern corresponding to the first group of cameras is a first pattern of horizontal stripes and the illumination pattern corresponding to the second group of cameras is a second pattern of vertical stripes.
상기 영상 처리부는 상기 제1 패턴에 대한 제1 트리거 신호와 상기 제2 패턴에 대한 제2 트리거 신호를 발생하며, 상기 프로젝터 구동부는 제1 패턴광 조사를 위하여, 상기 제1 트리거 신호에 따라 상기 제1 패턴광을 투사하도록 하는 제1 조명 제어 신호를 발생하고 상기 제1 조명 제어 신호와 동기화하여 상기 복수 개의 카메라 중에서 제1 방향에 위치한 제 1 그룹의 카메라들이 동시에 영상을 촬영하도록 하는 제1 이미지 획득신호를 발생하며, 상기 제2 패턴 조명 조사를 위하여, 상기 제2 트리거 신호에 따라 상기 제2 패턴광을 투사하도록 하는 제2 조명 제어 신호를 발생하고, 상기 제2 조명 제어 신호와 동기화하여 상기 복수 개의 카메라 중에서 제2 방향에 위치한 제 2 그룹의 카메라들이 동시에 영상을 촬영하도록 하는 제2 이미지 획득신호를 발생하는 것을 특징으로 한다.Wherein the image processor generates a first trigger signal for the first pattern and a second trigger signal for the second pattern, and the projector driver applies, for the first pattern light irradiation, 1 pattern light, and synchronizing the first illumination control signal with the first illumination control signal to allow a first group of cameras positioned in a first direction of the plurality of cameras to simultaneously photograph images, Generating a second illumination control signal for projecting the second pattern light in accordance with the second trigger signal for the second pattern illumination illumination, and synchronizing with the second illumination control signal to generate the second Generating a second image acquisition signal for allowing a second group of cameras located in a second direction among the plurality of cameras to simultaneously photograph images The features.
상기 제1 방향에 위치한 카메라들은 상기 제1 패턴의 방향에 대해서 카메라 시야각이 직교하는 방향에 위치하며, 동일 선상에 배치된 적어도 하나 이상의 카메라이고, 상기 제2 방향에 위치한 카메라들은 상기 제2 패턴의 방향에 대해 카메라 시야각이 직교하는 방향에 위치하며, 동일 선상에 배치된 적어도 하나 이상의 카메라인 것을 특징으로 한다.Wherein the cameras positioned in the first direction are at least one camera positioned in the same line and located in a direction in which the camera viewing angle is orthogonal to the direction of the first pattern, And at least one camera located on the same line as the camera in a direction in which the camera viewing angle is orthogonal to the camera.
상기 영상 처리부는, 비전 검사 이전에 상기 검사 대상물을 지지하는 기준면에서 촬영된 패턴 이미지를 이용하여 기준 위상값을 산출하여 저장하고, 비전 검사 수행시, 비전 검사 수행시, 서로 다른 주기를 갖는 제1 주기 및 제2 주기에서 획득한 복수의 제1 패턴 이미지 또는 복수의 제2 패턴 이미지를 이용하여 패턴 이미지별로 상기 검사 대상물의 표면에 대한 전체 위상 값을 산출하며, 제1 주기 및 제2 주기에서 획득한 복수의 제1 패턴 이미지 또는 상기 제1 주기 및 제2 주기에서 획득한 복수의 제2 패턴 이미지를 이용하여 패턴 이미지별로 상기 검사 대상물의 표면에 대한 전체 위상 값을 산출하며, 상기 패턴 이미지별로 상기 기준 위상 값과 전체 위상 값의 차이를 구하여 위상 연산식에 의해 상기 검사 대상물의 높이 값을 각각 계산한 후에 상기 검사 대상물의 높이 값을 이용해 통합 규칙에 따른 해당 픽셀의 높이값을 산출하고, 상기 검사 대상물에 대한 최종 높이값을 산출하는 것을 특징으로 한다.Wherein the image processing unit calculates and stores a reference phase value using a pattern image photographed on a reference plane that supports the inspection object before the vision inspection, and when the vision inspection is performed and the vision inspection is performed, Calculating a total phase value with respect to the surface of the inspected object for each pattern image using the plurality of first pattern images or the plurality of second pattern images acquired in the first period and the second period, Calculating a total phase value for a surface of the inspected object for each pattern image using a plurality of first pattern images or a plurality of second pattern images acquired at the first period and the second period, After calculating the difference between the reference phase value and the total phase value and calculating the height value of the inspected object by the phase calculation equation, An elevator value of the object to calculate the height value of that pixel according to the consolidation rules, and further characterized in that for calculating the final value for the height of the object to be inspected.
상기 프로젝터는 수평방향으로 설치되고, 하프 미러를 통해 상기 패턴 조명이 검사 대상물에 수직방향으로 조사되며, 상기 스테이지의 상부에 수직 방향으로 설치되어 상기 검사 대상물의 영상을 촬영하여 메인 영상 신호를 출력하는 메인 카메라를 더 포함하는 것을 특징으로 한다.The projector is installed in a horizontal direction, and the pattern illumination is irradiated in a direction perpendicular to the object to be inspected through a half mirror. The projector is installed vertically on the stage to take an image of the object to be inspected and output a main image signal And a main camera.
상기 영상 처리부는 패턴이 없는 평면 영상을 획득하기 위한 트리거 신호를 발생하고, 상기 프로젝터 구동부는 상기 트리거 신호에 따라 상기 조명 기구의 조명을 점등시키는 제3 조명 제어 신호를 발생하고, 상기 제3 조명 제어 신호와 동기화하여 상기 메인 카메라의 영상 촬영을 지시하는 제3 이미지 획득 신호를 발생하는 것을 특징으로 한다.
Wherein the image processor generates a trigger signal for acquiring a planar image without a pattern and the projector driver generates a third illumination control signal for lighting the illumination device in accordance with the trigger signal, And generates a third image acquisition signal instructing to take an image of the main camera in synchronization with the signal.
본 발명의 3차원 형상 측정 장치는, 소프트웨어적으로 프로젝터의 조명 패턴을 변경하여 서로 다른 패턴광이 투사되도록 하고, 각 조명 패턴에 따라 특정 방향에 위치한 카메라들이 2대씩 동시에 패턴 이미지를 획득함으로써 기존에 비해 이미지 촬영 소요 시간이 절감될 수 있고, 프로젝터의 조명 패턴을 쉽게 변경할 수 있어 작업 효율을 높일 수 있는 효과가 있다.The three-dimensional shape measuring apparatus according to the present invention changes the illumination pattern of the projector by software so that different pattern light is projected and cameras positioned in a specific direction according to each illumination pattern acquire a pattern image simultaneously by two cameras at the same time The time required for image shooting can be reduced, and the illumination pattern of the projector can be easily changed, thereby improving the working efficiency.
또한, 본 발명은 서로 다른 주기로 조명 패턴을 조사하여 주기별로 패턴간 간격이 달라지도록 함으로써 검사 대상물의 사이즈를 확인할 수 있을 뿐만 아니라 비전 검사의 정밀도를 높이면서 검사 오류를 최소화할 수 있는 효과가 있다.
In addition, the present invention irradiates illumination patterns at different intervals to vary the interval between the patterns for each cycle, thereby enabling the size of the object to be inspected, as well as minimizing the inspection error while improving the accuracy of the vision inspection.
도 1은 본 발명의 제1 실시예에 따른 3차원 형상 측정 장치의 구성을 설명하는 정면도이다.
도 2는 도 1의 평면도이다.
도 3은 도 1의 영상 처리부에서 출력되는 트리거 신호에 따른 신호 처리 과정을 설명하는 순서도이다.
도 4는 도 1의 프로젝터의 제1 패턴광이 서로 다른 주기로 투사되는 형태를 설명하는 도면이다.
도 5는 도 1의 프로젝터의 제2 패턴광이 서로 다른 주기로 투사되는 형태를 설명하는 도면이다.
도 6은 본 발명의 제2 실시예에 따른 3차원 형상 측정 장치의 구성을 설명하는 도면이다.1 is a front view for explaining a configuration of a three-dimensional shape measuring apparatus according to a first embodiment of the present invention.
2 is a plan view of Fig.
3 is a flowchart illustrating a signal processing process according to a trigger signal output from the image processing unit of FIG.
FIG. 4 is a view for explaining how the first pattern light of the projector of FIG. 1 is projected at different periods.
5 is a view for explaining a mode in which the second pattern light of the projector of FIG. 1 is projected at different periods.
6 is a view for explaining a configuration of a three-dimensional shape measuring apparatus according to a second embodiment of the present invention.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present invention should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the singular " include "or" have "are to be construed as including a stated feature, number, step, operation, component, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present invention.
도 1은 본 발명의 제1 실시예에 따른 3차원 형상 측정 장치의 구성을 설명하는 정면도이고, 도 2는 도 1의 평면도이다.Fig. 1 is a front view for explaining a configuration of a three-dimensional shape measuring apparatus according to a first embodiment of the present invention, and Fig. 2 is a plan view of Fig.
도 1 및 도 2를 참고하면, 제1 실시예에 따른 3차원 형상 측정 장치는, 스테이지(110), 복수의 조명(도시되지 않음), 조명 구동부(125), 복수의 카메라(131, 132, 133, 134), 프로젝터(140), 프로젝터 구동부(145), 그래버(150), 영상 처리부(160) 및 인터페이스부(170)를 포함한다.1 and 2, a three-dimensional shape measuring apparatus according to the first embodiment includes a
스테이지(110)는 검사 대상물(101)을 지지하고, 영상 처리부(160)의 제어에 따라 이동하면서 검사 대상물(101)을 검사 위치로 이송시킨다. The
조명은 2차원 검사를 위한 것으로서, 검사 대상물(101)에 R,G,B의 컬러조명 또는 백색 조명을 위한 복수 개의 LED가 미리 설정된 방식으로 배치된다. 이러한 조명은 2개, 3개 또는 6개 등의 다양한 개수와 형태의 조명을 포함할 수 있다. The illumination is for two-dimensional inspection, and a plurality of LEDs for R, G, B color illumination or white illumination are arranged in a predetermined manner in the object to be inspected 101. [ Such illumination may include various numbers and types of illumination, such as two, three, or six.
조명 구동부(125)는 조명 제어 신호에 따라 조명 또는 프로젝터(140)의 LED를 일정 시간 동안 점등시키거나, 각 LED의 점등 밝기를 조절한다. The
비전 검사 장치(100)는 다양한 각도에서 검사 대상물의 이미지를 촬영하기 위하여 복수 개의 카메라를 사용하도록 설정할 수 있는데, 각 카메라의 촬영 범위 내에 사각지대를 형성하지 않고 검사 대상물(101)을 촬영하여 이미지를 출력하도록 한다. The vision inspection apparatus 100 can be configured to use a plurality of cameras for capturing images of objects to be inspected at various angles. It is possible to capture images of the object to be inspected 101 without forming a dead zone within the shooting range of each camera, Output.
복수 개의 카메라(131, 132, 133, 134)는 스테이지(110)의 상부에 설치되어 검사 대상물(101)의 이미지를 촬영하여 영상 신호를 출력한다. 각 카메라들(131, 132, 133, 134)은 스테이지(110)의 기준면에 대해 거의 수직에 가까운 각도로 영상을 촬영할 수 있도록 배치된다. 복수 개의 카메라(131, 132, 133, 134)는 프로젝터(140)의 주위에 상호 대향되게 배치된다.The plurality of
예를 들어, 제1 카메라(131) 및 제3 카메라(133)는 프로젝터(140)의 좌우측에 서로 대향되도록 설치되고, 제2 카메라(132) 및 제4 카메라(134)는 프로젝터(140)의 상하측에 서로 대향되도록 설치된다. 제1 내지 제4 카메라(132, 133, 134, 135)는 프로젝터(140)를 중심으로 동일한 동심원 상에 배치될 수 있다.For example, the
프로젝터(140)는 디지털 방식으로 비전 검사의 목적에 맞는 조명 패턴에 대한 조명 패턴 데이터를 로딩하여 검사 대상물(101)에 특정한 조명 패턴을 투사할 수 있고, 영상 처리부(160)를 통해 소프트웨어적으로 패턴 주기 및 방향을 설정할 수 있다. The
프로젝터(140)는 검사 대상물에 대해 수직 방향으로 배치되고, 수직 패턴 또는 수평 패턴을 검사 대상물의 표면에 조사하는 3D 광학계로서 패턴의 주기는 영상 처리부(160)에서 제공받은 조명 패턴 데이터에 따라 결정될 수 있지만, 큰 주기와 작은 주기로 구분될 수 있다. The
프로젝터 구동부(145)는 영상 처리부(160)의 트리거 신호가 전송되면 조명 제어 신호에 따라 프로젝터(140)를 동작시키고, 조명 제어 신호와 동기화하여 복수의 카메라가 이미지를 촬상하기 위한 이미지 획득 신호를 발생하여 그래버(150)에 전송한다. When the trigger signal of the
그래버(150)는 이미지 획득 신호에 따라 복수의 카메라(131, 132, 133, 134)의 촬영을 지시하고, 복수의 카메라(131, 132, 133, 134)의 연결 라인을 통해 전송되는 영상 신호를 디지털 신호로 변환하여 디지털 영상 신호를 영상 처리부(160)로 전송한다.The
영상 처리부(160)는 그래버(150)에서 전송되는 디지털 영상 신호를 영상 처리하여 출력한다. 또한, 영상 처리부(160)는 스테이지(110), 조명, 조명 구동부(125), 복수 개의 카메라(132, 133, 134, 135) 및 그래버(150)의 동작을 전체적으로 제어한다. The
그리고, 영상 처리부(160)는 제1 내지 제4 카메라(132, 133, 134, 135)에서 촬영된 영상 신호들을 이용하여 검사 대상물(101)의 검사 이미지 또는 검사 결과 데이터를 디스플레이 수단(도시되지 않음)으로 출력할 수 있고, 디스플레이 수단에 출력된 검사 이미지 또는 검사 결과 데이터를 통해 검사 대상물의 형상을 확인하거나 불량 여부를 판단할 수 있다. The
여기서, 영상 처리부(160)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 태블릿 PC 등의 네트워크 접속이 가능한 통신 기기일 수 있으며, 3차원 형상 측정 장치에 관련한 알고리즘을 내장하여 영상 처리 및 비전 검사 등을 수행할 수 있는 단말로서, 그 종류에 제한이 없다. Here, the
인터페이스부(170)는 영상 처리부(160)에서 발생되는 트리거 신호를 전송받아 프로젝터 구동부(145)에 전송한다.
The
도 3은 도 1의 영상 처리부에서 출력되는 트리거 신호에 따른 신호 처리 과정을 설명하는 순서도이고, 도 4는 도 1의 프로젝터의 제1 패턴광이 서로 다른 주기로 투사되는 형태를 설명하는 도면이며, 도 5는 도 1의 프로젝터의 제2 패턴광이 서로 다른 주기로 투사되는 형태를 설명하는 도면이다.FIG. 3 is a flowchart for explaining a signal processing process according to a trigger signal output from the image processing unit of FIG. 1, FIG. 4 is a view for explaining a mode in which first pattern light of the projector of FIG. 1 is projected at different periods, 5 is a view for explaining a mode in which the second pattern light of the projector of FIG. 1 is projected at different periods.
도 3 내지 도 5를 참고하면, 제1 실시예에 따른 3차원 형상 측정 장치는 영상 처리부(160)에서 프로젝터(140)에 서로 다른 패턴의 제1 패턴과 제2 패턴을 포함하는 조명 패턴 데이터를 제공한다. 이때, 제1 패턴은 수평 패턴이고, 제2 패턴은 수직 패턴이 될 수 있다. 3 to 5, the three-dimensional shape measuring apparatus according to the first embodiment of the present invention includes an
기존의 프로젝터는 앞쪽에 물리적인 격자를 통해 조명 패턴을 형성하기 때문에 단일 패턴의 격자 무늬만 생성할 수 있었다. 만일, 패턴 형상을 다르게 하기 위해서는 별도의 격자가 구비되어야 하고, 격자를 교체하기 위한 기구적인 움직임이 추가되어 촬영 속도가 지연되는 문제점이 있다. Conventional projectors were able to generate only a single pattern of grid patterns because they formed an illumination pattern through a physical grid on the front side. In order to make the pattern shape different, a separate grating must be provided, and mechanical movement for replacing the grating is added, which causes a problem that the photographing speed is delayed.
한편, 프로젝터의 격자를 교체하지 않을 경우에는 카메라를 격자 무늬에 맞게 90도 회전시켜 촬영할 수 있지만, 이 경우 카메라가 바로보는 시야 문제, 광축 정렬의 문제점이 발생할 수 있다. On the other hand, if the grid of the projector is not replaced, the camera can be rotated by 90 degrees in accordance with the grid pattern. However, in this case, the camera may have problems in view of the viewer and alignment of the optical axis.
본 발명의 실시예에에서는 카메라의 설치방향에 따라 대향하는 카메라들을 그룹화하여 각 그룹마다 카메라의 촬영 방향에 적합한 조명 패턴 데이터를 소프트웨어적으로 형성하여 프로젝터(140)에 제공하기 때문에 실시간 조명 패턴 변경이 가능할 뿐만 아니라 기존의 단일 패턴의 격자 무늬로 인해 발생될 수 있는 문제점들이 해소될 수 있다. In the embodiment of the present invention, the cameras facing each other are grouped in accordance with the installation direction of the camera, and illumination pattern data suitable for the photographing direction of the camera is formed for each group by software and provided to the
영상 처리부(160)는 조명 패턴 투사와 이미지 촬영을 위한 트리거 신호를 발생시키고, 인터페이스부(170)는 트리거 신호를 입력받아 프로젝터 구동부(145)에 전달한다. 영상 처리부(160)는 제1 패턴과 제2 패턴을 순차적으로 사용하기 위해 트리거 신호를 2회 발생한다. The
영상 처리부(160)는 각 LED의 밝기 설정값을 트리거 신호로 전달하고, 트리거 신호는 바이패스되어 조명 구동부(125)에 LED의 밝기 설정값을 전달한다. 프로젝터(140)는 다수의 LED를 포함하므로 LED의 밝기 설정값에 따라 복수의 LED의 밝기를 조정하여 줄무늬 패턴이 되도록 할 수 있다. The
프로젝터 구동부(145)는 제1 트리거 신호에 따라 복수의 카메라의 촬영을 위한 제1 이미지 획득 신호와 프로젝터(140)의 LED를 점등하기 위한 제1 조명 제어 신호를 동기화하여 발생시킨다.The
프로젝터(140)는 제1 조명 제어 신호에 따라 일정 시간 동안 제1 패턴광을 조사하고, 복수의 카메라 중 제1 방향에 위치한 카메라들이 제1 패턴광이 투사된 검사 대상물을 촬영하여 제1 패턴 이미지를 획득한다.The
이때, 제1 방향에 위치한 카메라들은 제1 패턴의 방향에 카메라 시야각이 90도가 되도록 상하 방향에 위치한 제2 카메라(133)와 제4 카메라(135)가 될 수 있으며, 제 1 방향의 카메라들은 제1 패턴으로서 수평 패턴이 조사되는 경우 이에 연동하여 동작한다. 즉, 프로젝터 구동부(145)는 제1 패턴 데이터를 조명 구동부(125)로 전송함과 동시에 제1 방향에 위치한 제2 카메라(133)와 제4 카메라(135)의 동작을 구동하기 위한 구동 제어신호를 그래버(150)로 전송하여, 제1 패턴광 조사시에 제2 카메라(133)와 제4 카메라(135)가 연동하여 동작할 수 있도록 한다.In this case, the cameras positioned in the first direction may be the
또한, 프로젝터 구동부(145)는 제2 트리거 신호에 따라 제2 이미지 획득 신호와 제2 조명 제어 신호를 동기화하여 발생시키고, 프로젝터(140)는 제2 조명 제어 신호에 따라 제2 패턴광을 일정 시간 동안 점등시키고, 제2 방향에 위치한 카메라들이 제2 패턴광이 투사된 검사 대상물을 촬영하여 제2 패턴 이미지를 획득한다. In addition, the
제2 패턴이 수직 패턴인 경우에, 제2 방향에 위치한 카메라들은 제2 패턴의 방향에 카메라 시야각이 90도가 되도록 좌우 방향에 위치한 제1 카메라(132)와 제3 카메라(134)가 될 수 있으며, 제 2 방향의 카메라들은 제2 패턴으로서 수평 패턴이 조사되는 경우 이에 연동하여 동작한다. 즉, 프로젝터 구동부(145)는 제 2 패턴 데이터를 조명 구동부(125)로 전송함과 동시에 제 2 방향에 위치한 제 1 카메라(132)와 제3 카메라(134)의 동작을 구동하기 위한 구동 제어신호를 그래버(150)로 전송하여, 제 1 패턴광 조사시에 제 1 카메라(132)와 제3 카메라(134)가 연동하여 동작할 수 있도록 한다.When the second pattern is a vertical pattern, the cameras located in the second direction may be the
영상 처리부(160)는 제1 패턴 이미지와 제2 패턴 이미지를 그래버(150)를 통해 입력받아 영상 처리하고, 위상 연산을 통해 검사 대상물의 형상, 즉 높이를 산출하여 검사 결과 데이터를 출력한다. The
이러한 영상 처리부(160)는 검사 대상물의 검사 결과 데이터를 산출하기 위해 위상 연산 알고리즘을 수행한다.The
위상 연산 알고리즘은 비전 검사 이전에 스테이지(110), 즉 기준면에서 촬영된 패턴 이미지를 이용하여 기준 위상값을 산출하여 저장한다. 비전 검사 시, 제1 주기에서 획득한 제1 패턴 이미지 및 제2 패턴 이미지, 제2 주기에 획득한 제1 패턴 이미지 또는 제2 패턴 이미지를 이용하여 각 이미지별로 검사 대상물이 있는 대상면에 대한 전체 위상 값을 산출한다.The phase calculation algorithm calculates and stores the reference phase value using the pattern image photographed on the
위상 연산 알고리즘은 4개의 패턴 이미지에 대한 기준 위상 값과 전체 위상 값의 차이를 구하고, 위상 연산식에 의해 검사 대상물의 높이 값을 계산한 후 4개의 패턴 이미지로부터 계산한 검사 대상물의 높이 값을 통합 규칙에 따라 해당 픽셀의 높이값을 산출하며, 검사 대상물에 대한 최종 높이값을 산출한다. The phase calculation algorithm calculates the difference between the reference phase value and the entire phase value for the four pattern images, calculates the height value of the inspection object by the phase calculation formula, and then integrates the height value of the inspection object calculated from the four pattern images Calculates the height value of the pixel according to the rule, and calculates the final height value for the object to be inspected.
즉, 도 3에 도시된 바와 같이, 영상 처리부(160)는 트리거 신호를 통해 제1 패턴광을 서로 다른 주기로 투사되도록 하고, 마찬가지로 제2 패턴광도 서로 다른 주기로 투사되도록 한다.That is, as shown in FIG. 3, the
프로젝터 구동부(145)는 일정 시간 동안 제1 주기로 제1 패턴광이 투사되도록 하고, 일정 시간 동안 제2 주기로 제1 패턴광이 투사되도록 한다. 이때, 도 4에 도시된 바와 같이 제1 주기는 제2 주기보다 낮은 주파수를 가지므로 제1 주기의 제1 패턴(a)은 패턴간 간격이 넓고, 제2 주기의 제1 패턴(b)은 제1 주기의 패턴에 비해 패턴간 간격이 좁은 것을 알 수 있다. The
마찬가지로, 도 5에 도시된 바와 같이, 프로젝터 구동부(145)는 일정 시간 동안 제1 주기로 제2 패턴광이 투사되도록 하고, 일정 시간 동안 제2 주기로 제2 패턴광이 투사되도록 한다. Similarly, as shown in FIG. 5, the
이때, 제1 주기와 제2 주기는 일정 비율을 가지고, 프로젝터 구동부(145)는 프로젝터(140)에서 투사되는 패턴의 밝기가 사인파 형태가 되도록 PWM 신호 방식으로 8회 분할하여 프로젝터(140)의 LED가 온 동작되도록 조명 제어 신호를 발생시킨다. In this case, the first period and the second period have a predetermined ratio, and the
프로젝터(140)가 제1 주기로 제1 패턴광을 4회 조사하면 제1 방향의 카메라들이 제1 주기의 제1 패턴 이미지를 4장 획득하고, 프로젝터(140)가 제2 주기로 제1 패턴광을 4회 조사하면 제1 방향의 카메라들이 제2 주기의 제1 패턴 이미지를 4장 획득한다. (S11~S14)When the
그 후, 프로젝터(140)가 제1 주기로 제2 패턴광을 4회 조사하면 제2 방향의 카메라들이 제1 주기의 제2 패턴 이미지를 4장 획득하고, 프로젝터(140)가 제2 주기로 제2 패턴광을 4회 조사하면 제2 방향의 카메라들이 제2 주기의 제2 패턴 이미지를 4장 획득한다. (S15~S18)Thereafter, when the
따라서, 제1 방향의 카메라들은 제1 패턴광에서 총 8장의 제1 패턴 이미지를 동시에 획득하고, 제2 방향의 카메라들이 제2 패턴광에서 총 8장의 제2 패턴 이미지를 동시에 획득하므로 총 16장의 패턴 이미지를 획득할 수 있다. Accordingly, the cameras in the first direction acquire a total of eight first pattern images simultaneously in the first pattern light, and the cameras in the second direction simultaneously acquire a total of eight second pattern images in the second pattern light, Pattern images can be obtained.
비전 검사 장치(100)는 제1 주기에서 획득한 제1 패턴 이미지와 제2 패턴 이미지와 제2 주기에서 획득한 제1 패턴 이미지와 제2 패턴 이미지를 비교하여 검사 대상물의 높이를 계산할 수 있다. The vision inspection apparatus 100 may calculate the height of the object to be inspected by comparing the first pattern image and the second pattern image acquired in the first period and the first pattern image and the second pattern image acquired in the second period.
즉, 제1 주기에서의 패턴간 간격이 제2 주기에서의 패턴간 간격보다 넓기 때문에 제1 주기에서 획득한 패턴 이미지만을 이용하여 검사 대상물의 형상을 검사할 경우에 형상 측정의 정밀도가 떨어질 수 있어, 제2 주기에서 획득한 패턴 이미지를 적용하여 측정의 정밀도를 더욱 높일 수 있다. That is, since the interval between the patterns in the first period is wider than the interval between the patterns in the second period, the accuracy of the shape measurement may deteriorate when the shape of the object is inspected using only the pattern image acquired in the first period , The accuracy of the measurement can be further increased by applying the pattern image acquired in the second period.
또한, 제2 주기에서 획득한 패턴 이미지만을 이용하여 검사 대상물의 형상을 검사할 경우에 검사 대상물의 사이즈가 패턴간 간격을 초과하면 검사 대상물의 형상 측정이 사실상 불가능하므로, 제1 주기에서 획득한 패턴 이미지를 적용하여 검사 대상물의 사이즈를 확인한 후에 검사 대상물의 형상을 측정하여 비전 검사의 오류를 최소화할 수 있다.
Also, when the shape of the object to be inspected is inspected using only the pattern image acquired in the second period, if the size of the object to be inspected exceeds the interval between the patterns, it is practically impossible to measure the shape of the object to be inspected. The error of the vision inspection can be minimized by measuring the shape of the object to be inspected after checking the size of the object to be inspected by applying the image.
도 6은 본 발명의 제2 실시예에 따른 3차원 형상 측정 장치의 구성을 설명하는 도면이다.6 is a view for explaining a configuration of a three-dimensional shape measuring apparatus according to a second embodiment of the present invention.
도 6을 참고하면, 제2 실시예에 따른 3차원 형상 측정 장치는 상기한 제1 실시예의 구성과 거의 동일하지만, 2D 검사를 위해 수직 방향으로 설치되는 메인 카메라(130)를 더 포함하고, 수평방향으로 설치된 프로젝터(140)에서 조사된 패턴광이 하프 미러(150)를 통해 수직방향으로 굴절되어 검사 대상물의 표면에 투사되도록 하는 구조를 갖는다. 6, the three-dimensional shape measuring apparatus according to the second embodiment is substantially the same as that of the first embodiment described above, but further includes a
즉, 제2 실시예에 따른 3차원 형상 측정 장치는 첫번째 트리거 신호에 의해 제1 조명 제어 신호와 제1 이미지 획득 신호를 발생하여 제1 패턴 이미지를 획득하고, 두번째 트리거 신호에 의해 제2 조명 제어 신호와 제2 이미지 획득 신호를 발생하여 제2 패턴 이미지를 획득한다.That is, the three-dimensional shape measuring apparatus according to the second embodiment generates the first illumination control signal and the first image acquisition signal by the first trigger signal to obtain the first pattern image, and the second illumination control Signal and a second image acquisition signal to obtain a second pattern image.
이때, 3차원 형상 측정 장치는 제1 패턴광을 서로 다른 주기로 투사되도록 하고, 마찬가지로 제2 패턴광도 서로 다른 주기로 투사되도록 한다.At this time, the three-dimensional shape measuring apparatus causes the first pattern light to be projected at different periods, and similarly, the second pattern light is projected at different periods.
한편, 조명 구동부(125)는 트리거 신호에 따라 2차원 검사를 위한 컬러 조명이 검사 대상물에 조사되도록 제3 조명 제어 신호를 출력하고, 그래버(150)는 제3 조명 제어 신호에 동기화되어 제3 이미지 획득 신호를 출력한다. On the other hand, the
제3 조명 제어 신호에 따라 R,G,B의 발광색 또는 흰색을 가지는 복수 개의 LED가 일정 시간 동안 점등되고, 메인 카메라(130)는 제3 이미지 획득 신호에 의해 검사 대상물의 평면 영상을 촬영하여 영상 처리부(160)에 전송한다. A plurality of LEDs having R, G, and B luminescent colors or white are illuminated for a predetermined time according to the third illumination control signal, and the
이때, 메인 카메라(130)는 3D 패턴이 없는 평면 영상을 촬영하여 영상 처리부(160)에 제공하므로, 영상 처리부(160)는 평면 영상을 이용하여 FOV(Field Of View) 내에서 왜곡이 없는 검사 대상물의 이미지를 얻을 수 있으며, 2D 검사 및 3D 텍스쳐링 용도로 활용할 수 있다.
At this time, the
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
101 : 검사 대상물 110 : 스테이지
115 : 하프미러 125 : 조명 구동부
130 : 메인 카메라 131, 132, 133, 134 : 복수 개의 카메라
140 : 프로젝터 145 : 프로젝터 구동부
150 : 그래버 160 : 영상 처리부
170 : 인터페이스부 101: object to be inspected 110: stage
115: Half mirror 125: Lighting driver
130:
140: Projector 145: Projector driving part
150: Grabber 160: Image processor
170:
Claims (8)
상기 영상 처리부는 상기 제1 그룹의 카메라에 대응되는 조명 패턴인 제1 패턴에 대한 제1 트리거 신호와 상기 제2 그룹의 카메라에 대응되는 조명 패턴인 제2 패턴에 대한 제2 트리거 신호를 발생하며,
상기 프로젝터 구동부는 제1 패턴광 조사를 위하여 상기 제1 트리거 신호에 따라 상기 제1 패턴광을 투사하도록 하는 제1 조명 제어 신호를 발생하고 상기 제1 조명 제어 신호와 동기화하여 상기 복수 개의 카메라 중에서 제1 방향에 위치한 제 1 그룹의 카메라들이 동시에 영상을 촬영하도록 하는 제1 이미지 획득신호를 발생하며, 제2 패턴광 조사를 위하여 상기 제2 트리거 신호에 따라 상기 제2 패턴광을 투사하도록 하는 제2 조명 제어 신호를 발생하고, 상기 제2 조명 제어 신호와 동기화하여 상기 복수 개의 카메라 중에서 제2 방향에 위치한 제2 그룹의 카메라들이 동시에 영상을 촬영하도록 하는 제2 이미지 획득신호를 발생하는 것을 특징으로 하는 3차원 형상 측정 장치.
A stage for supporting the object to be inspected; A projector for irradiating a pattern light in a vertical direction to an upper portion of the stage; A plurality of cameras arranged in the periphery of the projector and divided into a first group and a second group according to an installation direction; A grabber for acquiring the plurality of video signals from the plurality of cameras and outputting a pattern image obtained by converting the plurality of video signals into digital signals; An illumination driver configured to set a brightness or a lighting state of the projector; Generating a plurality of illumination pattern data corresponding to the cameras of the respective groups and providing the generated illumination pattern data to the projector and generating a trigger signal for driving the cameras of the group corresponding to the illumination pattern data to be illuminated in the projector, An image processing unit for receiving and processing image data and providing inspection result data on the shape of the inspection object; And an illumination control signal receiving the trigger signal and instructing driving of the projector, and transmitting the illumination control signal to the illumination driving unit, generating an image acquisition signal instructing driving of the plurality of cameras in synchronization with the illumination control signal, And a projector driver for transmitting the image data to the grabber,
The image processor generates a second trigger signal for a first pattern corresponding to a first pattern, which is an illumination pattern corresponding to the camera of the first group, and a second pattern, which is an illumination pattern corresponding to the camera of the second group ,
The projector driving unit generates a first illumination control signal for projecting the first pattern light in accordance with the first trigger signal for irradiating the first pattern light, and synchronizes with the first illumination control signal, Generating a first image acquisition signal for causing a first group of cameras positioned in one direction to simultaneously photograph an image and projecting the second pattern light according to the second trigger signal for irradiating a second pattern light, And generates a second image acquisition signal to synchronize with the second illumination control signal to cause a second group of cameras located in a second direction among the plurality of cameras to simultaneously photograph images. 3 - D shape measuring device.
상기 제 1 그룹의 카메라에 대응되는 조명 패턴은 수평 줄무늬의 제1 패턴이고, 상기 제 2 그룹의 카메라에 대응되는 조명 패턴은 수직 줄무늬의 제2 패턴인 것을 특징으로 하는 3차원 형상 측정 장치.
The method according to claim 1,
Wherein the illumination pattern corresponding to the first group of cameras is a first pattern of horizontal stripes and the illumination pattern corresponding to the second group of cameras is a second pattern of vertical stripes.
상기 제1 방향에 위치한 카메라들은 상기 제1 패턴의 방향에 대해서 카메라 시야각이 직교하는 방향에 위치하며, 동일 선상에 배치된 적어도 하나 이상의 카메라이고,
상기 제2 방향에 위치한 카메라들은 상기 제2 패턴의 방향에 대해 카메라 시야각이 직교하는 방향에 위치하며, 동일 선상에 배치된 적어도 하나 이상의 카메라인 것을 특징으로 하는 3차원 형상 측정 장치.
The method according to claim 1,
Wherein the cameras positioned in the first direction are at least one camera located in a direction in which the camera viewing angle is orthogonal to the direction of the first pattern,
Wherein the cameras positioned in the second direction are at least one or more cameras arranged in a direction in which the camera viewing angle is orthogonal to the direction of the second pattern and arranged in the same line.
상기 영상 처리부는,
비전 검사 이전에 상기 검사 대상물을 지지하는 기준면에서 촬영된 패턴 이미지를 이용하여 기준 위상값을 산출하여 저장하고,
비전 검사 수행시, 서로 다른 주기를 갖는 제1 주기 및 제2 주기에서 획득한 복수의 제1 패턴 이미지 또는 상기 제1 주기 및 제2 주기에서 획득한 복수의 제2 패턴 이미지를 이용하여 패턴 이미지별로 상기 검사 대상물의 표면에 대한 전체 위상 값을 산출하며,
상기 패턴 이미지별로 상기 기준 위상 값과 전체 위상 값의 차이를 구하여 위상 연산식에 의해 상기 검사 대상물의 높이 값을 각각 계산한 후에 상기 검사 대상물의 높이 값을 이용해 통합 규칙에 따른 해당 픽셀의 높이값을 산출하고, 상기 검사 대상물에 대한 최종 높이값을 산출하는 것을 특징으로 하는 3차원 형상 측정 장치.
6. The method of claim 5,
Wherein the image processing unit comprises:
A reference phase value is calculated and stored using a pattern image photographed on a reference plane supporting the inspection object before the vision inspection,
A plurality of first pattern images acquired in the first period and a second period having different periods or a plurality of second pattern images acquired in the first period and the second period, Calculating an overall phase value for the surface of the object to be inspected,
Calculating a difference between the reference phase value and the total phase value for each of the pattern images, calculating a height value of the inspected object by a phase calculation formula, and then calculating a height value of the corresponding pixel according to the integration rule using the height value of the inspected object And calculates a final height value for the object to be inspected.
상기 프로젝터는 수평방향으로 설치되고, 하프 미러를 통해 상기 패턴광이 검사 대상물에 수직방향으로 조사되며,
상기 스테이지의 상부에 수직 방향으로 설치되어 상기 검사 대상물의 영상을 촬영하여 메인 영상 신호를 출력하는 메인 카메라를 더 포함하는 것을 특징으로 하는 3차원 형상 측정 장치.
The method according to claim 1,
The projector is installed in a horizontal direction, and the pattern light is irradiated in a direction perpendicular to the object to be inspected through a half mirror,
Further comprising: a main camera installed vertically above the stage to capture an image of the object to be inspected and output a main image signal.
상기 영상 처리부는 패턴이 없는 평면 영상을 획득하기 위한 트리거 신호를 발생하고,
상기 프로젝터 구동부는 상기 트리거 신호에 따라 상기 조명 기구의 조명을 점등시키는 제3 조명 제어 신호를 발생하고, 상기 제3 조명 제어 신호와 동기화하여 상기 메인 카메라의 영상 촬영을 지시하는 제3 이미지 획득 신호를 발생하는 것을 특징으로 하는 3차원 형상 측정 장치.8. The method of claim 7,
Wherein the image processing unit generates a trigger signal for acquiring a planar image without a pattern,
The projector driving unit generates a third illumination control signal for lighting the illumination of the illuminator in accordance with the trigger signal and a third image acquisition signal for instructing imaging of the main camera in synchronization with the third illumination control signal Dimensional shape measuring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140174483A KR101628158B1 (en) | 2014-12-05 | 2014-12-05 | Apparatus for measuring three dimension shape |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140174483A KR101628158B1 (en) | 2014-12-05 | 2014-12-05 | Apparatus for measuring three dimension shape |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101628158B1 true KR101628158B1 (en) | 2016-06-09 |
Family
ID=56139030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140174483A Active KR101628158B1 (en) | 2014-12-05 | 2014-12-05 | Apparatus for measuring three dimension shape |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101628158B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101824888B1 (en) | 2016-10-04 | 2018-02-02 | 이경자 | Three dimensional shape measuring apparatus and measuring methode thereof |
KR20190025151A (en) * | 2017-08-30 | 2019-03-11 | 한국기술교육대학교 산학협력단 | An automobile junction box terminal vision inspection method using line scan camera |
CN112805816A (en) * | 2018-10-15 | 2021-05-14 | 株式会社高迎科技 | Apparatus and method for checking and recording medium for recording command |
KR20210066042A (en) * | 2019-11-27 | 2021-06-07 | 건국대학교 산학협력단 | Drone based aerial photography measurement device |
KR20210083685A (en) * | 2019-12-27 | 2021-07-07 | (주) 인텍플러스 | Apparatus for inspecting exterior of battery |
WO2022045633A3 (en) * | 2020-08-25 | 2022-04-21 | 주식회사 메디트 | Three-dimensional scanner having plurality of image sensors |
WO2024063560A1 (en) * | 2022-09-21 | 2024-03-28 | 주식회사 메디트 | Scanner, data processing device and data processing method |
KR102750408B1 (en) * | 2024-03-20 | 2025-01-07 | 주식회사 울프슨랩 | 3D scanner system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011112639A (en) * | 2009-11-27 | 2011-06-09 | Nippon Kensaki Kk | Three-dimensional shape measuring system |
KR101081538B1 (en) | 2009-02-25 | 2011-11-08 | 주식회사 고영테크놀러지 | Three-dimensional image measuring apparatus and method thereof |
KR20120098131A (en) * | 2011-02-28 | 2012-09-05 | 이경자 | Grid pattern projection device |
KR101245148B1 (en) | 2011-03-10 | 2013-03-19 | 주식회사 미르기술 | Vision inspect apparatus of improved picture visibility |
JP2013178174A (en) * | 2012-02-28 | 2013-09-09 | Motoharu Fujigaki | Three-dimensional shape measuring apparatus using a plurality of gratings |
KR101476766B1 (en) * | 2013-08-23 | 2014-12-29 | 주식회사 고영테크놀러지 | Shape measurement apparatus |
-
2014
- 2014-12-05 KR KR1020140174483A patent/KR101628158B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101081538B1 (en) | 2009-02-25 | 2011-11-08 | 주식회사 고영테크놀러지 | Three-dimensional image measuring apparatus and method thereof |
JP2011112639A (en) * | 2009-11-27 | 2011-06-09 | Nippon Kensaki Kk | Three-dimensional shape measuring system |
KR20120098131A (en) * | 2011-02-28 | 2012-09-05 | 이경자 | Grid pattern projection device |
KR101245148B1 (en) | 2011-03-10 | 2013-03-19 | 주식회사 미르기술 | Vision inspect apparatus of improved picture visibility |
JP2013178174A (en) * | 2012-02-28 | 2013-09-09 | Motoharu Fujigaki | Three-dimensional shape measuring apparatus using a plurality of gratings |
KR101476766B1 (en) * | 2013-08-23 | 2014-12-29 | 주식회사 고영테크놀러지 | Shape measurement apparatus |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066868A1 (en) * | 2016-10-04 | 2018-04-12 | 이경자 | Device for measuring three-dimensional shape and method for measuring same |
KR101824888B1 (en) | 2016-10-04 | 2018-02-02 | 이경자 | Three dimensional shape measuring apparatus and measuring methode thereof |
KR20190025151A (en) * | 2017-08-30 | 2019-03-11 | 한국기술교육대학교 산학협력단 | An automobile junction box terminal vision inspection method using line scan camera |
KR102005345B1 (en) | 2017-08-30 | 2019-07-31 | 한국기술교육대학교 산학협력단 | An automobile junction box terminal vision inspection method using line scan camera |
CN112805816A (en) * | 2018-10-15 | 2021-05-14 | 株式会社高迎科技 | Apparatus and method for checking and recording medium for recording command |
US12051606B2 (en) | 2018-10-15 | 2024-07-30 | Koh Young Technology Inc. | Apparatus, method and recording medium storing command for inspection |
KR102387642B1 (en) * | 2019-11-27 | 2022-04-19 | 건국대학교 산학협력단 | Drone based aerial photography measurement device |
KR20210066042A (en) * | 2019-11-27 | 2021-06-07 | 건국대학교 산학협력단 | Drone based aerial photography measurement device |
KR20210083685A (en) * | 2019-12-27 | 2021-07-07 | (주) 인텍플러스 | Apparatus for inspecting exterior of battery |
KR102306848B1 (en) * | 2019-12-27 | 2021-09-29 | (주) 인텍플러스 | Apparatus for inspecting exterior of battery |
WO2022045633A3 (en) * | 2020-08-25 | 2022-04-21 | 주식회사 메디트 | Three-dimensional scanner having plurality of image sensors |
WO2024063560A1 (en) * | 2022-09-21 | 2024-03-28 | 주식회사 메디트 | Scanner, data processing device and data processing method |
KR102750408B1 (en) * | 2024-03-20 | 2025-01-07 | 주식회사 울프슨랩 | 3D scanner system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101628158B1 (en) | Apparatus for measuring three dimension shape | |
KR101583659B1 (en) | Apparatus for measuring three dimension shape | |
US9019351B2 (en) | Three-dimensional image measuring apparatus | |
TWI414749B (en) | Apparatus for measurement of surface profile | |
KR101207198B1 (en) | Board inspection apparatus | |
EP2685242B1 (en) | Vision testing device with enhanced image clarity | |
US10627216B2 (en) | Image processing apparatus | |
US10796428B2 (en) | Inspection system and inspection method | |
EP2685208A2 (en) | Vision testing device using multigrid pattern | |
KR101087180B1 (en) | Reliable Metal Surface 3-D Shape Extraction Techniques and Systems | |
CN104897691A (en) | Inspection apparatus | |
KR101705762B1 (en) | Method for Correcting tilt of 3D shape measuring device | |
JP2019082680A (en) | Method, device, and method for calibration of three-dimensional display device | |
CN105823438B (en) | The height measurement method of 3 d shape measuring apparatus | |
JP7090447B2 (en) | Image processing equipment | |
KR101757240B1 (en) | Method for generating reference pattern of 3D shape measuring device | |
KR101766468B1 (en) | Method for 3D shape measuring using of Triple Frequency Pattern | |
JP5612969B2 (en) | Appearance inspection apparatus and appearance inspection method | |
JP2016166747A (en) | Optical detection system | |
KR20180123870A (en) | System for measuring three dimension shape and Method thereof | |
KR101750883B1 (en) | Method for 3D Shape Measuring OF Vision Inspection System | |
KR101876391B1 (en) | Apparatus for inspecting three dimension Using multi-channel image of single color light Moire | |
CN217236740U (en) | Optical device for realizing high-precision three-dimensional form | |
CN116647669A (en) | A camera module testing system and device | |
KR101223800B1 (en) | RGB color is applied using moire image measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20141205 |
|
PA0201 | Request for examination | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150419 Patent event code: PE09021S01D |
|
PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20151125 Patent event code: PE09021S02D |
|
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160201 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160601 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20160601 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20190429 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20190429 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20200528 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20210601 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20220602 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20230601 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20240603 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20250528 Start annual number: 10 End annual number: 10 |