KR100941978B1

KR100941978B1 - 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원위치정보 측정방법 및 장치

Info

Publication number: KR100941978B1
Application number: KR1020080017489A
Authority: KR
Inventors: 노영식; 강희준; 서영수; 윤승준
Original assignee: 울산대학교 산학협력단
Priority date: 2008-02-26
Filing date: 2008-02-26
Publication date: 2010-02-11
Anticipated expiration: 2028-02-26
Also published as: KR20090092150A

Abstract

본 발명은 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법 및 장치에 관한 것으로서, (a) 2차원 영상용 씨씨디 카메라를 이용하여 물체의 2차원 영상을 획득하고, 물체의 측정점에 대한 2차원(x,y) 좌표값을 산출하는 단계; (b) 2개의 레이저 슬릿 빔 발생기로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치된 레이저 측정용 씨씨디 카메라의 특성을 나타내는 내부인자를 카메라 캘리브레이션을 수행하여 산출하는 단계; (c) 2개의 레이저 슬릿 빔 발생기를 이용하여 측정대상 물체에 2개의 슬릿 레이저 빔을 조사하고, 상기 레이저 측정용 씨씨디 카메라를 이용해 빔영상을 획득하는 단계; (d) 획득된 빔영상으로부터 물체가 놓인 평면의 평면방정식과 법선벡터를 산출하는 단계; 및 (e) 상기 내부인자와 상기 평면방정식 및 법선벡터를 이용하여 측정점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하는 단계를 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법이다.

본 발명에 따르면, 산업현장에 적합하면서 자동으로 처리결과를 획득 가능한 Slit광 측정법을 채택한 레이저 비전센서(Laser Vision Sensor) 측정방법을 통해 다양한 측정대상 물체에 대한 대응이 가능하고, 측정 데이터를 신속하게 얻을 수 있으며, 보다 정밀한 측정결과를 얻을 수 있다는 장점이 있다.

비전 시스템, 비전센서, 3차원 위치정보, 레이저, 씨씨디 카메라

Description

씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법 및 장치{Method of 3D Inspection of the object using CCD camera laser beam and Apparutus thereof}

본 발명은 레이저 비전 시스템에 관한 것으로서, 보다 상세하게는 2개의 레이저 슬릿 빔 발생기와 2개의 씨씨디 카메라를 이용하여 측정대상 물체의 3차원 위치정보를 산출할 수 있는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법 및 장치에 관한 것이다.

레이저 비전 시스템(Laser Vision System)이란 현재 생산현장에서 이루어지고 있는 물체의 3차원 정보측정을 접촉식 및 인력에 의한 것이 아니라 레이저 및 씨씨디 카메라 등의 비접촉식 센서를 이용하여 필요한 정보를 검출 및 측정하는 시스템을 말한다. 더 나아가 인력으로 측정할 수 없는 작업환경 속에서도 비전 레이저 시스템이 도입되고 있어 재품의 신뢰도와 생산성을 높여주고 있다.

또한 생산성의 향상을 위한 공장자동화는 보다 고속으로 좋은 제품을 생산할 수 있으며 효과적으로 생산라인의 시스템을 유지, 보수할 수 있는 이점을 가지고 있다. 이러한 공장자동화는 자동화 라인의 개발 점점 가속화되고 있으며 더욱 효율적인 자동화시스템의 도입되고 있다.

일반적인 3차원 물체의 정보 측정 방법에는 접촉식과 비접촉식이 있다. 접촉식 방법에는 정밀성은 보장되지만 측정에 많은 시간이 걸리며 또한 고가의 장비가 필요하다. 그리고 비접촉식방법에는 포인트광 방식(Point Beam Projection), 슬릿광 방식(Slit Beam Projection), 그리고 모아레 방식(Moire Method), PMP를 이용한 3차원 형상측정 방식 등이 있다.

포인트 광 방식은 한 번에 한 점의 높이만을 측정할 수 있기 때문에 곡면형상을 측정할 경우 센서를 이동시키면서 동시에 센서의 3차원 위치좌표를 읽어야 하기 때문에 고정도의 이동이 가능한 기구부가 필요하게 된다. 슬릿 광 방식은 광삼각법의 원리에 기초한 측정법으로 레이저 광을 집광시킨 후 로드렌즈나 실린더리컬 렌즈로 슬릿 광을 만들어 측정물체에 투영시켜 형상에 따라 변현된 슬릿 광을 얻는다. 이렇게 씨씨디 카메라로 얻어진 슬릿 광 이미지 데이터를 기하학적인 연산을 통하여 형상의 3차원 좌표를 산출하는 방법이다. 모아레 방식은 측정대상물 바로 앞에 규칙적인 줄무늬격자를 두고 한 쪽에서 빛을 비추면 물결무늬의 그림자가 측정물 위에 생기게 되는데 이 무늬를 모아레 무늬라고 한다. 이 무늬는 물체의 형상정보를 가지고 있어서 이를 분석하여 높이 값을 얻게 된다. PMP 방법(위상측정 형상측정법)에서는 영사식 모아레에서 사용하는 위상천이법을 주된 방법으로 하여 우수한 측정정도를 확보하면서 광학계를 대폭 간소화시킨 측정법이다. 하지만 우수 한 측정정도에도 불구하고 산업현장에서 구현이 불가능함으로 거의 사용되지 않고 있다.

본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위하여, 산업현장에 적합하면서 자동으로 처리결과를 획득할 수 있는 Slit광을 이용한 레이저 비전 센서(Laser Vision Sensor) 측정방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 자동차 차체 및 부품의 데이터 측정을 다양한 아이템에 대한 대응이 가능하고, 측정 데이터를 신속하게 얻을 수 있으며, 보다 정밀한 측정결과를 가져오도록 하는 고정도, 고속의 레이저 측정 모듈 및 3차원 위치정보 측정방법을 제공하는 것을 다른 목적으로 한다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 일 실시예에 따르면, (a) 2차원 영상용 씨씨디 카메라를 이용하여 물체의 2차원 영상을 획득하고, 물체의 측정점에 대한 2차원(x,y) 좌표값을 산출하는 단계; (b) 2개의 레이저 슬릿 빔 발생기로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치된 레이저 측정용 씨씨디 카메라의 특성을 나타내는 내부인자를 카메라 캘리브레이션을 수행하여 산출하는 단계; (c) 2개의 레이저 슬릿 빔 발생기를 이용하여 측정대상 물체에 2개의 슬릿 레이저 빔을 조사하고, 상기 레이저 측정용 씨씨디 카메라를 이용해 빔영상을 획득하는 단계; (d) 획득된 빔영상으로부터 물체가 놓인 평면의 평면방정식과 법선벡터를 산출하는 단계; 및 (e) 상기 내부인자와 상기 평면 방정식 및 법선벡터를 이용하여 측정점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하는 단계를 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법이 제공된다.

보다 바람직하게 상술한 (a) 단계는, (a1) 입력된 2차원 영상에 모폴로지 기법을 적용하여 물체의 영상을 추출하는 단계; (a2) 추출된 물체의 영상을 이진화하는 단계; 및 (a3) 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 단계를 포함하도록 구성될 수 있다.

또한, 상술한 (d) 단계는, (d1) 빔영상을 이진화하는 단계; (d2) 이진화된 빔영상을 세선화하는 단계; (d3) 세선화된 빔영상에 호프 트랜스폼(Hough Transform) 알고리즘을 적용하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하는 단계; 및 (d4) 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 단계를 포함하도록 구성될 수 있으며, 이때, 상술한 (d4) 단계는 슬릿면과 영상면 및 물체면이 한 직선에서 만나는 것을 이용하여 물체면의 평면방정식과 법선벡터를 산출하도록 구성될 수 있다.

또한, 상술한 (e) 단계는, (e1) 산출된 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하는 단계; (e2) 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환하는 단계; 및 (e3) 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 단계를 포함하도록 구성될 수 있다.

여기서, 상술한 (e2) 단계의 3차원(X,Y) 좌표값은 2차원(x,y) 좌표값이 독립적으로 변환 알고리즘에 적용되어 각각 산출되며, 법선벡터의 x 또는 y의 계수가 음인 경우 3차원(X 또는 Y) 좌표값은,

또는

로 산출되고,

법선벡터의 x 또는 y의 계수가 양인 경우 3차원(X 또는 Y) 좌표값은,

또는

로 산출되되, 상기 θ₂는 씨씨디 카메라의 영상면과 물체면(XZ 평면 또는 YZ 평면)과의 회전각이며, 상기 X' 또는 Y'는 회전각 θ₂가 없을 경우의 x 또는 y의 공간 좌표값인 것을 특징으로 할 수 있다.

또한, 본 발명의 다른 바람직한 일 실시예에 따르면,본 발명에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치에 있어서, 측정대상 물체의 2차원 영상을 촬영하여 출력하는 2차원 영상용 씨씨디 카메라; 상기 2차원 영상용 씨씨디 카메라에 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제1광원용 레이저 슬릿 빔 발생기; 상기 2차원 영상용 씨씨디 카메라의 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제2광원용 레이저 슬릿 빔 발생기; 상기 레이저 슬릿 빔 발생기로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치되어 슬릿 빔이 조사된 물체의 빔영상을 촬영하여 출력하는 레이저 측정용 씨씨디 카메라; 상기 2차원 영상용 씨씨디 카메라로부터 출력되는 2차원 영상을 분석하여 측정대상 물체의 2차원 중심좌표를 산출하고, 상기 레이저 측정용 씨씨디 카메라에 대한 카메라 캘리브레이션을 수행하여 내부인자를 산출하며, 상기 레이저 측정용 씨씨디 카메라로부터 출력되는 빔영상을 분석하여 물체면의 평면방정식과 법선벡터를 산출하고, 상기 내부인자와 상기 물체면의 평면방정식 및 법선벡터를 이용하여 측정대상 물체의 2차원 중심좌표를 3차원 좌표로 변환하여 출력하는 위치정보 측정부; 및 상기 2차원 영상용 씨씨디 카메라, 상기 레이저 슬릿 빔 발생기, 상기 레이저 측정용 씨씨디 카메라 및 상기 위치정보 측정부를 제어하여 물체의 3차원 위치정보 측정을 수행하는 제어부를 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치가 제공된다.

이때, 보다 바람직하게 상술한 위치정보 측정부는, 상기 2차원 영상용 씨씨디 카메라로부터 출력되는 2차원 영상에 모폴로지 기법을 적용하여 측정대상 물체의 영상을 추출하고, 추출된 물체의 영상을 이진화한 후, 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 중심좌표 산출모듈; 상기 레이저 측정용 씨씨디 카메라의 특성을 나타내는 내부인자를 산출하는 카메라 캘리브레이션 모듈; 상기 레이저 측정용 씨씨디 카메라로부터 출력되는 빔영상을 이진화/세선화처리하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하며, 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 평면방정식/법선벡터 산출모듈; 및 산출된 물체면의 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하고, 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환한 후, 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 좌표변환모듈을 포함하도록 구성될 수 있다.

이상에서 살펴본 바와 같이, 본 발명에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법에 따르면 산업현장에 적합하면서 자동으로 처리결과를 획득 가능한 Slit광 측정법을 이용할 수 있다는 장점이 있다.

또한, 본 발명에 따르면 기존의 자동차 차체 및 부품의 데이터 측정을 접촉식 센서나 인력에 의한 Sampling 측정 방식을 레이저 비전 센서(Laser Vision Sensor) 측정방법으로 대체하여 다양한 아이템에 대한 대응이 가능하고, 측정 데이 터를 신속하게 얻을 수 있으며, 보다 정밀한 측정결과를 얻을 수 있다는 장점이 있다.

또한, 본 발명에 따르면 자동차 차체 및 부품 생산에서 불량을 없애기 위한 각 측정항목들 즉, 모재의 길이, 거리, 두께 및 외경을 정밀하게 측정할 수 있으며, 나아가 자동차 차체 및 부품의 용접품질과 품질의 안정성을 제고할 수 있다는 장점이 있다.

본 발명에서 추구하는 주된 내용은 3차원 데이터 획득을 위한 레이저 모듈을 설계하고, 이를 이용한 자동차 차체 및 부품의 2, 3차원 데이터 획득 방법, 재구성 및 고속의 해석 방법을 발명하는 것이다. 그의 방법으로 본 발명에서는 자동차 차체에 있는 홀(hole)의 면적 및 슬롯의 간격 등을 얻어내기 위한 기본적인 단계인 공간상의 한 점(목표물의 중심점)의 3D 좌표값을 측정하는 알고리즘을 제시한다.

레이저 센서를 이용한 3차원 위치 측정 시스템을 구성하기 위해서 본 발명에서는 먼저 씨씨디 카메라를 이용하여 대상물의 2D 이미지를 습득하고 전처리 과정 및 이진화 처리 과정을 거쳐 우리가 원하는 목표물을 대상물에서 분리하고 그 목표물 중심의 2D 좌표를 얻는다. 그리고 슬릿의 레이저 다이오드를 물체에 쏘고 다시 씨씨디 카메라로 받은 빔 영상을 이용하여 대상물의 평면 방정식과 법선벡터(Normal Vector)를 계산하고, 그 평면방정식과 법선벡터를 이용하여 이차원 위치 정보를 3차원 위치 정보로 변환하게 된다.

이렇게 변환된 3차원 위치 정보는 다른 목적을 가진 측정(앞에서 기술한 홀의 면적 및 슬롯의 간격 등)에서 활용되며 그의 기초가 된다.

이하에서, 첨부된 도면을 참조하여 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법 및 장치에 대한 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따라 물체의 3차원 위치정보가 측정되는 과정을 도시한 순서도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법은, 2차원 영상용 씨씨디 카메라(110)를 이용하여 물체의 2차원 영상을 획득하는 단계(S100), 입력된 2차원 영상에 모폴로지 기법을 적용하여 물체의 영상을 추출하는 단계(S102), 추출된 물체의 영상을 이진화하는 단계(S104), 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 단계(S106)를 수행하여 2차원 정보를 획득한다.

다음으로, 본 발명에 따른 3차원 위치정보가 측정방법은 2개의 레이저 슬릿 빔 발생기(120, 122)로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치된 레이저 측정용 씨씨디 카메라(130)의 특성을 나타내는 내부인자를 카메라 캘리브레이션을 수행하여 산출하는 단계(S108), 2개의 레이저 슬릿 빔 발생기(120, 122)를 이용하여 측정대상 물체에 2개의 슬릿 레이저 빔을 조사하고(S110), 레이저 측정용 씨씨디 카메라(130)를 이용해 빔영상을 획득하는 단 계(S112), 획득된 빔영상을 이진화하는 단계(S114), 이진화된 빔영상을 세선화하는 단계(S116), 세선화된 빔영상에 호프 트랜스폼(Hough Transform) 알고리즘을 적용하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하는 단계(S118)를 수행하여 3차원 정보를 획득하게 된다.

다음으로, 본 발명에 따른 3차원 위치정보가 측정방법은 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식과 슬릿면과 영상면 및 물체면이 한 직선에서 만나는 것을 이용하여 물체면의 평면방정식과 법선벡터를 산출한다(S120).

마지막으로, 본 발명에 따른 3차원 위치정보가 측정방법은 획득된 2차원 정보와 3차원 정보를 이용하여 산출된 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하는 단계(S122), 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환하는 단계(S124), 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 단계(S126)를 수행하여 측정대상 물체 중심점의 3차원 좌표를 산출하게 된다.

한편, 도 2b는 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치의 구성 블록도이다. 도 2b에 도시된 바와 같이 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치는, 측정대상 물체의 2차원 영상을 촬영하여 출력하는 2차원 영상용 씨씨디 카메라(110), 2차원 영상용 씨씨디 카메라(110)에 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제1광원용 레이저 슬릿 빔 발생기(120), 2차원 영상용 씨씨디 카메라(110)의 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제2광원용 레이저 슬릿 빔 발생기(122), 레이저 슬릿 빔 발생기(120, 122)로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치되어 슬릿 빔이 조사된 물체의 빔영상을 촬영하여 출력하는 레이저 측정용 씨씨디 카메라(130), 2차원 영상용 씨씨디 카메라(110)로부터 출력되는 2차원 영상을 분석하여 측정대상 물체의 2차원 중심좌표를 산출하고, 레이저 측정용 씨씨디 카메라(130)에 대한 카메라 캘리브레이션을 수행하여 내부인자를 산출하며, 레이저 측정용 씨씨디 카메라(130)로부터 출력되는 빔영상을 분석하여 물체면의 평면방정식과 법선벡터를 산출하고, 내부인자와 물체면의 평면방정식 및 법선벡터를 이용하여 측정대상 물체의 2차원 중심좌표를 3차원 좌표로 변환하여 출력하는 위치정보 측정부(220) 및 2차원 영상용 씨씨디 카메라(110), 레이저 슬릿 빔 발생기(120, 122), 레이저 측정용 씨씨디 카메라(130), 위치정보 측정부(220)를 제어하여 물체의 3차원 위치정보 측정을 수행하는 제어부(210)를 포함할 수 있다.

이때, 보다 바람직하게 상술한 위치정보 측정부(220)는, 2차원 영상용 씨씨디 카메라(110)로부터 출력되는 2차원 영상에 모폴로지 기법을 적용하여 측정대상 물체의 영상을 추출하고, 추출된 물체의 영상을 이진화한 후, 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 중심좌표 산출모듈(222), 레이저 측정용 씨씨디 카메라(130)의 특성을 나타내는 내부인자를 산출하는 카메라 캘리브레이션 모듈(224), 레이저 측정용 씨씨디 카메라(130)로부터 출력되는 빔영상을 이진화/세선화처리하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하며, 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 평면방정식/법선벡터 산출모듈(226), 산출된 물체면의 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하고, 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환한 후, 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 좌표변환모듈(228)을 포함할 수 있다.

이하에서, 첨부된 도 3 내지 11을 참조하여 상술한 바와 같이 구성되는 본 발명에 따른 물체의 3차원 위치측정 방법과 장치의 2차원 정보와 3차원 정보 획득, 2차원-3차원 좌표변환 알고리즘 및 물체의 평면 방정식 및 법선벡터 획득 알고리즘과 실험과정을 상세하게 설명하도록 한다.

1. 2차원 정보 획득 과정 - 물체의 중심좌표를 산출하는 과정

(1-1) 영상의 전처리 과정

그레이 영상을 처리할 때 있어서 좀 더 선명한 영상을 얻기 위해서는 모폴로지(Morphology) 기법이 적용되어야 한다.

모폴로지 기법이란 형태학적인 접근 기법으로 미리 기하학적 형태를 알고 있는 대상 물체의 정보를 반영하여 영상 내에서 원하는 부분만을 추출해내는 것이다. 모폴로지 기법은 가장 기본적인 연산으로 침식(erosion), 팽창(dilation) 연산이 있으며, 앞의 2가지 연산을 복합적으로 사용하는 제거(opening), 채움(closing) 연산이 있다. 모폴로지 기법을 이용하여 촬영된 2차원 영상으로부터 측정대상 물체의 영상을 특정/추출하는 기법은 이미 공지된 기술을 채택하고 있는 바 더 이상의 상세한 설명은 생략하기로 한다.

(1-2) 영상 이진화 과정

영상의 직관적인 특징들과 단순화 때문에, 이미지의 이진화는 영상분할의 영역에서 많이 쓰이고 있다. 본 발명에서도 어떤 대상물체에서 측정하고자 하는 목표물을 구분하는 방법으로 영상 이진화를 이용하였다.

점 (x,y)를 중심으로 한 이웃의 평균 명암도 이진화된 영상 g(x,y)는 다음과 같이 수학식 1로 정의된다.

여기서 T는 문턱치값(threshold value)이다. 즉, 1로 표시된 화소들은 물체에 해당되고, 0으로 표시된 화소들은 배경에 해당된다.

T가 오직 f(x,y)(명암값)에만 의존할 경우 이 이진화는 전역적(global)이라 하고 T가 f(x,y)와 g(x,y)에 모두 의존하게 되면 이 이진화는 국부적(local)이라 한다. 또, T가 공간좌표 x와 y에도 의존하면 이 이진화는 동적(dynamic) 또는 적응적(adaptive)이라 한다. 본 발명에서는 기본적인 전역적 이진화방법을 사용하였다.

다음의 간단한 알고리즘을 이용하여 자동으로 T(threshold value)값을 얻을 수 있다.

Step 1. T의 초기값을 임의로 선정한다.

Step 2. T를 사용하여 영상을 두 개의 그룹으로 분할한다.

G₁은 명도값이 T보다 큰 모든 픽셀들로 구성되어지고, G₂는 명도값이 T보다 작거나 같은 모든 픽셀들로 구성되어진다.

Step 3. 각 G₁과 G₂ 영역에서 픽셀의 명암도의 평균값 μ₁와 μ₂를 구한다.

Step 4. 새로운 T를 계산한다.

Step 5. 연속 반복법에서 T의 차이가 미리 정한 변수 T₀보다 작을 때까지 단계 2에서 4를 반복한다.

(1-3) 중심점 추출 과정

본 발명에서는 측정하고자 하는 대상물의 중심좌표를 얻기 위해 단면 1차 모멘트를 이용하고 있다. 단면 1차 모멘트는 도형의 중심과 구조물의 응력산정 및 안정도를 검토하는데 사용된다.

도 3a를 참조하면, 단면을 세분한 미소면적 d_A와 X축에서 까지의 d_A거리 y,Y축에서 d_A까지의 거리 x를 곱하여 전단면에 대하여 합할 때

,

로 되고, 이것을 X축, Y축에 대한 단면 1차 모멘트(Starical moment)라 하고, G_X, G_Y라는 기호로 표시하며, 단위는 길이 단위의 세제곱(m3, cm3)이다.

또는, 도 3b와 같이 미소면적을 d_A1, d_A1,...........,d_An으로 세분화하여 생각할 때, 축에서부터 각각의 미소면적까지 거리를 y₁, y₂,....,y_n과 x₁, x₂,....,x_n이라고 한다면 다음과 같은 수학식 4로 정의될 수도 있다.

※도형의 중심 추출

도 3c를 참조하면, 어느 한 점을 지나는 임의방향의 모든 축에 대한 단면 1차 모멘트가 0이 되는 점을 그 도형의 중심(Center of figure)이라 한다. 도형에 중심은 하나만 존재하고 중심은 임의의 X, Y축에 대하여 단면 1차 모멘트를 구하여 도형의 면적으로 나누어 구한다.

수학식 5에서 A는 도형의 면적이다. 또한 도 3d와 같이 여러 개의 단면 A₁, A₂, A₃,......,A_n으로 이루어진 집합체의 단면에서는 전단면에 대한 단면 1차 모멘트를 구하여 총면적으로 나누어 수학식 6과 같이 중심의 위치를 구할 수 있다.

2. 3차원 정보 획득 과정

3차원 정보 습득에 있어서 수행되는 과정은 다음과 같다.

본 발명에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법 및 장치는 레이저 빔 영상 획득 -> 이진화 -> 세선화 -> 호프 트랜스 폼(Hough Transform) -> 평면방정식 및 법선벡터 추출과정을 수행하여 물체의 3차원 정보를 습득하도록 구성된다.

레이저 슬릿빔 발생기(120, 122)로부터 조사된 2개의 레이저 빔이 측정대상 물체에 비춰지면 레이저 측정용 씨씨디 카메라(130)가 그의 영상을 받아오게 된다. 그리고 그 영상은 앞에서 설명한 이진화 처리를 거치게 되고 다시 그 빔 영상을 분석할 수 있도록 세선화(thinning) 과정을 거치게 된다.

세선화된 레이저 빔은 호프 트랜스폼(Hough Transform)을 통하여 일련의 직선방정식으로 표현되고 이렇게 구해진 직선방정식으로부터 그 대상물의 평면방정식과 법선벡터를 습득하게 된다.

(2-1) 세선화 (Thinning) 과정

세선화의 기본적인 개념은 두꺼운 선을 최외각부터 한 겹씩 벗겨나가서 마지막에 남는 선 성분을 추출하는 것이다. 즉 가운데 선을 추출하는 것이다. 이는 레이저 빔의 두터운 이미지를 한 픽셀에 맺히는 직선으로 만들기 위해 본 발명에서 적용되어진다. 세선화는 원래 도형의 연결성은 변화시키지 않고, 선의 원래 형태를 유지하는 것이 중요하다.

구조 요소 B에 의한 집합 A의 세선화는 AⓧB로 표기되며 다음의 수학식 7과 같은 구조 요소의 열에 의해 정의될 수 있다.

이 과정은 B¹으로 한번 통과(one pass)시켜 A를 세선화하고, 그 다음 이 결과를 B²로 한번 통과시켜 세선화하고, 이 과정을 Bⁿ으로 한번 통과시켜 A를 세선화할 때까지 계속된다. 이 전 과정은 더 이상의 변화가 일어나지 않을 때까지 반복된다.

(2-2) 호프 트랜스폼(Hough Transform)을 이용한 직선 추출 알고리즘

호프 트랜스폼(Hough Transform)은 영상의 윤곽이나 곡선 또는 선이 매개변수로 표현될 수 있는 경우 그것을 검출해 내는데 좋은 효과를 보이는 방법이다.

◎ 호프 트랜스폼(Hough Transform) Ⅰ

어떤 직선의 방정식 y_i=ax_i+b위에 존재하는 점 (x_i,y_i), (x_j,y_j)의 경우 직선의 방정식을 b=-x_ia+y_i로 쓰고 ab평면(변수공간)에 표현해보면 한점 (a',b')에서 만나게 된다. 여기서 a'와 b'는 xy평면에서 (x_i,y_i)와 (x_j,y_j)를 잇는 선의 기울기와 절편이다. 역시 직선의 방정식 y_i=ax_i+b위에 존재하는 모든 점은 ab평면에서 (a',b')를 지나게 된다. 이러한 개념을 첨부된 도 4a(XY 평면)와 도4b(ab 평면 (변수공간))에 나타내었다.

호프 트랜스폼(Hough Transform)은 이런 개념에 누적셀(accumulator cell) 개념을 첨가한다. 셀 좌표 (i,j)는 변수공간에서 좌표 (a,b)를 가지는 사각형에 해당하고, 누적값 A(i,j)를 가진다. 그 다음에 영상 내에 모든 점 (x_k,y_k)에 대해, 방정식 y_k=ax_k+b 를 이용해 이에 해당하는 b에 대해 풀고, 이 b는 다시 b축에 허용된 각 값에 가장 가까운 값으로 찾아 놓는다. 그리고 그에 해당하는 A(i,j)의 값을 1씩 누적시킨다. 영상의 모든 점에 대하여 이 과정이 끝났을 때, A(i,j)에 Q라는 값은 xy평면에서 y=a_ix+b_j 직선상에 놓인 Q개의 점을 뜻한다. ab평면을 나눈 수는 이 점들의 동일 직선상에 대한 정확도를 의미한다. 상술한 과정을 통해 ab평면이 세분된 도면을 도 4c에 도시하였다. 그러나 이 알고리즘은 직선이 X축 또는 Y축에 가까울수록 매개변수 a, b가 무한대에 가까워져서 구현상에 문제점이 있다.

◎호프 트랜스폼(Hough Transform) Ⅱ

위의 호프 트랜스폼(Hough Transform) Ⅰ에서 직선이 Y축에 평행해 갈 때 매개변수 a, b가 무한대에 가까워지는 문제점을 해결하기 위해 두 번째 알고리즘을 이용한다.

직선을 각도 θ와 거리 ρ의 매개변수로 표현하면 수학식 8과 같이 표현될 수 있으며, 여기에 호프 트랜스폼(Hough Transform) Ⅰ에서와 유사한 방법으로 a, b 대신에 θ, ρ를 매개변수로 θρ평면에 매핑(mapping)하여 누적셀 개념에 적용시킨다. 이러한 개념을 도 4d(직선의 정규적 표현)와 도 4e(ρθ평면의 세분)에 도시하였다.

(2-3) 카메라 캘리브레이션(Camera Calibration) 과정

정보를 추출하기 전 기본적으로 행해져야하는 카메라 캘리브레이션(Camera Calibration)은 Zhengyou Zhang의 “Camera Calibration with One-Dimensional Object"에 나오는 알고리즘을 적용시켰다. 본 알고리즘을 이용하는 경우 1차원의 물체로 카메라 캘리브레이션(Camera Calibration)을 가능하게 된다.

◎기본적인 표기법

씨씨디 카메라 상에 맺히는 2D의 점을 m=[u,v]^T로 표기하며, 공간상의 3D의 점은 M=[X,Y,Z]^T로 표기한다. 그리고 확장벡터는 아래의 수학식 9와 같이 정의된다.

와

공간상의 점 M과 씨씨디 카메라상의 점 m은 원근사영(perspective projection)으로서 다음의 수학식 10과 같은 관계가 성립된다.

with

여기서 s는 scale factor이고 [R t]의 R과 t는 카메라 좌표계와 베이스 좌표계의 관계를 나타내는 회전행렬(Rotation Matrix)과 전이행렬(Translation Matrix)이다.

그리고

는 카메라의 내부행렬로 다음과 같은 인자를 가진다.

(u₀,v₀) : 중요점의 좌표값

(α,β) : 이미지상에서의 축과 축으로의 scale factor

: 이미지상의 두 개의 축 와 축 사이의 뒤틀림 값

위에서 정의된 인자를 내부인자로 정의하며 카메라 캘리브레이션(Camera Calibration)의 목적은 이 5개의 내부인자를 결정하는 것이다.

그리고,

로 표기하도록 한다.

◎ 1차원 물체를 이용한 카메라 캘리브레이션(Camera Calibration)

◇ 기본적인 표현식

세 개의 점으로 구성되고 한점을 고정시킨 공간상의 1차원 물체를 생각해보자. 양 끝점을 A, B로 하고 점 A를 고정점으로 본다. 고정점 A를 기준으로 점 B를 움직인다고 가정하자. 물체의 길이, 즉 점 AB사이의 거리는 다음의 수학식 11과 같이 구하게 된다.

그리고 점 C의 위치는 다음의 수학식 12와 같이 주어진다.

즉, 점 C는 양 끝점 A, B 사이에 존재하는 점이다. 여기서 λ_A와 λ_B는 점 A, B의 scale factor이고 이미 알고 있는 값이다. 만약 점 C가 AB의 중점이라면 λ_A=λ_B= 0.5가 될 것이다.

도 5는 1차원 물체의 원근사영의 예시도로서, 도 5에서와 같이 공간상의 점 A,B,C와 이미지상의 점 a,b,c와의 관계는 다음의 수학식 13과 같다.

여기서 Z_A, Z_B, Z_C는 점 A, B, C의 원점 O와의 거리(깊이)를 나타내는 값으로 알 수 없는 값이다.

위의 수학식 13을 수학식 11에 대입하고 양변에

을 소거하면 다음과 같은 수학식 14가 얻어진다.

그리고

로 양변을 외적을 구하면 아래와 같은 수학식 15가 된다.

수학식 15를 Z_B로 정리하면 아래와 같은 수학식 16이 된다.

그리고 수학식 11에 수학식 13을 적용하면 수학식 17과 같이 된다.

수학식 17에 수학식 16에서 도출된 Z_B값을 대입하면 다음과 같은 수학식 18을 얻게 된다.

그리고 수학식 18을 양변에 제곱을 하여 표현한 결과는 다음의 수학식 19와 같다.

여기서

이다.

여기서 h는 λ_A와 λ_B를 알고 있기에 구할 수 있다.

하지만 수학식 19에서 Z_A와

의 인자 5개, 총 6개의 모르는 값들을 가지고 있다. 따라서 카메라 캘리브레이션(Camera Calibration)을 위해서는 최소한 1차원 물체의 6개의 이미지가 필요하다.

◇ Closed-Form Solution

수학식 19에서의

을 다음과 같은 수학식 20으로 정의하자.

여기서 행렬 B는 대칭행렬이기에 아래의 수학식 21과 같이 6D 벡터로 표현이 가능하다.

그리고 h=[h₁,h₂,h₃]^T, x=Z² _Ab 로 둔다면 수학식 19는 다음의 수학식 21과 같이 정리할 수 있다.

이 때,

이다

만약 1차원 물체의 이미지가 N개 얻어졌을 경우 수학식 21은 다음의 수학식 22와 같이 표현된다.

1

이 때,

이고, 1 =

이다.

수학식 22는 최소자승법(Least-squares solution)에 의해서 다음의 수학식 23과 같이 표현 가능하다.

1

x=Z² _Ab에서 알지 못하는 인자들을 모두 구할 수 있다.

여기서,

로 두고 풀면 다음의 수학식 24와 같이 내부인자와 Z_A값을 유일하게 뽑아낼 수 있다.

위의 결과를 수학식 16에 대입해서 Z_B를 구할 수 있으며, 역시 수학식 13에 대입하여 점 A, B, C를 구할 수 있다.

본 발명에서는 상술한 바와 같은 카메라 캘리브레이션 과정을 수행하여 레이저 측정용 씨씨디 카메라(130)의 카메라 특성에 따른 내부인자를 산출하게 된다.

3. 2차원-3차원 좌표변환 알고리즘

본 알고리즘은 씨씨디 카메라 상의 좌표를 목표물이 놓인 평면의 평면방정식을 이용하여 공간상의 좌표로 변환하는 알고리즘이다. 본 발명에서는 목표물의 평면 중심좌표를 공간상의 좌표로 변환하는데 이용된다.

기본 착안점은 목표물의 평면방정식에서 법선벡터를 얻어내 그 법선벡터를 씨씨디 카메라 좌표계에서의 XZ평면과 YZ평면에 정사영 시킴으로서 각 축으로의 회전된 각을 얻어내는 것에 있다. 따라서 씨씨디 카메라 상의 좌표 x, y를 독립적으로 알고리즘에 적용시켜 각각의 공간 좌표를 구하게 된다.

공간상에서의 평면 방정식은 다음과 같이 유도된다. 한 점 A(x₁,y₁,z₁)을 지나고

에 수직인 평면 a(x-x₁)+b(y-y₁)+c(z-z₁)=0에서 이 식을 정리하면 ax+by+cz-(ax₁+by₁+cz₁)=0이 되고, 여기에서 -(ax₁+by₁+cz₁)은 일정함으로 이를 d로 놓으면 다음의 수학식 25와 같은 평면의 방정식의 일반형을 얻을 수 있다.

그리고 위의

는 법선벡터(normal vector)라고 부른다.

본 발명에서는 먼저 평면의 방정식을 얻어내고, 그 식에서 법선벡터를 얻어내 본 알고리즘에 적용시킨다.

법선벡터를 카메라의 광축(Z축)을 기준으로 다른 축과 이루는 평면 즉, XZ축과 YZ축으로 사영시킴으로서 얻어지는 카메라 평면과의 기울기 값(θ)은 도 6a 또는 도 6c와 같은 평면의 평행을 이용하여 얻어진다. 그리고 얻어진 기울기 값은 그림과 같이 두 가지의 경우로 나누어 볼 수 있다. 본 발명은 그 두 가지의 경우를 고려하여 좌표변환 알고리즘을 제안한다. 이하에서는 X(실제 측정대상 물체의 3차원 중심좌표의 X좌표)를 구하기 위해 XZ평면를 기준으로 설명하며, Y(실제 측정대상 물체의 3차원 중심좌표의 Y좌표)를 구하는 알고리즘은 YZ평면상에서 동일한 알고리즘을 이용해 산출되므로 설명을 생략하기로 한다.

(3-1) 법선벡터의 x, y의 계수(a or b)가 음일 경우

도 6a는 법선벡터의 a(or b)가 음의 수를 가질 때 XZ평면의 양의 방향으로 사영시킨 그림이다.

여기서,

f : 초점거리

h : 원점과 회전이 없는 물체면까지의 수직거리

X_h or Y_h: 높이가 일 때 카메라가 볼 수 있는 면적의 1/2

XC or YC: x or y의 씨씨디 카메라의 좌표값

X' or Y' : 회전각 θ₂가 없을 경우의 x or y의 공간 좌표값

X or Y : 회전각 θ₂가 있을 경우의 x or y의 공간 좌표값

이다. 그리고 X'(or Y') 의 값은 다음의 수학식 26과 같이 구해진다.

여기서 X(or Y)를 구하기 위해 굵게 표시된 부분만을 때어내어 보면 도 6b(X의 실제 공간 좌표값)와 같이 표현되어진다.

여기서 X는 우리가 실제로 구해야 되는 값이다. 그리고 X'는 θ₂=0일 경우의 공간 좌표값이며 θ₂는 물체와 영상면과의 기울어진 정도를 나타낸다.

따라서 구하고자 하는 X는 다음의 수학식 27과 같이 간단히 유도 되어진다.

(3-2) 법선벡터의 x, y의 계수(a or b)가 양일 경우

첨부된 도 6c는 법선벡터의 a(or b)값이 양의 값을 가질 경우로, XZ평면의 양의 방향으로 사영된 그림을 나타내었다.

위의 그림에서 X(or Y)를 구하기 위해 굵게 표시된 삼각형 부분을 확대하면 도 6d와 같이 나타낼 수 있다.

여기서 α=θ₁이고 β=90°-θ₂ 가 됨을 알 수 있다. 그리고 최종적인 X를 구하기 위해 식을 유도해보면 다음의 수학식 28과 같다.

그리고 도 6c에 의해서 X는 수학식 29와 같이 표현될 수 있다.

따라서 구하고자 하는 X는 다음의 수학식 39과 같이 최종적으로 얻어진다.

이상의 알고리즘을 카메라상의 좌표 x와 y에 각각 적용시키면 공간상에 법선벡터가 어떻게 존재하던지 관계없이 공간 좌표 X와 Y를 얻을 수 있다. 그리고 공간상의 Z좌표는 변환된 X와 Y의 값을 물체의 평면방정식에 대입하여 구할 수 있다.

따라서 본 알고리즘을 적용하면 우리가 알고 있는 정보, 즉 물체의 평면 방정식을 이용하여 카메라상의 2D 좌표를 공간상의 3D좌표로 변환할 수 있음을 알 수 있다.

4. 물체의 평면 방정식 및 법선벡터 획득

라인 및 십자 레이저 형상측정방법은 공간상에 평면의 레이저광과 카메라 사이의 기하광학을 이용하여 측정물체에 따른 궤적의 형상에 의한 3차원 형상을 측정하는 기술이다. 도 2a는 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치를 이용한 측정시스템의 구조도이고, 도 7은 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치의 기하학적 구성을 도시한 구성도이다.

도 2a에 도시된 바와 같이, 레이저 슬릿빔 발생기(120, 122)는 물체면에서 100mm 떨어진 2차원 영상용 씨씨디 카메라(110)의 좌측과 우측에 위치하게 된다. 레이저 슬릿빔 발생기(120, 122)가 발광하게 되면 그 빔이 물체면에 반사된다. 그 반사되는 빛을 2차원 영상용 씨씨디 카메라(110)와 같은 높이로 100mm 떨어지고 45° 기울어진 레이저 측정용 씨씨디 카메라(130)를 이용하여 받아들이게 된다. 그리고 도 7의 평면 A와 B를 슬릿면, 평면 C, D를 영상면이라고 정의한다.

카메라의 영상선과 평면의 레이저광이 임의각을 가지고 측정단면에서 만나서 형성된 광궤적(profile)영상은 측정단면에 따라 변형된다. 이 변형된 광궤적영상은 측정물체의 삼차원형상 정보를 가지고 있으므로 보정을 통하여 측정단면의 3차원 좌표값을 얻을 수 있다.

(4-1) 기본 사항

먼저 도 7의 기하학적 모델에서 좌표를 설정한다.

우선 카메라 좌표부터 설정한다.

도 8a는 씨씨디 카메라 영상평면에서의 좌표계 설정을 설명하기 위한 개념도이다. 카메라의 영상평면에서 얻어지는 디지털 영상좌표계를 살펴보면, 도 8a에서 나타나듯이 영상의 좌측상단을 원점으로 오른쪽의 수평축을 y₀축, 아래쪽 수직축을 x₀축으로 사용한다. 디지털 영상 좌표계의 단위는 화소 단위를 나타내는 pixel이 된다. 그러나 실제적인 좌표계는 영상평면의 중심 C를 원점으로 하는 좌표계를 쓰고 있다.

도 8b는 핀홀 카메라 모델을 설명하기 위한 개념도로서, 핀홀 카메라의 기본적인 모델을 보여준다. 평면 F를 초점면이라 하고 이 초점면에서 거리 f(초점거리)만큼 떨어진 평면 I를 영상평면이라 한다. 초점면의 좌표계를 도 8b에서와 같이 잡는다면 영상평면의 좌표계를 상하좌우 반전된 좌표계를 가지게 된다. 앞으로 모든 공간상의 좌표는 초점면의 좌표계를 기준좌표계로 두고 인식한다. 영상평면의 2차원 좌표와 초점면에서의 3차원 좌표간의 관계를 나타내보면 다음과 같은 수학식 31이 성립한다. 공간상의 M점 과 영상평면상의 점 m간에는 다음과 같은 관계가 성립한다.

그리고 C점 를 지나는 광축을 따라 초점면에서 거리 f만큼 떨어진 곳에 가상의 영상평면 I'가 존재한다. 이는 영상평면 I를 반전시킨 것과 같은 것으로 가상의 영상평면 I' 에서도 수학식 32와 같은 식이 성립한다.

즉, 3차원 공간에서의 한 점 M의 2차원 영상좌표 (x,y)는 가상의 영상좌표 (x',y')와 같은 값을 가지는 것이다. 따라서 도 8b에서 보듯이 영상평면 중심 C를 원점으로 왼쪽 수평축을 y', 위쪽 수직축을 x'로 잡은 것이다. 그리고 Z축은 물체를 바라보는 방향으로 잡았다. 본 발명의 레이저 좌표계에서는 도 8b와 같이 레이저 빔이 나아가는 방향을 Z_L을 잡았으며, y_L은 왼쪽 수평축, 그리고 x_L은 오른손 좌표계를 이용하여 나오는 방향으로 잡았다.

(4-2) 평면방정식, 법선벡터 산출 알고리즘

(4-2-1) 평면방정식

어떤 평면상의 일직선상에 있지 않은 세 점의 좌표를 이용하여 A, B, C, D를 구할 때 일반적인 평면의 방정식은 다음과 같은 수학식 33으로 주어진다.

여기서 (x,y,z)는 평면위의 공간상의 점이다. 식을 D로 나누어 세 점에 대해서 풀어보면 다음의 수학식 34와 같이 표현된다.

만약 평면이 원점을 지나지 않을 경우 다음의 수학식 35와 같이 일반식으로 표현가능하다.

,

그리고 평면이 원점을 지날 경우(y축이 포함되지 않을 때)에는 다음의 수학식 36과 같이 표현 가능하다.

,

(4-2-2) 물체면 계산

본 알고리즘의 착안점은 슬릿면과 영상면, 그리고 물체면이 모두 한 직선에서 만난다는 것이다. 두 개의 레이저에서 발광되는 빔으로 인해 세 면이 만나는 공통 직선은 두 개가 존재하게 된다. 그리고 그 두 개의 직선은 모두 물체면에 포함되게 된다. 따라서 물체면 위의 공통 직선 두 개를 찾아냄으로서 역으로 그 두 직선을 포함하는 평면의 방정식을 찾아내는 것이다.

알고리즘을 기술하기에 앞서 필요한 표현식을 정리하면 다음과 같다.

① 광원1의 영상면 직선방정식 : A₁x+y+c₁=0

② 광원2의 영상면 직선방정식 : A₂x+y+c₂=0

③ 광원1의 슬릿면 평면방정식(A) : a₁x+b₁y+c₁z+1=0

④ 광원2의 슬릿면 평면방정식(B) : a₂x+b₂y+c₂z+1=0

⑤ 광원1의 영상면 평면방정식(C) : A₁x+y+C₁z=0

⑥ 광원2의 영상면 평면방정식(D) : A₂x+y+C₂z=0

⑦ 물체면의 평면방정식 : a_mx+b_my+c_mz+1=0

본 알고리즘은 다음과 같은 과정을 거친다.

Step 1. 광원 1의 영상면과 광원 1의 슬릿면이 만나는 직선을 찾는다.

- ⑤식을 ③식에 대입하면 다음의 수학식 37이 도출된다.

Step 2. 광원 1의 영상면과 물체면이 만나는 직선을 찾는다.

- ⑤식을 ⑦식에 대입하면 다음의 수학식 38이 도출된다.

Step 3. Step 1과 2에서 구해진 두 직선이 일치하여야 하므로 다음의 수학식 39와 같이 표현 가능하다.

Step 4. 광원 2도 앞의 과정을 반복하면 수학식 40, 41, 42가 얻어진다.

Step 5. 수학식 37, 수학식 38, 수학식 42에서 구해진 연립방정식을 정리하면 아래의 수학식 43과 같다.

Step 6. 수학식 43에서

행렬의 계수행렬이 정방형이 아님으로 수두 인벌스(Pseudo Inverse)를 이용하여

를 구한다.

Step 7. 법선벡터는

이다.

이상의 알고리즘으로 두 개의 라인 레이저(슬릿빔)를 물체에 쏘고 다시 그 빛을 얻는 과정을 기하학적으로 분석하여 공간상에 놓여있는 물체의 평면 방정식과 법선벡터를 얻어낼 수 있다.

5. 실험결과

도 2a는 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치를 이용한 측정시스템의 구조도이다.

도 2a에 도시된 바와 같이, 먼저 2차원 영상용 씨씨디 카메라(110)의 양옆에 밀착되어 두 개의 레이저 슬릿빔 발생기(라인 레이저)(120, 122)가 고정된다. 그리고 그 밑으로 측정하고자 하는 물체를 5자유도로 10μm단위로 위치 변화 가능한 x, y, z 스테이지(102)를 두고 그 위에 씨씨디 카메라의 x축 y축으로 회전을 할 수 있는 α, β 스테이지(100)를 설치하였다. 그리고 2차원 영상용 씨씨디 카메라(110)와 수평선상으로 10mm 떨어진 위치에 x축으로 45° 회전된 레이저 측정용 씨씨디 카메라(130)를 설치하였다. 각 카메라(110, 130)와 레이저(120, 122)의 높이는 20μm 단위로 측정 가능한 높이 게이지로 측정하였다. 그리고 스테이지가 놓여질 바 닥은 완전평면으로 제작한 정반이 놓여있다.

실험에 사용된 각 장치는 다음과 같다.

-. 씨씨디 카메라(110, 130) : 640×480 pixel, 0.117mm resolution, 2EA

-. 레이저(120, 122) : ClassⅢb type, 655 wavelength, 2EA

-. 광 필터 : 640~660 wavelength, 2EA

-. 완전평면 정반 : 가로 550mm × 세로 310mm × 높이 300mm

-. x, y, z 스테이지(102) : 각 축으로 10mm 이동, 10의 정밀도

-. α, β 스테이지(100) : 축 ±10°, 축 ±10° 이동, 전직도 0.05mm/스트록

(5.1) 라인 레이저(슬릿빔)를 이용한 3차원 정보 획득 실험

도 9a는 씨씨디 카메라로 반사되는 레이저의 영상을 획득한 영상이다. 위에서 설명한 바와 같이 물체면과 45°의 기울기를 가지고 영상을 획득하였다. 그리고 도 9b은 광 필터를 장착하여 측정하고자 하는 레이저 라인만을 획득한 영상이다.

도 9b의 영상에서 두 개의 직선을 추출하여 영상에서 x축으로 120pixel, 360pixel과 만나는 점을 찾으면 다음과 같다.

1번 레이저 : P1 = (120 , 173) P2 = (360 , 171)

2번 레이저 : P3 = (120 , 412) P4 = (360 , 419)

Step 1 : 위에서 얻어진 4개의 점이 한 평면에 포함된다는 점을 이용하여 광원 1의 평면 방정식을 얻어낼 수 있다.

평면 방정식의 일반형 :

0.089x-0.0125-0.097z+1=0

Step 2 : Step 1과 같은 방법으로 광원2의 평면방정식 의 평면 방정식을 구하면 다음과 같다.

0.20x-0.115y-0.055+1=0

Step 3 : 광원 1의 영상 평면 :

-0.7125x+y-0.1632=0

Step 4 : 광원 2의 영상 평면 :

-1.745x+y-0.382z=0

Step 5 : 물체면의 평면방정식 :

따라서 물체면의 평면 방정식은 다음과 같이 주어진다.

이에 따른 평면의 Normal Vector는 다음과 같다.

(5.2) 좌표변환 알고리즘 실험

본 실험에서는 평면방정식과 법선벡터를 구했다는 가정 하에서 2차원의 좌표를 3차원 좌표로 변환하는 실험을 시행하였다.

실험에 사용된 법선벡터는 N=(0.001, 0.001, 106.55)로 설정하였다.

그리고 측정된 홀 중심점의 절대적인 위치를 알지 못하기 때문에 각 축으로의 상대적인 변이량에 대한 오차 실험을 실시하였다. 그리고 영상을 9등분을 하여 홀의 중심이 각 영역에 있을 때의 실험도 실시하였다.

법선벡터를 고정시킨 상태에서 물체의 홀의 중심을 이동시키면서 그 실험값을 얻어낸다. 최초 측정되는 홀의 중심을 기준값으로 설정하고 +0.5mm씩 x축 및 y축 방향으로 이동시키면서 홀의 중심의 3차원 좌표를 10회 측정하였다.

도 10은 x축 및 y축으로의 이동량에 따른 이동 오차값과 이동된 위치에서의 평균값을 도시한 도면이고, 도 11a 내지 11b는 x축 및 y축으로의 이동시 발생하는 이동 오차를 그래프로 도시한 도면이다.

도 10과 11을 참조하면, 위의 실험 결과 x축으로의 이동, y축으로의 이동시 모두 조금의 오차가 발생하였다. 이는 초점길이의 정확도가 떨어진다는 점과 2차원 이미지용 씨씨디 카메라(110)의 평면이 기울어져 법선벡터가 평면의 법선벡터와 완 전히 일치하지 않았고 그리고 각 축으로의 이동이 정확히 이루어지지 않기 때문에 발생한 오차이다. 그리고 디지털 계측기가 아닌 아날로그 계측기의 사용으로 정확한 눈금을 읽는데 힘든 점도 들 수 있다. 하지만 이런 오차가 있음에도 불구하고 그 오차의 정도가 μm단위로 일정하며 기준값을 잘 따라가는 것을 볼 수 있다. 이는 정확한 카메라 캘리브레이션 적용과 정확한 법선벡터가 산출된다면 오차를 줄일 수 있다. 그리고 실제 실험 모듈의 제작을 통하여 그 이외의 오차의 원인(축의 뒤틀림, 주위 밝기로 인한 목표물 인식 오차)을 제거할 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

도 1은 본 발명의 바람직한 일 실시예에 따라 물체의 3차원 위치정보가 측정되는 과정을 도시한 순서도.

도 2a는 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치를 이용한 측정시스템의 구조도.

도 2b는 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치의 구성 블록도.

도 3a 내지 3d는 단면 1차 모멘트를 설명하기 위한 개념도 .

도 4a 내지 4e는 호프 트랜스폼(Hough Transform)을 설명하기 위한 개념도.

도 5는 1차원 물체의 원근사영을 나타낸 예시도.

도 6a 내지 6d은 물체면과 영상면의 XZ(또는 YZ)평면의 기하학적 구성을 도시한 구성도.

도 7은 본 발명의 바람직한 일 실시예에 따른 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치의 기하학적 구성을 도시한 구성도.

도 8a는 씨씨디 카메라 영상평면에서의 좌표계 설정을 설명하기 위한 개념도.

도 8b는 핀홀 카메라 모델을 설명하기 위한 개념도.

도 9a 내지 9b는 레이저 측정용 씨씨디 카메라를 이용해 획득한 빔영상의 예시도.

도 10은 x축 및 y축으로의 이동량에 따른 이동 오차값과 이동된 위치에서의 평균값을 도시한 도면.

도 11a 내지 11b는 x축 및 y축으로의 이동시 발생하는 이동 오차를 그래프로 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명 *

100 : αβ 회전 스테이지 102 : xyz 스테이지

103 : 높이 게이지 110 : 2차원 영상용 씨씨디 카메라

120 : 제 1 광원용 레이저 슬릿빔 발생기

122 : 제 2 광원용 레이저 슬릿빔 발생기

130 : 레이저 측정용 씨씨디 카메라

220 : 위치정보 측정부 222 : 중심좌표 산출모듈

224 : 카메라 캘리브레이션 모듈 226 : 평면방정식/법선벡터 산출모듈

228 : 좌표변환모듈

Claims

(a) 2차원 영상용 씨씨디 카메라를 이용하여 물체의 2차원 영상을 획득하고, 물체의 측정점에 대한 2차원(x,y) 좌표값을 산출하는 단계;

(b) 2개의 레이저 슬릿 빔 발생기로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치된 레이저 측정용 씨씨디 카메라의 특성을 나타내는 내부인자를 카메라 캘리브레이션을 수행하여 산출하는 단계;

(c) 2개의 레이저 슬릿 빔 발생기를 이용하여 측정대상 물체에 2개의 슬릿 레이저 빔을 조사하고, 상기 레이저 측정용 씨씨디 카메라를 이용해 빔영상을 획득하는 단계;

(d) 획득된 빔영상으로부터 물체가 놓인 평면의 평면방정식과 법선벡터를 산출하는 단계; 및

(e) 상기 내부인자와 상기 평면방정식 및 법선벡터를 이용하여 측정점에 대한 2차원 좌표값을 3차원 좌표값으로 변환하는 단계를 포함하되,

상기 (a) 단계는,

(a1) 입력된 2차원 영상에 모폴로지 기법을 적용하여 물체의 영상을 추출하는 단계;

(a2) 추출된 물체의 영상을 이진화하는 단계; 및

(a3) 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 단계를 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법.
삭제
제1항에 있어서,

상기 (d) 단계는,

(d1) 빔영상을 이진화하는 단계;

(d2) 이진화된 빔영상을 세선화하는 단계;

(d3) 세선화된 빔영상에 호프 트랜스폼(Hough Transform) 알고리즘을 적용하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하는 단계; 및

(d4) 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법.
제3항에 있어서,

상기 (d4) 단계는 슬릿면과 영상면 및 물체면이 한 직선에서 만나는 것을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법.
제1항에 있어서,

상기 (e) 단계는,

(e1) 산출된 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하는 단계;

(e2) 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환하는 단계; 및

(e3) 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 단계를 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법.
제5항에 있어서,

상기 (e2) 단계의 3차원(X,Y) 좌표값은 2차원(x,y) 좌표값이 독립적으로 변환 알고리즘에 적용되어 각각 산출되며,

법선벡터의 x 또는 y의 계수가 음인 경우 3차원(X 또는 Y) 좌표값은,

또는
로 산출되고,

법선벡터의 x 또는 y의 계수가 양인 경우 3차원(X 또는 Y) 좌표값은,

또는
로 산출되되,

상기 θ₂는 씨씨디 카메라의 영상면과 물체면(XZ 평면 또는 YZ 평면)과의 회전각이며, 상기 X' 또는 Y'는 회전각 θ₂가 없을 경우의 x 또는 y의 공간 좌표값인 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정방법.
씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치에 있어서,

측정대상 물체의 2차원 영상을 촬영하여 출력하는 2차원 영상용 씨씨디 카메라;

상기 2차원 영상용 씨씨디 카메라에 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제1광원용 레이저 슬릿 빔 발생기;

상기 2차원 영상용 씨씨디 카메라의 수평선상으로 일정한 거리를 두고 설치되어 측정대상 물체에 슬릿 빔을 조사하는 제2광원용 레이저 슬릿 빔 발생기;

상기 레이저 슬릿 빔 발생기로부터 조사되는 레이저 슬릿 빔에 대하여 일정한 각도를 갖도록 설치되어 슬릿 빔이 조사된 물체의 빔영상을 촬영하여 출력하는 레이저 측정용 씨씨디 카메라;

상기 2차원 영상용 씨씨디 카메라로부터 출력되는 2차원 영상을 분석하여 측정대상 물체의 2차원 중심좌표를 산출하고, 상기 레이저 측정용 씨씨디 카메라에 대한 카메라 캘리브레이션을 수행하여 내부인자를 산출하며, 상기 레이저 측정용 씨씨디 카메라로부터 출력되는 빔영상을 분석하여 물체면의 평면방정식과 법선벡터를 산출하고, 상기 내부인자와 상기 물체면의 평면방정식 및 법선벡터를 이용하여 측정대상 물체의 2차원 중심좌표를 3차원 좌표로 변환하여 출력하는 위치정보 측정부; 및

상기 2차원 영상용 씨씨디 카메라, 상기 레이저 슬릿 빔 발생기, 상기 레이저 측정용 씨씨디 카메라 및 상기 위치정보 측정부를 제어하여 물체의 3차원 위치정보 측정을 수행하는 제어부를 포함하되,

상기 위치정보 측정부는,

상기 2차원 영상용 씨씨디 카메라로부터 출력되는 2차원 영상에 모폴로지 기법을 적용하여 측정대상 물체의 영상을 추출하고, 추출된 물체의 영상을 이진화한 후, 이진화 영상에 단면 1차 모멘트를 적용하여 물체의 중심좌표(측정점)를 산출하는 중심좌표 산출모듈;

상기 레이저 측정용 씨씨디 카메라의 특성을 나타내는 내부인자를 산출하는 카메라 캘리브레이션 모듈;

상기 레이저 측정용 씨씨디 카메라로부터 출력되는 빔영상을 이진화/세선화처리하여 광원1, 광원2에 대한 영상면 직선방정식을 산출하며, 광원1의 영상면 직선방정식, 광원2의 영상면 직선방정식, 광원1의 슬릿면 평면방정식, 광원2의 슬릿면 평면방정식, 광원1의 영상면 평면방정식, 광원2의 영상면 평면방정식, 물체면의 평면방정식을 이용하여 물체면의 평면방정식과 법선벡터를 산출하는 평면방정식/법선벡터 산출모듈; 및

산출된 물체면의 법선벡터를 씨씨디 카메라 좌표계에서의 XZ 평면과 YZ 평면에 정사영시켜 각 축으로 회전된 각을 산출하고, 산출된 회전각과 상기 내부인자를 이용하여 측정점에 대한 2차원(x,y) 좌표값을 3차원(X,Y) 좌표값으로 변환한 후, 변환된 3차원(X,Y) 좌표값을 산출된 물체면의 평면방정식에 대입하여 3차원 Z 좌표값을 산출하는 좌표변환모듈을 포함하는 것을 특징으로 하는 씨씨디 카메라와 레이저 빔을 이용한 물체의 3차원 위치정보 측정장치.
삭제