KR20000017888A

KR20000017888A - 거울을이용한단안렌즈스테레오비젼획득방법

Info

Publication number: KR20000017888A
Application number: KR1019990063222A
Authority: KR
Inventors: 김충원; 구창운
Original assignee: 김기삼; 학교법인조선대학교
Priority date: 1999-12-28
Filing date: 1999-12-28
Publication date: 2000-04-06

Abstract

본 발명은 거울을 이용한 단안렌즈 스테레오비젼 획득방법에 관한 것으로서, 종래 고전적인 스테레오 비전의 응용에 있어서 단시간에 적은 연산을 하여 정확한 정합점을 추출한다는 것은 많은 어려움을 동반한다. 이러한 어려움을 해결하기 위해서 효과적으로 정합점을 검출하기 위한 알고리듬이 연구되고 있으나 뚜렷한 해결방법은 없었다.이에 본 발명에서는 거울을 이용하여 스테레오 영상을 획득하는 것으로서, 제안된 시스템은 저렴한 가격으로 스테레오 시스템을 구축할 수 있으며, 한 대의 카메라만을 사용하기 때문에 쉽게 칼리브레이션을 할 수 있다는 장점이 있다. 거울을 통하여 획득된 스테레오 영상은 한 개의 이미지 평면상에 두 개의 이미지가 촬상되며, 이 두 개 영상의 에피폴라라인(epipola line)은 동일한 선상에 존재하게 되므로서,이 에피폴라라인(epipola line)을 추출하기 위한 복잡한 알고리즘을 필요로 하지 않는다는 기하학적인 이점과, 같은 이미지 평면상에 두 개의 영상이 촬상되므로 두 영상의 명암도 차이를 보정하기 위한 정규화 작업도 필요하지 않아, 정확한 정합점을 검출할수 있는 효과가 있는 유용한 발명인 것이다.

Description

거울을이용한단안렌즈스테레오비젼획득방법{single lens stereo vision gain method with mirrors}

본 발명은 거울을이용한단안렌즈스테레오비젼획득방법에 관한 발명이다.종래 고전적인 스테레오 비전의 응용에 있어서 단시간에 적은 연산을 하여 정확한 정합점을 추출한다는 것은 많은 어려움을 따르고 있는 실정이였다.

카메라를 이용하는 스테레오비젼(stereo vision)획득방법 으로는 빔(Beam)투영, 모아레(Moire)측정법, 코드(Code)조명법, 포인트(point)투영방법 등이 있다.

특히, 두 대의 카메라를 이용하는 스테레오 비전은 모아레(Moire)방법이나, 코드(Code)조명법보다 정확한 3차원 데이터를 획득할 수 있으며, 레이져(Laser)를 이용한 방법보다는 빠르게 3차원 데이터를 획득할 수 있기 때문에 많이 연구 되고 있다.

하지만 고전적인 스테레오(Stereo)방식을 이용하여 깊이(depth)를 추출하는데 가장 큰 문제는 실세계의 한 점에 대한 왼쪽 영상과 오른쪽 영상에 맺히는 점이 어느 점인가를 찾아내는 것이다. 여기에는 두 개 카메라에 대한 서로 다른 초점거리, 줌(Zoom)레벨, 렌즈의 구조적인 차이점 등이 원인으로 작용하고 있다. 따라서,서로 다른 기하학적인 환경을 극복하기 위해 한 대의 카메라만을 이용하여 두 개의 영상을 획득하는 단안렌즈스테레오(Single Lens Stereo)가 많이 연구되고 있다.

한 개의 렌즈와 3개의 시시디(CCD)소자를 이용하여 깊이정보를 추출하는 멀티포커스(Multi-Focus Camer)방식은 신사쿠히우라(Shinsaku Hiura)와 다까시 메츄야마(Takashi Matsuyama)에 의해 제안되었다.

한 대의 카메라 안에 디클로릭(dichroic prism)블록을 둠으로서 렌즈를 통하여 들어온 영상은 3개의 영상으로 분할이 되며, 각각의 영상은 초점이 맞은 시시디(CCD )소자, +1mm 에 위치한 시시디(CCD)소자, -1mm에 위치한 시시디(CCD)소자에 맺히게 된다. 이렇게 획득된 3개의 영상으로부터 깊이 정보를 추출하는 방식이 있다.

또한 두 개의 평면거울을 이용하여 한 대의 카메라로 두 개의 영상을 획득하는 방법은 두 개의 거울을 카메라 앞에 둠으로서, 두 개의 이미지를 획득하는 방법은 나이야(Nayar)에 의해서 제안되었다. 두 개의 거울만을 사용하기 때문에 에피폴라라인(epipolar line)이 동일 주사라인(scan line)상에 존재하지 않지만, 한 대의 카메라만을 사용하기 때문에 실시간 적으로 3차원 정보를 추출할 수 있는 시스템이다.

한편, 하나의 회전거울과 고정된 두 개의 거울을 이용하여 스테레오 이미지를 획득하는 방법은 태오(Teoh)와 쟝(Zhang)에 의하여 제안된것으로서, 하나의 이미지를 얻기 위하여 거울을 회전시켜 영상을 획득하고 다른 하나의 고정된 거울을 향하여 회전 거울을 회전 시킴으로서, 두 번째의 영상을 획득하는 이 방법은 두 개의 영상을 얻기 위해 두 번의 촬상이 필요하다.

쌍프리즘(Biprism)을 이용한 단안렌즈(Single lens)스테레오 비전은 프리즘을 카메라의 앞에 둠으로서, 한 대의 카메라로 두 개의 영상을 획득하는 방법이다. 프리즘의 굴절 효과를 이용하여 두 개의 영상을 획득하여 깊이정보를 구하는 방식인데, 이 방식은 고스타비(Gosthasby) 와 구르버(Gruver)에 의해 제안된 것으로서,하나의 영상을 획득하고 획득된 영상을 마치 광축이 동일한 가상의 카메라로부터 획득된 영상처럼 변환하여 깊이정보를 획득하는 방법과 유사한 방법이 제시되었다.

본 발명은 이러한 어려움을 해결하기 위해서 효과적으로 정합점을 검출하기 위한 알고리듬이 연구되고 있으나, 뚜렷한 해결방법이 없는 실정이였다.

이에 본 발명에 의해서는 거울의 광학적인 특성을 이용 4개의 거울을 효율적으로 배치하여 스테레오 비젼 획득방법에 관한것으로서, 한대의 시시디(CCD) 카메라로 3차원 정보를 추출하고자 하는 것으로서, 하나의 카메라로부터 두 개의 영상을 획득하는데, 하나의 촬상면에 두 개의 영상을 동시에 촬상시키는 방법을 제안하고 있다. 이렇게 획득한 영상에서 오른쪽 영상에 대응하는 왼쪽 영상의 정합점은 촬상면의 동일한 주사라인(Scan Line)에 존재하게 되며, 에피폴라라인(Epipolar Line)을 찾아야 하는 과정을 생략할 수 있다. 또한 좌우 영상의 명암도 차이점을 보정하기 위한 영상보정 절차가 불필요하다. 기존의 스테레오 시스템의 가장 큰 단점인 정합점 검색의 어려움과 에피폴라라인(Epipolar Line)의 검색, 영상보정의 어려움을 효과적으로 해결하고자 한다.

도 1은 본 발명에 따른 단안렌즈스테레오시스템의 평면배치도

도 2는 본 발명에 따른 실세계좌표와 가상좌표와의 관계를 나타난 평면배치도

도 3은 본 발명에 따른 거울의 반사특성을 나타낸 좌표 참고도

도 4는 본 발명에 따른 실초점과 가상초점과의 상태를 나타낸 참고도

도 5는 본 발명에 따른 시스템안착장치를 나타낸 참고평면도

도 6은 본 발명에 따라 실시된 컵 영상의 정합점 검출을 나타낸 참고도

도 7은 본 발명에 따라 실시된 영역설정에 의한 정합점 검출을 나타낸 참고도

※도면의 주요 부분에 대한 부호의 설명

1:이미지평면 2:렌즈

3:렌즈초점 M1:거울1

M2:거울2 M3:거울3

M3:거울4 Z:광축

P:3차원상의 실세계좌표

P1,P2:3차원상의 실세계좌표(P)가 변환되어 생기는 가상의 좌표1,2

m1,m2:이미지평면상에 투사된 좌표1,2

F:카메라초점 V:가상의 카메라초점

B:베이스라인 D:가상의좌표1,2간의 거리

상기와 같은 목적을 이루고자, 먼저 본 발명의 일실시 구성및 작용을 알아보면,

실시예 1.

고전적인 스테레오 비전과 같이 두 개의 영상을 얻기 위하여,먼저 도 1에 도시된바와 같이, 두개의 거울(M1,M4)를 3차원상의 실세계좌표(P)로 부터 광축(Z)을 기준으로 거울면이 실세계좌표(P)을 향하여 45°각도로 일정거리의 양편에 수직으로 세우고,나머지 2개의 거울(M2,M3)은 거울뒷면이 상기 실세계좌표(P)을 향하여 광축(Z)으로 각 45°각으로 "V"형을 이루게 수직으로 세워 배치한 후방에 단안 렌즈(2)를 위치시켜, 실세계좌표(P)의 영상이 광축(Z)방향으로 투사되어 거울(M1,M2,M3,M4)을 통해 반사된 두개의 영상을 하나의 이미지평면(1)에 촬상시킨다. 이렇게 촬상된 이미지는 한 대의 카메라로 두 개의 카메라로부터 이미지를 획득하는 것과 동일한 효과를 가져오며 영상보정의 과정을 생략할 수 있다.

상기에서 카메라 좌표계(x, y, z)에는 xy평면과 일치하는 영상 평면이 있고, Z축을 따르는 광축(렌즈초점에 의해 결정이 된다.)이 있다.

영상 평면의 원점은 중심이고, 렌즈 중심은 좌표(0, 0, λ)이다. 3차원 상의 실셰계좌표의 한점 P(Xp, Yp, Zp)는 거울(M1,M2,M3,M4)로부터 반사되어 두 개의 점 m1(x1, y1)과 m2(x2, y2)로 이미지평면(1)에 투사된다.

이미지평면(1)상에 투사된 좌표1,2(m1,m2)는 3차원상의 실세계좌표 P(Xp, Yp, Zp)가 변환되어 생기는 가상의 좌표 P1(X1, Y1, Z1)과 P2(X2, Y2, Z2)가 렌즈의 중심 좌표를 통해 투사된 점의 이미지 좌표와 동일한 영상좌표를 가지게 된다. 이때 P를 P1으로 변환시키는 행렬을 V1이라 하고 P를 P2로 변환시키는 행렬을 V2라 하면 다음 식 (1)과 (2)를 구할 수 있다.

이때 상기 식(1)과 식(2)로 부터 얻어진 두 개의 가상 좌표 P1은 X축으로 Xp-tanθ1Zp 만큼 P2는 X축으로 Xp+tanθ1Zp 이동한 점에 불과하다는 것을 알 수 있다. 여기서 두 개의 가상점 사이의 거리(distance)를 D라고 하면,

아래와 같이 식 (1)과 (2)로부터 식 (3)을 얻는다.

X1 = Xp + tanθ1

X2 = Xp - tanθ2

D = X2 -X1 =Zp(tanθ2 - tanθ1)

식 (3)으로부터 두 가상좌표 사이의 거리D와 Z축의 좌표 Zp 그리고 가상의 점이 촬상된 이미지 좌표와 초점이 이루는 각 θ1, θ2는 모두 비래 관계에 있다는 것을 알 수 있다. 두 개의 가상점 P1과 P2와 대응되는 이미지 좌표 m1과 m2의 거리차 d 는,

위와같이 제안된 본원 발명 시스템으로부터 고전적인 스테레오 방식을 복원 하는것은 거울의 반사 특성과 거울들의 위치에 의해 복원 될 수 있다.

먼저 거울의 반사특성을 알기 위해서, 도 3과 같이 3차원상의 실세계 좌표계의 한점 P가 거울의 반사로 인하여 카메라의 초점 f를 통과하여 이미지 평면상에 촬상이 된다 하면, 이때 거울이 없다면 실세계 좌표상의 한 점 P는 가상의 카메라 초점인 v를 통과하게 된다.

카메라초점(F)와 가상의 카메라 초점(v)과의 관계는 거울에 대한 대칭행렬 A로 나타낼 수 있다.

v = Af

본 발명에 따라,이용된 4개의 거울들과 Z축이 이루는 각을 각각 δ1 ,δ2 ,δ3 ,δ4 라고 하면 도 4와 같이 카메라초점(F)와 가상초점(V)과의 관계를 알수 있다.

카메라초점(F)가 가상의 초점(V2)로 변환되는 행렬 A는 우선 거울1(M1)에 대한 카메라초점(F)의 대칭점을 구하고 다시 거울2(M2)에 대한 대칭점을 구한다.

상기식로 부터,

V₁ ^*= A_M3F , V₂ ^*= A_M1F

V₁= A'F = A_M4V₂ ^*= A_M3A_M4F,

V₂= AF = A_M2V₂ ^*= A_M1A_M2F 를 얻는다.

이때 행렬A에 포함되는 연산은 거울의 원점을 지나는 평면으로 이동시키는 행렬M, X축으로 δ각 만큼 회전시키는 행렬 R, Z축에 대한 대칭 행렬 T, 다시 -δ만큼 회전시키는 R`, 마지막으로 원래의 위치로 거울을 이동시키는 행렬 M`로 구성이 된다. 따라서 행렬

으로 된다.

본 발명에 따라 제작된 프리즘 형태의 거울 4개(M1,M2,M3,M4)와 수평을 유지하기 위해 제작된 시스템의 안착장치로는 도 5와 같이 거울이 z축과 이루는 각은 모두 45。이다.

본 발명에 제안된 시스템으로 획득한 이미지에 대한 정합점을 추출하기 위한 알고리즘으로는 크로스컬렉션(cross-correlation)알고리즘을 이용하였다.

도 6에 도시된바와 같이 컵 영상의 정합점 검출이며,도 7은 영역 설정에 의한 영역 정합점 검출도면으로 본 발명에 의해 획득된 영상을 동일 주사라인(Scan Line)을 검색하여, 크로스콜렉션(cross-correlation) 알고리즘에 정합점을 추출하는 것으로서, 획득된 영상은 두 대의 카메라가 정확하게 평행한 시스템에서 획득된 영상과 동일한 영상을 획득 할 수 있었다.

또한, 본 발명에 제안된 시스템은 저렴한 가격으로 상기와 같은 스테레오 비젼시스템을 구축할 수 있으며, 한 대의 카메라만을 사용하기 때문에 쉽게 칼리브레이션(calibration)을 할 수 있다는 장점이 있다.

거울을 통하여 획득된 스테레오 영상은 한 개의 이미지 평면상에 두 개의 이미지가 촬상 되며, 이 두 개 영상의 에피폴라라인(epipola line)은 동일한 선상에 존재하게 된다.

따라서 에피폴라라인(epipola line)을 추출하기 위한 복잡한 알고리즘을 필요로 하지 않는다는 기하학적인 이점과, 같은 이미지 평면상에 두 개의 영상이 촬상되므로 두 영상의 명암도 차이를 보정하기 위한 정규화 작업도 필요하지 않도록 하는 것이며,이러한 잇점으로 본 발명에 제안된 시스템은 정확한 정합점을 용이하게 검출시킬수 있어서, 한 대의 카메라만이 사용되기 때문에 칼리브레이션 (calibration)의 절차를 단순화 시킨다.

Claims

두개의 거울(2a,2d)를 3차원상의 실세계좌표(P)로 부터 광축(Z)을 기준으로 거울면이 실세계좌표(P)을 향하여 45°각도로 일정거리의 양편에 수직으로 세우고,나머지 2개의 거울(2b,2c)은 거울뒷면이 상기 실세계좌표(P)을 향하여 광축(Z)으로 각 45°각으로 "V"형을 이루게 수직으로 세워 배치한 후방에 단안렌즈(3)를 위치시켜, 실세계좌표(P)의 영상이 광축(Z)방향으로 투사되어 거울 (2a,2b,2c,2d)을 통해 반사된 두개의 영상을 하나의 이미지플렌(1)에 촬상함을 특징으로하는 거울을이용한단안렌즈스테레오비젼획득방법.