KR102044639B1

KR102044639B1 - 스테레오 카메라 정렬 방법 및 장치

Info

Publication number: KR102044639B1
Application number: KR1020180127947A
Authority: KR
Inventors: 오원영; 강동진; 양승환
Original assignee: 공간정보기술 주식회사
Priority date: 2018-10-25
Filing date: 2018-10-25
Publication date: 2019-11-14
Anticipated expiration: 2038-10-25

Abstract

스테레오 카메라의 정렬 방법 및 장치가 개시된다. 스테레오 카메라의 정렬 방법은, 제1 카메라의 제1 영상 상의 제1 주점을 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키는 단계-여기서 제1 카메라는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나임-, 제1 영상의 가로 픽셀 라인측 방향에서 제1 픽셀로부터 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하는 단계, 왼쪽 카메라 및 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점이 제2 픽셀에 대응하는 제2 영상 내 포인트 상에 정렬하도록 제2 영상을 이동시키는 단계, 및 가로 픽셀 라인측 방향에서의 제1 주점과 제2 주점의 관계에 대응하여 제1 영상 내 다른 특징점과 제2 영상 내 대응 특징점이 배치되도록 제2 주점을 기준으로 제2 영상을 회전시키는 단계를 포함한다.

Description

스테레오 카메라 정렬 방법 및 장치{METHOD AND APPARATUS FOR ALIGNING STEREO CAMERAS}

본 발명은 스테레오 카메라의 정렬 기술에 관한 것으로, 스테레오 카메라의 왼쪽 카메라와 오른쪽 카메라를 물리적으로 정밀하게 정렬할 수 있는 스테레오 카메라 정렬 방법 및 장치에 관한 것이다.

스테레오 카메라는 일정 간격 이격되어 설치되는 두 대의 카메라들에 탑재된 두 개의 이미지 센서들에서 각각의 영상정보를 획득하여 FPGA(field programmable gate array) 등을 이용한 제어장치에서 싱크를 맞춰 영상을 출력하는 장치이다. 스테레오 카메라는 삼각법을 기반으로 거리 정보를 획득할 수 있는 센서로서 영상과 거리 정보를 동시에 제공할 수 있는 장점이 있다.

이러한 스테레오 카메라는 단안 카메라 사용 방식에 비해 하드웨어 가격이 비싸고 알고리즘 복잡도가 높은 단점이 있지만, 하드웨어와 소프트웨어 기술의 발전으로 인해 다양한 분야에서 활용되고 있다. 일례로, 스테레오 카메라는 카메라를 이용하여 주변 환경을 인식하는 스테레오 비전, 지능형 로봇의 지각 센서들 중 중추적인 역할을 담당하는 시각센서, 지능형 교통체계에서 도로 정보의 실시간 수집과 처리를 위해 차량을 검지하고 차량 모델을 인식하는 교통 카메라 등으로 사용되고 있다.

하지만, 스테레오 카메라에서 왼쪽 카메라와 오른쪽 카메라의 물리적인 카메라 정렬을 완벽하게 하는 것은 매우 어렵다. 그것은 카메라마다 렌즈의 왜곡이 다르기 때문이다. 따라서, 두 카메라를 동일한 각도로 정렬하더라도 영상 자체는 서로 정렬되지 않고 틀어질 수 있다. 이러한 이유로 스테레오 카메라에서는 소프트웨어적인 보정이 이루어지는데, 소프트웨어 보정으로도 스테레오 카메라에 구비된 두 카메라 자체의 차이들로 인한 오정렬을 해소하는 데는 아직까지 한계가 있다.

종래의 스테레오 카메라에서는 소프트웨어적인 보정을 많이 받을수록 깊이지도(depth map)의 정확도가 떨어지게 되고, 카메라 이동 시에 그 품질이 저하되는 문제가 있다. 이러한 문제를 해결하여 영상 왜곡을 최소화하기 위해, 실제 스테레오 카메라의 설치 시에는 통상 설치 작업자나 별도의 관리자가 카메라의 상하, 좌우 및 앞뒤에서의 높이(또는 위치)를 조정할 필요가 있다.

하지만, 수십 미터에서 수 킬로미터 전방의 물체를 인식하도록 상대적으로 높은 장소에 설치되는 스테레오 카메라 등의 경우에는 각각의 카메라마다 물리적인 정렬을 수행하는 것이 매우 어렵다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로 본 발명의 목적은 스테레오 카메라의 하드웨어와 소프트웨어의 근본적인 오정렬 한계를 물리적인 보정으로 해소하고자 할 때 영상 처리를 통해 물리적인 보정을 효과적으로 수행할 수 있는 스테레오 카메라 정렬 방법 및 장치를 제공하는데 있다.

본 발명의 다른 목적은 왼쪽 카메라와 오른쪽 카메라의 렌즈의 왜곡에 의한 주점 변화까지를 고려하여 물리적인 보정을 효과적으로 수행할 수 있는 스테레오 카메라 정렬 방법 및 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 두 카메라의 영상을 보고 카메라 자체를 움직여 두 카메라를 물리적으로 정렬함으로써 소프트웨어 보정을 최소화거나 생략할 수 있는 스테레오 카메라 정렬 방법 및 장치와 이를 이용하는 스테레오 카메라를 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 스테레오 카메라의 정렬 방법은, 제1 카메라의 제1 영상 상의 제1 주점(first main point)를 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키는 단계-여기서 상기 제1 카메라는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나임-; 상기 제1 영상의 가로 픽셀 라인 방향에서 상기 제1 픽셀로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하는 단계; 상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point)이 상기 제2 픽셀에 대응하는 상기 제2 영상 내 포인트 상에 정렬하도록 상기 제2 영상을 이동시키는 단계; 및 상기 제1 주점과 상기 제2 주점의 관계에 대응하여 상기 제1 영상 내 다른 특징점과 상기 제2 영상 내 대응 특징점이 배치되도록 상기 제2 주점을 기준으로 상기 제2 영상을 회전시키는 단계를 포함한다.

일실시예에서, 상기 이동시키는 단계는 제어 장치가 영상 처리 장치에서 출력되는 신호에 기초하여 상기 제2 카메라의 전방부 또는 후방부를 상하좌우 방향 중 하나 이상의 방향에서 일정 거리만큼 이동시키는 액추에이터의 동작을 제어하도록 이루어질 수 있다.

일실시예에서, 상기 회전시키는 단계는 상기 제어 장치가 상기 영상 처리 장치에서 출력되는 신호에 기초하여 상기 제2 카메라를 시계 방향 또는 반시계 방향으로 일정 각도만큼 회전시키는 액추에이터의 동작을 제어하도록 이루어질 수 있다.

일실시예에서, 스테레오 카메라의 정렬 방법은, 상기 제2 픽셀을 결정하는 단계 전에 상기 제1 및 제2 카메라들을 포함한 스테레오 카메라에 탑재된 거리 계산 모듈이나 거리 센서로 상기 타겟에 대응하는 실제 사물과의 거리를 측정하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 제2 픽셀을 결정하는 단계는 상기 일정 간격과 상기 제2 카메라의 초점 거리(focal length)를 곱한 값을 상기 거리로 나눈 픽셀 거리만큼 상기 제1 픽셀로부터 이격된 제2 픽셀을 선택하도록 이루어질 수 있다.

일실시예에서, 스테레오 카메라의 정렬 방법은, 상기 주점을 상기 제1 픽셀에 정렬시키는 단계 이전에, 상기 제1 영상 내에서 선택한 특정 라인을 기준으로 상기 제1 카메라의 이미지 센서의 가로 픽셀 라인을 수평 방향 또는 수평선에 대응하도록 정렬하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스테레오 카메라의 정렬 장치는, 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나 이상의 카메라에 설치되고 상기 카메라를 X축, Y축 및 Z축으로 이동시키거나 광축을 중심으로 회전시키는 하나 이상의 액추에이터-여기서, 상기 왼쪽 카메라에서 촬영한 영상과 상기 오른쪽 카메라에서 촬영한 영상은 영상 처리 장치로 전송됨-; 및 상기 영상 처리 장치로부터의 신호 또는 데이터에 따라 상기 액추에이터의 동작을 제어하는 제어 장치를 포함하고, 여기서 상기 영상 처리 장치로부터의 신호 또는 데이터는, 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나인 제1 카메라의 제1 영상 상의 제1 주점(first main point)를 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키고, 상기 제1 영상의 가로 픽셀 라인 방향에서 상기 제1 픽셀로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하며, 상기 제어 장치는 상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point)이 상기 제2 픽셀에 대응하는 상기 제2 영상 내 포인트 상에 정렬하도록 상기 제2 영상을 이동시키고, 상기 제1 주점과 상기 제2 주점의 관계에 대응하여 상기 제1 영상 내 다른 특징점과 상기 제2 영상 내 대응 특징점이 배치되도록 상기 제2 주점을 기준으로 상기 제2 영상을 회전시킨다.

일실시예에서, 상기 액추에이터는, 상기 제어 장치의 제어에 따라 상기 제2 카메라의 전방부 또는 후방부를 상하좌우 방향 중 하나 이상의 방향에서 일정 거리만큼 이동시키는 제1 액추에이터와, 상기 제2 카메라를 시계 방향 또는 반시계 방향으로 일정 각도만큼 회전시키는 제2 액추에이터를 포함할 수 있다.

일실시예에서, 스테레오 카메라의 정렬 장치는 상기 제어 장치에 연결되며 상기 제1 및 제2 카메라들을 포함한 스테레오 카메라에서 상기 타겟에 대응하는 실제 사물과의 거리를 측정하는 거리 센서를 더 포함하거나 상기 제1 및 제2 영상들을 이용한 삼각 측량 원리로 상기 거리를 계산하는 거리 측량 모듈을 더 포함할 수 있다.

일실시예에서, 상기 제어 장치는, 상기 제2 카메라의 초점 거리(focal length)와 상기 일정 간격을 곱한 값을 상기 타겟에 대응하는 실제 사물과 상기 제2 카메라 사이의 거리로 나누어 얻은 값인 픽셀 거리만큼 상기 제1 픽셀로부터 이격된 상기 제2 픽셀을 결정할 수 있다.

일실시예에서, 상기 제어 장치는, 상기 영상 처리 장치에서 상기 주점을 상기 제1 픽셀에 정렬시키기 전에, 상기 제1 영상 내에서 선택한 특정 라인을 기준으로 상기 제1 카메라의 이미지 센서의 가로 픽셀 라인을 수평 방향 또는 수평선에 대응하도록 정렬할 수 있다.

일실시예에서, 스테레오 카메라의 정렬 장치는, 상기 제어 장치에 연결되는 통신 장치를 더 포함하며, 상기 통신 장치는 유선 네트워크 또는 무선 네트워크를 통해 외부에 설치된 상기 영상 처리 장치에 연결되고, 여기서 상기 영상 처리 장치는, 원격지에서 제1 정보와 제2 정보를 생성하고 생성한 제1 정보와 제2 정보를 네트워크를 통해 상기 제어 장치에 전달하도록 이루어질 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 스테레오 카메라는, 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라와, 전술한 실시예 중 어느 하나의 스테레오 카메라의 정렬 장치를 구비한다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 스테레오 카메라의 정렬 장치는, 전술한 실시예 중 어느 하나의 스테레오 카메라의 정렬 방법에 대한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 포함한다.

전술한 스테레오 카메라의 정렬 방법 및 장치를 사용하는 경우에는, 스테레오 카메라에서 직접 촬영한 영상을 통해 스테레오 카메라 내 두 카메라의 이미지 센서를 정밀하게 정렬할 수 있고, 그에 의하여 스테레오 카메라로 촬영한 깊이지도(depth map)의 품질과 정확성을 향상시킬 수 있다.

또한, 본 발명에 의하면, 두 카메라의 주점 거리에 따른 픽셀 위치를 계산하여 해당 좌표를 영상을 표현하고 이를 토대로 영상을 확인하여 정밀 정렬 조정을 수행할 수 있는 스테레오 카메라와, 이러한 스테레오 카메라에 이용되는 정렬 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 팬(pan), 틸트(tilt) 또는 줌(zoom)을 통해 카메라가 이동하는 경우보다 더욱 정확한 깊이지도를 생성할 수 있고, 또한 이러한 깊이지도를 생성하는 스테레오 카메라를 제공할 수 있다.

더욱이, 본 발명에 의하면, CMOS(complementary metal oxide semiconductor), CCD(charge coupled device), CIS(contact image sensor) 등의 이미지 센서가 탑재된 카메라를 구비하는 스테레오 카메라에서 두 카메라들에 들어오는 영상을 활용하여 두 카메라의 이미지 센서들의 위치를 최대한 물리적으로 정렬할 수 있고, 그에 의해 스테레오 카메라에서 소프트웨어적인 보정을 억제하거나 최소화할 수 있는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 스테레오 카메라의 정렬 장치를 탑재한 스테레오 카메라의 예시도이다.
도 2는 도 1의 스테레오 카메라의 구성에 대한 블록도이다.
도 3은 도 1의 스테레오 카메라에 탑재된 카메라의 초점거리를 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 스테레오 카메라의 정렬 방법에 대한 흐름도이다.
도 5는 도 4의 방법의 주요 과정을 도식적으로 나타낸 도면이다.
도 6 내지 도 8은 도 4의 방법에 의한 두 카메라의 정렬 형태를 설명하기 위한 예시도들이다.
도 9는 본 실시예의 스테레오 카메라 정렬 장치를 교통 카메라에 적용한 경우를 설명하기 위한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 스테레오 카메라의 정렬 장치를 탑재한 스테레오 카메라에 대한 블록도이다.
도 11은 도 10의 스테레오 카메라의 관리 시스템을 설명하기 위한 블록도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다" 또는 "가진다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 스테레오 카메라 정렬 장치를 탑재한 스테레오 카메라의 예시도이다. 도 2는 도 1의 스테레오 카메라의 구성에 대한 블록도이다. 도 3은 도 1의 스테레오 카메라에 탑재된 카메라의 초점거리를 나타낸 도면이다.

도 1 및 도 2를 참조하면, 본 실시예에 따른 스테레오 카메라 정렬 장치(100)는 케이싱(400)에 탑재되고 일정 간격 이격 배치되는 왼쪽 카메라(11) 및 오른쪽 카메라(12)와, 이 카메라들 중 적어도 어느 하나에 결합하여 카메라의 전방부 또는 후방부를 상하좌우 방향으로 이동시키거나 카메라의 광축을 중심으로 시계 방향 또는 반시계 방향으로 카메라를 회전시키는 액추에이터(51, 52)와, 이 액추에이터(51, 52)의 동작을 제어하는 제어장치(60)를 포함하여 이루어진다.

또한, 스테레오 카메라 정렬 장치(100)는 왼쪽 카메라(11) 및 오른쪽 카메라(12)의 영상 신호를 받는 영상 처리 장치(70)와, 영상 처리 장치(70)의 영상 신호를 네트워크를 통해 외부로 전송하는 통신 장치(80)를 더 포함하여 이루어질 수 있다.

본 실시예에 따른 스테레오 카메라 정렬 장치(100)는 스테레오 카메라에 장착된 두 카메라의 물리적인 정렬을 보다 정확하게 수행하여 기본적인 소프트웨어적 정렬이나 정확도를 향상시키기 위한 것으로, 두 카메라의 주점들에 대한 두 카메라의 이격 거리에 따른 픽셀 위치들을 계산하여 해당 좌표를 영상으로 표현하고, 이에 기초하여 영상을 확인하며 두 카메라의 이미지 센서를 정밀하게 조정할 수 있는 방안을 제공한다.

다시 말해서, 본 실시예에 따른 스테레오 카메라 정렬 장치(100)는, 카메라의 렌즈를 통해 이미지 센서로 들어오는 영상 자체를 정렬하는 기법을 사용한다. 즉, 왼쪽 카메라와 오른쪽 카메라의 각 주점의 위치와 주점들 사이의 거리를 픽셀 단위로 계산하고 계산된 픽셀 거리에 기초하여 한 영상 또는 각각의 영상에 왼쪽 카메라와 오른쪽 카메라의 주점들을 동시에 표현하여 정렬를 진행할 수 있다.

왼쪽 카메라와 오른쪽 카메라의 주점들 간의 픽셀 차이 혹은 픽셀 거리는 두 카메라의 이격 간격에 왼쪽 또는 오른쪽 카메라의 초점 거리(focal length)를 곱한 값을 주점에 의해 타겟팅되는 실물과의 거리로 나눈 값에 대응된다.

여기서, 초점 거리(F1)는 도 3에 도시한 바와 같이 이미지 센서(21)에서 렌즈(23)까지의 거리를 나타낸다. 초점 거리는 줌(zoom) 기능을 구비한 카메라의 경우, 특정 줌 상태 혹은 기본 줌 상태 등으로 두 카메라에서 동일하게 설정될 수 있다. 그리고 이격 간격은 두 카메라(11, 12)의 광축들 사이의 거리(도 1의 L1)로서 베이스라인(baseline)으로 지칭될 수 있고, 실물과의 거리는 타겟 거리(target distance)로 지칭될 수 있다. 타겟 거리는 두 영상 내 타겟에 대한 삼각 측량 또는 레이저 측정기 등에 의해 계산 또는 측정될 수 있다.

전술한 액추에이터는 모터 등을 포함할 수 있다. 제어장치는 넓은 의미에서 프로그램을 저장하는 메모리와 이 메모리에 연결되어 프로그램을 수행하는 프로세서를 구비할 수 있다. 프로그램은 물리적인 카메라 정렬을 위해 두 카메라의 렌즈를 통해 이미지 센서로 들어오는 영상 자체를 영상에 설정되는 주점(main point)를 이용하여 물리적으로 정렬하는 일련의 과정을 포함할 수 있다. 제어장치의 프로세서는 마이크로프로세서, 마이크로컨트롤유닛, 주문형 반도체, 프로그램 로직 컨트롤러와 순차 논리회로(하드웨어 방식) 등으로 대체될 수 있다.

도 4는 본 발명의 다른 실시예에 따른 스테레오 카메라의 정렬 방법에 대한 흐름도이다. 도 5는 도 4의 방법의 주요 과정을 도식적으로 나타낸 도면이다.

도 4 및 도 5를 참조하면, 본 실시예에 따른 스테레오 카메라의 정렬 방법은, 사전 정렬 단계(S41), 제1 주점 정렬 단계(S42), 타겟 거리 획득 단계(S43), 정렬점 결정 단계(S44), 영상 이동 단계(S45) 및 영상 회전 단계(S46)를 포함할 수 있다. 상기의 단계들 중 사전 정렬 단계(S41)는 구현에 따라서 선택적으로 포함될 수 있다.

사전 정렬 단계(S41), 제1 주점 정렬 단계(S42) 및 정렬점 결정 단계(S44)는영상 처리 장치 또는 영상 처리 장치를 포함하는 제어장치에 의해 처리될 수 있고, 타겟 거리 획득 단계(S43)는 거리 센서나 거리 측정 모듈에 결합된 제어장치에 의해 처리될 수 있으며, 영상 이동 단계(S45) 및 영상 회전 단계(S46)는 카메라에 결합된 액추에이터의 동작을 제어하는 제어장치에 의해 처리될 수 있다.

본 실시예에서의 스테레오 카메라의 정렬 방법은, 먼저 두 카메라의 주점을 영상 내 같은 지점을 맞출 수 있는 타겟을 향하도록 스테레오 카메라를 설치한다. 그리고 광학 줌을 이용하여 두 카메라에서 타겟이 화면에 들어오는 크기를 이미지 센서의 픽셀 크기를 고려하여 조정한다. 타켓의 크기 조정은 타겟의 상단 좌우와 하단 좌우의 4곳의 타겟 에지 포인트 중 적어도 하나 이상의 특징점에서 픽셀을 구별할 수 있을 정도로 이루어진다. 다음으로, 정밀 조정장치를 통해 두 카메라의 주점을 계산된 주점의 픽셀 위치에 맞춘다. 정밀 조정장치는 제어장치와 제어장치의 제어에 의해 동작하며 카메라에 결합되는 액추에이터를 포함할 수 있다. 그런 다음, 상단 좌우 및 하단 좌우 중 상기의 특징점 외의 나머지 특징점이나 상기 특징점 주변의 다른 특징점의 위치도 두 카메라의 영상에서 평행이 되도록 두 카메라 중 하나를 회전시키는 일련의 과정을 통해 이루어질 수 있다.

본 실시예에 따른 스테레오 카메라의 정렬 방법의 주요 과정을 좀더 구체적으로 설명하면 다음과 같다.

먼저 사전 정렬 단계(S41)는 제1 카메라의 제1 영상 내에서 선택한 특정 라인을 기준으로 제1 카메라의 이미지 센서의 수평 방향 혹은 가로 방향으로 배열된 가로 픽셀 라인을 수평 방향 또는 수평선에 대응하도록 정렬하는 과정을 포함할 수 있다. 가로 픽셀 라인은 도 5의 (a) 및 (b)에 도시한 바와 같이 제1 주점(first main point, 2)를 지나는 수평선(HL)과 수직선(VL) 중 수평선과 평행할 수 있다.

다음, 제1 주점 정렬 단계(S42)는 제1 카메라의 제1 영상 상의 제1 주점(2)를 제1 영상 내 타겟(3)의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키는 과정을 포함할 수 있다. 여기서 제1 카메라는 스테레오 카메라에서 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나를 나타낸다.

다음, 타겟 거리 획득 단계(S43)는 제1 및 제2 카메라들을 포함한 스테레오 카메라에 탑재된 거리 계산 모듈이나 거리 센서로 상기의 타겟에 대응하는 실제 사물과의 거리 즉 타겟 거리를 측정하는 과정을 포함할 수 있다.

다음, 정렬점 결정 단계(S44)는 제1 영상의 가로 픽셀 라인의 연장 방향(간략히, 가로 픽셀 라인 방향)에서 제1 픽셀로부터 상기의 일정 간격을 반영한 픽셀 거리(도 5의 (b)의 p1)만큼 이격된 제2 픽셀(4)을 결정하는 과정을 포함할 수 있다. 제2 픽셀(4)은 제1 영상과 제2 영상을 정렬하는데 이용되는 정렬점에 대응된다. 제2 픽셀(4)를 지나는 수직선, 기준선 또는 정렬라인(4a)이 함께 표시될 수 있다.

상기의 단계(S44)는 두 카메라 사이의 간격(일정 간격)과 제2 카메라의 초점 거리(focal length)를 곱한 값을 타겟 거리로 나눈 값(픽셀 거리)만큼 제1 픽셀로부터 이격된 제2 픽셀(4)을 선택하는 과정을 포함할 수 있다.

다음, 영상 이동 단계(S45)는 왼쪽 카메라 및 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point, 6)이 상기의 제2 픽셀(4)에 대응하는 제2 영상 내 포인트 상에 정렬하도록 제2 영상을 상하좌우 중 적어도 하나 이상의 방향으로 이동시키는 과정을 포함할 수 있다(도 5의 (c) 및 (d) 참조).

본 단계(S45)는 제어 장치가 영상 처리 장치에서 출력되는 신호에 기초하여 제2 카메라의 전방부 또는 후방부를 상하좌우 방향 중 하나 이상의 방향에서 일정 거리만큼 이동시키는 제1 액추에이터의 동작을 제어하여 이루어질 수 있다.

다음, 영상 회전 단계(S46)는 정렬점에 정렬된 제2 주점이나 이에 대응하는 회전 중심을 기준으로 제2 영상을 회전시켜 제1 영상 내 다른 특징점, 특징 영역 또는 주변 관심 대상(7)과 제2 영상 내 대응 특징점, 대응 특징 영역 또는 대응 주변 관심 대상(8)이 제1 주점과 제2 주점의 정렬된 관계에 대응하여 배치 혹을 정렬되도록 하는 과정을 포함할 수 있다(도 5의 (f) 및 (g) 참조).

도 5의 (g)에서 제1 영상의 주변 관심 대상(7)이 제2 영상 상에 대응 가상 주변 관심 대상(7a)으로서 표현되어 있다. 이러한 과정은 제1 영상과 제2 영상을 하나의 영상 형태로 하여 물리적 카메라 정렬을 수행하는 경우의 일부 과정에 대응될 수 있다.

상기의 단계(S46)는 제어 장치가 영상 처리 장치에서 출력되는 신호에 기초하여 제2 카메라를 시계 방향 또는 반시계 방향으로 일정 각도만큼 회전시키는 제2 액추에이터의 동작을 제어하는 과정을 포함할 수 있다.

한편, 본 실시예의 제1 주점 정렬 단계(S42)에서 제1 픽셀이 위치한 제1 영상 내 타겟의 관심 에지 포인트는 추출된 에지에서 코너점에 해당하는 픽셀을 선택하는 적어도 하나 이상의 알고리즘에 의해 계산될 수 있다. 예컨대, 에지를 결정하기 위한 알고리즘으로 케니(Canny) 에지 검출 알고리즘을 이용할 수 있다.

케니 에지 검출 알고리즘은 제1 단계에서 가우시안 필터링을 통해 영상을 부드럽게 처리하고, 제2 단계에서 소벨(Sobel) 연산자를 사용하여 기울기(gradient) 벡터의 크기(magnitude)를 계산하고, 제3 단계에서 가느다란 에지를 얻기 위해 3x3 창을 사용하여 기울기 벡터 방향에서 기울기 크기가 최대값인 화소만 남기고 나머지는 0으로 억제하고, 제4 단계에서 연결된 에지를 얻기 위해 두 개의 임계값을 사용하며, 거기서 높은 값의 임계값을 사용할 때는 기울기 방향에서 낮은 값의 임계값이 나올 때까지 추적하며 에지를 연결하는 히스테리시스 임계값(hysteresis thresholding) 방식을 사용할 수 있다.

본 실시예에 의하면, 스테레오 카메라 정렬 방법은 적어도 6 가지의 형태에 대하여 두 카메라를 물리적으로 정렬할 수 있다. 이를 도 6 내지 도 8을 참조하여 설명하면 다음과 같다. 도 6 내지 도 8은 도 4의 방법에 의한 두 카메라의 정렬 형태를 설명하기 위한 예시도들이다.

즉, 좌우 방향에서의 오정렬되어 상대적으로 왜곡이 심한 두 카메라(11, 12)의 상태(도 6의 (b) 및 (c) 참조)를 도 6의 (a)에 도시한 바와 같은 형태로 물리적으로 정렬할 수 있다.

또한, 상하 방향에서의 오정렬되어 상대적으로 왜곡이 심한 두 카메라(11, 12)의 상태((도 7의 (b) 및 (c) 참조)를 도 7의 (a)에 도시한 바와 같은 형태로 물리적으로 정렬할 수 있다.

또한, 카메라의 정면에서 볼 때 두 카메라(11, 12) 중 하나가 회전된 경우의 상태((도 8의 (b) 및 (c) 참조)를 도 8의 (a)에 도시한 바와 같은 형태로 물리적으로 정렬할 수 있다.

도 9는 본 실시예의 스테레오 카메라 정렬 장치를 교통 카메라에 적용한 경우를 설명하기 위한 도면이다. 도 9의 (a)는 본 실시예의 적용 전의 원본 영상(13a)이고 도 9의 (b)는 본 실시예의 정렬 과정을 적용한 후의 정렬 영상(13b)이다.

본 실시예에 따른 스테레오 카메라 정렬 장치는 교통 카메라나 교통 정보 모니터링 카메라에 적용된 경우로서, 도로 상의 교통 교지판을 타겟으로 이용하여 카메라를 물리적으로 정렬할 수 있다.

영상(13a; 13b)에서 왼쪽 카메라와 오른쪽 카메라의 주점들 간의 픽셀 차이는 다음의 조건에서 26 픽셀로 계산된다. 여기서, 상기의 조건 중 베이스라인은 40㎝, 초점 거리는 3665, 그리고 타겟 거리는 56m이다.

정렬을 마친 상태의 영상(13a)에서는 교통 표지만의 상단 좌우 및 하단 좌우의 4개의 특징점이 왼쪽 카메라와 오른쪽 카메라 모두에서 선명하게 일치하는 모습을 보인다.

도 10은 본 발명의 또 다른 실시예에 따른 스테레오 카메라의 정렬 장치를 탑재한 스테레오 카메라에 대한 블록도이다. 도 11은 도 10의 스테레오 카메라의 관리 시스템을 설명하기 위한 블록도이다.

도 10을 참조하면, 본 실시예에 따른 스테레오 카메라는 스테레오 카메라 정렬 장치(100)를 구비하고, 통신장치(80)를 통해 왼쪽 카메라(11)의 영상과 오른쪽 카메라(12)의 영상을 외부의 영상 처리 장치(70)로 전송하도록 이루어질 수 있다. 또한, 스테레오 카메라 정렬 장치(100)는 거리 센서(30)에서 측정한 타겟 거리를 영상 처리 장치(70)에 제공할 수 있다.

그 경우, 통신 장치(80)는 유선 네트워크 또는 무선 네트워크를 통해 외부에 설치된 영상 처리 장치(70)에 연결되고, 영상 처리 장치(70)는, 원격지에서 제1 정보와 제2 정보를 생성하고 생성한 제1 정보와 제2 정보를 네트워크를 통해 제어 장치(60)에 전달하도록 구현될 수 있다.

여기서, 제1 정보는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나인 제1 카메라의 제1 영상에서 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치하는 제1 픽셀을 주점(main point)으로 결정한 것에 대한 정보를 포함할 수 있다. 그리고, 제2 정보는 제1 영상 내 가로 픽셀 라인 방향 상에서 상기 주점으로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정한 것에 대한 정보를 포함할 수 있다.

본 실시예에 의하면, 도 11에 도시한 바와 같이 스테레오 카메라 정렬 장치(100)나 이에 탑재된 제어장치(60)는 원격지의 영상 처리 장치(70)나 이러한 영상 처리 장치를 구비한 서버 장치 또는 관제 시스템(200)으로부터 수신한 제1 정보와 제2 정보에 따라 두 카메라의 액추에이터를 제어하여 카메라를 물리적으로 정렬할 수 있다.

한편, 본 실시예에서는 제2 영상의 이동을 위해 제2 카메라의 전방부 혹은 후방부을 이동하고 광축을 중심으로 회전하는 경우에 대하여 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 카메라에 결합된 플레이트 혹은 합판에서 카메라의 뒤쪽을 고정하고 카메라의 좌측 또는 우측에서 카메라의 전방부를 왼쪽 또는 오른쪽으로 밀거나 당기고, 혹은 카메라의 전방부를 위쪽 또는 아래쪽으로 높이거나 낮추는 형태로 액추에이터가 설치되어 사용될 수 있다. 또한, 카메라의 회전과 관련해서는 카메라에 결합된 플레이트 혹은 합판을 좌우 방향에서 기울임으로써 카메라가 경사 기울기에 따라 카메라의 회전에 대응하는 효과를 갖도록 이루어질 수 있다.

또 한편, 전술한 실시예에서는 영상의 주점을 고정한 상태에서 스테레오 카메라의 두 이미지 센서를 정렬하는 방법을 중심으로 설명하였지만, 본 발명을 그러한 구성으로 한정되지 않고, 실질적으로 동일하거나 유사한 정렬 과정을 통해 제1 영상 내 임의의 에지 포인트를 기준으로 제2 영상을 정렬할 수 있음은 물론이다. 그 경우, 일례로 임의로 선택되는 에지 포인트는 에지 포인트를 주점으로 하는 변환된 영상에서 상기의 실시예들에 따른 절차를 수행하도록 이루어질 수 있다. 여기서, 변환된 영상은 제1 영상과 제2 영상의 서로 대응되는 영역에 대하여 분할된 영상이거나 부분 복사된 영상일 수 있다.

상기의 경우에 대하여 좀더 구체적으로 예를 들어 설명하면, 스테레오 카메라의 정렬 방법은, 제1 카메라의 제1 영상에서 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치하는 제1 픽셀을 주점(main point)으로 결정하는 단계-여기서 상기 제1 카메라는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나임-; 상기 제1 영상 내 가로 픽셀 라인 방향 상에서 상기 주점으로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하는 단계; 상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상에서 상기 제2 픽셀에 대응하여 위치하는 상기 제2 영상 내 영상 포인트의 픽셀을 상기 제2 픽셀의 위치에 정렬시키는 단계; 및 상기 주점 주위의 다른 특징점이 제1 주점과 제2 주점이 정렬된 방향에서 상기 픽셀 거리만큼 이격되어 위치하도록 상기 제2 영상을 회전 정렬시키는 단계를 포함하여 이루어질 수 있다.

또 한편으로, 전술한 실시예에서는 주점 또는 제1 픽셀을 제1 영상 내 타겟의 에지 포인트에 정렬하는 방식에 대하여 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 제1 픽셀에서 일정 간격에 대응하는 픽셀 거리만큼 이격되어 위치하는 제2 픽셀을 타켓의 에지 포인트에 정렬하도록 구현될 수 있다. 그 경우, 제2 영상의 주점을 제2 픽셀에 정렬하는 것이 좀더 용이해질 수 있다.

또 한편으로, 전술한 실시예에서는 스테레오 카메라의 두 카메라를 중심으로 설명하였으나, 본 발명은 그러한 구성을 한정되지 않고, 두 카메라를 일정 간격을 배치하고 카메라를 정렬하는 경우 모두에 적용되어 소프트웨어적 보정의 부담을 제거하거나 효과적으로 낮출 수 있다.

본 발명은 도면을 참조한 실시예를 중심으로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점은 자명하다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

제1 카메라의 제1 영상 상의 제1 주점(first main point)를 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키는 단계-여기서 상기 제1 카메라는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나임-;
상기 제1 영상의 가로 픽셀 라인 방향에서 상기 제1 픽셀로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하는 단계;
상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point)이 상기 제2 픽셀에 대응하는 상기 제2 영상 내 포인트 상에 정렬하도록 상기 제2 영상을 이동시키는 단계; 및
상기 제1 주점과 상기 제2 주점의 관계에 대응하여 상기 제1 영상 내 다른 특징점과 상기 제2 영상 내 대응 특징점이 배치되도록 상기 제2 주점을 기준으로 상기 제2 영상을 회전시키는 단계를 포함하고,
상기 제1 주점을 상기 제1 픽셀에 정렬시키는 단계 이전에, 상기 제1 영상 내에서 선택한 특정 라인을 기준으로 상기 제1 카메라의 이미지 센서의 가로 픽셀 라인을 수평 방향 또는 수평선에 대응하도록 정렬하는 단계를 더 포함하는, 스테레오 카메라 정렬 방법.
청구항 1에 있어서,
상기 이동시키는 단계는 제어 장치가 영상 처리 장치에서 출력되는 신호에 기초하여 상기 제2 카메라의 전방부 또는 후방부를 상하좌우 방향 중 하나 이상의 방향에서 일정 거리만큼 이동시키는 액추에이터의 동작을 제어하는, 스테레오 카메라 정렬 방법.
청구항 2에 있어서,
상기 회전시키는 단계는 상기 제어 장치가 상기 영상 처리 장치에서 출력되는 신호에 기초하여 상기 제2 카메라를 시계 방향 또는 반시계 방향으로 일정 각도만큼 회전시키는 액추에이터의 동작을 제어하는, 스테레오 카메라 정렬 방법.
제1 카메라의 제1 영상 상의 제1 주점(first main point)를 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키는 단계-여기서 상기 제1 카메라는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나임-;
상기 제1 영상의 가로 픽셀 라인 방향에서 상기 제1 픽셀로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하는 단계;
상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point)이 상기 제2 픽셀에 대응하는 상기 제2 영상 내 포인트 상에 정렬하도록 상기 제2 영상을 이동시키는 단계; 및
상기 제1 주점과 상기 제2 주점의 관계에 대응하여 상기 제1 영상 내 다른 특징점과 상기 제2 영상 내 대응 특징점이 배치되도록 상기 제2 주점을 기준으로 상기 제2 영상을 회전시키는 단계를 포함하고,
상기 제2 픽셀을 결정하는 단계 전에 상기 제1 및 제2 카메라들을 포함한 스테레오 카메라에 탑재된 거리 계산 모듈이나 거리 센서로 상기 타겟에 대응하는 실제 사물과의 거리를 측정하는 단계를 더 포함하는, 스테레오 카메라 정렬 방법.
청구항 4에 있어서,
상기 제2 픽셀을 결정하는 단계는 상기 일정 간격과 상기 제2 카메라의 초점 거리(focal length)를 곱한 값을 상기 거리로 나눈 픽셀 거리만큼 상기 제1 픽셀로부터 이격된 제2 픽셀을 선택하는, 스테레오 카메라 정렬 방법.
삭제
왼쪽 카메라 및 오른쪽 카메라 중 어느 하나 이상의 카메라에 설치되고 상기 카메라를 X축, Y축 및 Z축으로 이동시키거나 광축을 중심으로 회전시키는 하나 이상의 액추에이터-여기서, 상기 왼쪽 카메라에서 촬영한 영상과 상기 오른쪽 카메라에서 촬영한 영상은 영상 처리 장치로 전송됨-; 및
상기 영상 처리 장치로부터의 신호 또는 데이터에 따라 상기 액추에이터의 동작을 제어하는 제어 장치를 포함하고,
상기 영상 처리 장치로부터의 신호 또는 데이터는, 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나인 제1 카메라의 제1 영상 상의 제1 주점(first main point)를 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치한 제1 픽셀에 정렬시키고, 상기 제1 영상의 가로 픽셀 라인 방향에서 상기 제1 픽셀로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정하며,
상기 제어 장치는 상기 왼쪽 카메라 및 상기 오른쪽 카메라 중 나머지 하나인 제2 카메라의 제2 영상의 제2 주점(second main point)이 상기 제2 픽셀에 대응하는 상기 제2 영상 내 포인트 상에 정렬하도록 상기 제2 영상을 이동시키고, 상기 제1 주점과 상기 제2 주점의 관계에 대응하여 상기 제1 영상 내 다른 특징점과 상기 제2 영상 내 대응 특징점이 배치되도록 상기 제2 주점을 기준으로 상기 제2 영상을 회전시키고,
상기 제어 장치는, 상기 영상 처리 장치에서 상기 주점을 상기 제1 픽셀에 정렬시키기 전에, 상기 제1 영상 내에서 선택한 특정 라인을 기준으로 상기 제1 카메라의 이미지 센서의 가로 픽셀 라인을 수평 방향 또는 수평선에 대응하도록 정렬하는, 스테레오 카메라 정렬 장치.
청구항 7에 있어서,
상기 액추에이터는, 상기 제어 장치의 제어에 따라 상기 제2 카메라의 전방부 또는 후방부를 상하좌우 방향 중 하나 이상의 방향에서 일정 거리만큼 이동시키는 제1 액추에이터와, 상기 제2 카메라를 시계 방향 또는 반시계 방향으로 일정 각도만큼 회전시키는 제2 액추에이터를 포함하는, 스테레오 카메라 정렬 장치.
청구항 7에 있어서,
상기 제어 장치에 연결되며 상기 제1 및 제2 카메라들을 포함한 스테레오 카메라에서 상기 타겟에 대응하는 실제 사물과의 거리를 측정하는 거리 센서를 더 포함하는, 스테레오 카메라 정렬 장치.
청구항 7에 있어서,
상기 제어 장치는, 상기 제2 카메라의 초점 거리(focal length)와 상기 일정 간격을 곱한 값을 상기 제2 카메라와 상기 타겟에 대응하는 실제 사물 사이의 거리로 나눈 픽셀 거리만큼 상기 제1 픽셀로부터 이격된 상기 제2 픽셀을 결정하는, 스테레오 카메라 정렬 장치.
삭제
청구항 7에 있어서,
상기 제어 장치에 연결되는 통신 장치를 더 포함하며,
상기 통신 장치는 유선 네트워크 또는 무선 네트워크를 통해 외부에 설치된 상기 영상 처리 장치에 연결되고,
상기 영상 처리 장치는, 원격지에서 제1 정보와 제2 정보를 생성하고 생성한 상기 제1 정보와 상기 제2 정보를 네트워크를 통해 상기 제어 장치에 전달하며,
여기서 상기 제1 정보는 일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라 중 어느 하나인 제1 카메라의 제1 영상에서 상기 제1 영상 내 타겟의 관심 에지 포인트에 위치하는 제1 픽셀을 제1 주점(main point)으로 결정한 것에 대한 정보를 포함하고, 상기 제2 정보는 제1 영상 내 가로 픽셀 라인 방향 상에서 상기 제1 주점으로부터 상기 일정 간격을 반영한 픽셀 거리만큼 이격된 제2 픽셀을 결정한 정보를 포함하는, 스테레오 카메라 정렬 장치.
일정 간격 이격 배치되는 왼쪽 카메라 및 오른쪽 카메라; 및
청구항 7 내지 10 및 12 중 어느 한 항의 스테레오 카메라 정렬 장치;
를 구비하는 스테레오 카메라.
스테레오 카메라 정렬 장치로서,
청구항 1 내지 5 중 어느 한 항의 스테레오 카메라 정렬 방법에 대한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.