KR101014572B1

KR101014572B1 - 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치

Info

Publication number: KR101014572B1
Application number: KR1020070086274A
Authority: KR
Inventors: 권성진
Original assignee: 주식회사 코아로직
Priority date: 2007-08-27
Filing date: 2007-08-27
Publication date: 2011-02-16
Anticipated expiration: 2027-08-27
Also published as: US8000559B2; JP4885179B2; JP2009064427A; EP2031861A2; CN101448065A; CN101448065B; US20090059041A1; EP2031861A3; KR20090021627A

Abstract

본 발명은 종래의 렌즈 왜곡 보정 방식들의 단점을 극복하고 또한 외각 부분에서의 화질 저하 현상을 최소화시킬 수 있는 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리 장치를 제공한다. 그 영상 왜곡 보정 방법은 광각 렌즈로 영상을 받아들이는 단계; 상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 단계; 상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 단계; 및 상기 보정된 영상을 디스플레이하는 단계;를 포함한다. 또한, 그 영상처리 장치는 영상(image) 받아들이는 광각 렌즈(wide-angle lens); 상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 왜곡 계수 추출부(distortion coefficient extraction part) 및 상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 보정부(distortion correction part)를 구비한 영상 처리부(image processor part); 및 상기 보정된 영상을 디스플레이하는 디스플레이부;를 포함한다.

Description

영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리 장치{Method of correcting image distortion and Image processing device of adapting the same method}

본 발명은 영상처리 장치 및 영상처리 방법에 관한 것으로, 특히 광각 렌즈를 통해 발생하는 영상 왜곡을 보정할 수 있는 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리 장치에 관한 것이다.

카메라를 이용한 응용분야는 산업 전반에 걸쳐 다양하며 그 응용분야는 점점 방대해지고 있다. 예컨대, 조립라인의 로봇 제어, 상품의 품질 검사, 의료분야의 진단, 보안 시스템, 영상 시스템의 인식 등 카메라는 사람의 눈을 대신하여 산업계의 자동화에 활용되고 있는 추세이다.

일반적으로 대상체에 대한 정밀도 높은 영상을 얻으려 할 경우에는 협각의 렌즈를 카메라의 앞 부분에 장치하여 사용하고, 대상체의 크기가 커서 넓은 영역을 관찰하여야 할 경우에는 광각 렌즈(wide-angle lens)를 장치하여 사용한다. 광각 렌즈를 사용하는 경우, 넓은 시야를 확보할 수 있다는 장점을 가지는 반면, 렌즈의 중심부분은 해상도가 높고 렌즈의 외각부분으로 갈수록 점차 해상도가 떨어지는 단 점이 있다.

또한, 광각 렌즈는 외각부분의 해상도 저하와 함께 외각부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사 왜곡(radial distortion)이 두드러진다. 이러한 방사 왜곡은 해상도 저하의 주요 요인이기도 하다.

도 1a 및 1b는 광각 렌즈에 의한 방사 왜곡을 패턴 영상 및 일반 영상을 통해 보여주는 사진들로서, 전술한 바와 같이 중심에서 멀어질수록 영상이 흐려지고 굴곡이 발생함을 확인할 수 있다.

렌즈 왜곡에 대한 보정 기술은 일반적으로 "메트릭(Metric)" 방식과 "비메트릭(Non-Metric)"방식으로 나뉜다. 메트릭 방식은 영상의 일치점(correspondence)에 기반하여 영상왜곡에 영향을 미칠 수 있는 카메라 모델의 내부(intrinsic) 및 외부(extrinsic) 변수 모두를 측정하여 영상의 왜곡을 보정하는 방식을 말하며, 비메트릭 방식은 일치점에 기반하지 않고, 외부 물체의 직선 성분들은 영상에 직선형태로 투사되어야 한다 라는 가정하에 영상이 획득되는 과정에서 렌즈 왜곡에 의한 곡선 성분들을 직선 형태로 보정하는 방식을 의미한다.

메트릭 방식은 영상의 일치점(correspondence)에 기반하므로 일치점들이 많아질수록 더욱 정확한 왜곡 계수를 추출할 수 있으며 일치점들을 추출하기 위한 여러 장의 패턴영상(pattern images)을 필요로 한다. 또한 내부(intrinsic) 변수와 외부(extrinsic) 변수를 구하는 과정에서 측정오류(measurement error)에 의한 심각한 문제가 발생할 수 있다. 비메트릭 방식은 왜곡이 있는 단일 영상에서도 왜곡계수(distortion coefficient)를 구할 수 있으며 일치점들을 필요로 하지 않는다. 그러나 영상에 직선 성분을 포함하는 물체가 존재해야 왜곡의 정도를 측정할 수 있다는 단점이 있으며, 또한 비메트릭 방식 중 자동 왜곡 보정 알고리즘들은 잡음(noise)에 매우 민감한 특성을 가진다.

따라서, 본 발명이 해결하고자 하는 과제는 종래의 렌즈 왜곡 보정 방식들의 단점을 극복하고 또한 외각 부분에서의 화질 저하 현상을 최소화시킬 수 있는 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리 장치를 제공하는 데에 있다.

상기 과제를 달성하기 위하여, 본 발명은 광각 렌즈로 영상을 받아들이는 단계; 상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 단계; 상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 단계; 및 상기 보정된 영상을 디스플레이하는 단계;를 포함하는 영상 왜곡 보정 방법을 제공한다.

본 발명에 있어서, 상기 왜곡 계수 추출 단계에서, 상기 왜곡 계수 추출은 렌즈 왜곡 모델식을 이용하여 정의된 왜곡계수 범위 내에서 수동 조절을 통해 최적의 왜곡계수를 구함으로써, 이루어질 수 있다. 한편, 상기 왜곡 보정 단계에서, 영상 왜곡에 대한 보정은 상기 추출된 왜곡 계수를 이용하여 영상을 역방향 맵핑 방법(backward mapping method)을 통해 보정할 수 있다. 여기서, 상기 렌즈 왜곡 모델식은 보정 영상의 중심으로부터의 좌표거리(RC)가 왜곡 영상의 중심으로부터 좌표거리(RD)에 왜곡 영상의 좌표거리(RD)의 3승을 더한 값과 동일한 것으로 나타나고, 상기 왜곡 영상의 좌표 거리(RD)의 3승에 대한 계수는 왜곡 계수(k)이고, 상기 왜곡 계수(kl)는 0보다 크고 왜곡 영상의 중심으로부터 최외각까지의 최대 좌표거리(RDM)의 제곱 분의 a-1보다 작거나 같고, a는 2이상의 상수일 수 있다.

예컨대, 상기 렌즈 왜곡 모델식은 R_C = R_D(1+kR² _D), 0 < k ≤ (a-1)/R² _DM와 같이 나타날 수 있다.

한편, 상기 영상 왜곡 보정 단계는, 상기 교정을 통해 발생하는 계단현상을 양선형 보간법(bilinear interpolation method)을 이용하여 제거할 수 있고, 또한, 상기 영상 왜곡 보정 단계는, 상기 교정된 영상의 외곽부분의 블러링(bluring) 효과를 최소화하기 위하여 외곽부분의 곡선을 조절하는 것을 포함할 수 있다.

상기 외곽 부분의 곡선 조절은 상기 식에 의한 R_C 대 R_D의 그래프 상에서 선택된 변곡점을 기준으로 복수 개의 좌표점들을 선택하고 삼차방정식을 이용함으로써, 곡선 조절(curve fitting)을 할 수 있다.

본 발명은 또한 상기 과제를 달성하기 위하여, 영상(image) 받아들이는 광각 렌즈(wide-angle lens); 상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 왜곡 계수 추출부(distortion coefficient extraction part) 및 상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 보정부(distortion correction part)를 구비한 영상 처리부(image processor part); 및 상기 보정된 영상을 디스플레이하는 디스플레이부;를 포함하는 영상처리 장치를 제공한다.

본 발명에 있어서, 상기 광각 렌즈는 화각 120 °이하의 어안 렌즈(fish-eye lens)를 포함할 수 있다. 상기 왜곡 계수 추출부는 렌즈 왜곡 모델식을 이용하여 정의된 왜곡계수 범위 내에서 수동 조절을 통해 최적의 왜곡계수를 구할 수 있다.

한편, 왜곡 보정부는 추출된 상기 왜곡 계수를 이용하여 역방향 맵핑 방법(backward mapping method)을 통해 상기 광각 렌즈의 방사 왜곡(radial distortion)을 교정하며, 상기 교정을 통해 발생하는 계단현상은 양선형 보간법(bilinear interpolation method)를 이용하여 제거하게 된다.

본 발명에 있어서, 상기 영상 처리부는 상기 왜곡 보정부에서 교정된 영상의 외곽부분의 블러링(bluring) 효과를 최소화하기 위한 외곽부분의 곡선을 조절하는 곡선 조절부(curve fitting part)를 포함할 수 있다. 이러한 상기 곡선 조절부는 상기 R_C 대 R_D의 그래프 상에서 선택된 변곡점을 기준으로 복수 개의 좌표점들을 선택하고 삼차방정식을 이용하여 곡선 조절(curve fitting)을 함으로써, 상기 외곽 부분의 곡선을 조절할 수 있다.

본 발명에 따른 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리 장치는 광각 렌즈로부터 발생하는 영상 왜곡을 보정하기 위해 단일 또는 복수의 패턴 영상이 불필요하다. 즉, 수동조절을 통해 직접 왜곡 계수를 추출하게 되므로 종래와 같은 일치점 추출을 위한 패턴 영상이 불필요하다.

또한, 본 발명의 영상 왜곡 보정 방법은 양선형 보간법에 통해 계단 현상을 제거하고 곡선 조절(curve fitting)을 통해 외곽부분의 블러링 현상을 제거함으로써, 인간의 인식관점에 가장 적합한 영상으로 보정할 수 있다.

그에 따라, 그러한 영상 왜곡 보정 방법을 채용한 영상처리 장치는 광각 렌 즈, 예컨대 화각 120°이하의 어안렌즈 또는 그 이하의 화각을 갖는 렌즈에 의한 영상 왜곡 또는 단일 영상 왜곡을 적절히 보정함으로써, 인간의 인식관점에 가장 적합한 영상을 제공할 수 있다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 이하의 설명에서 어떤 구성 요소가 다른 구성 요소에 연결된다고 기술될 때, 이는 다른 구성 요소와 바로 연결될 수도 있지만, 그 사이에 제3의 구성 요소가 개재될 수도 있다. 또한, 도면에서 각 구성 요소의 구조나 크기는 설명의 편의 및 명확성을 위하여 과장되었고, 설명과 관계없는 부분은 생략되었다. 도면상에서 동일 부호는 동일한 요소를 지칭한다. 한편, 사용되는 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.

도 2a 및 2b는 광각 렌즈에 의한 방사 왜곡을 설명하기 위한 좌표 평면도들로서, 도 2a는 보정된 좌표에 대한 평면도이고, 도 2b는 광각 렌즈에 의한 방사 왜곡이 나타난 좌표에 대한 평면도이다.

도 2a 및 2b를 참조하면, 광각 렌즈에 의한 방사 왜곡은 중심점에서 멀어질수록 커짐을 알 수 있다. 그에 따라, 중심에서 멀어질수록 대상물의 사이즈가 확대되고 또한 굴곡을 가지게 된다. 여기서, R_C는 보정된 좌표에서의 중심에서의 좌표거리이고, R_D는 왜곡된 좌표에서의 중심에서의 좌표거리이다.

도 3은 본 발명의 일 실시예에 따른 영상 왜곡 보정 방법을 채용한 영상처리 장치에 대한 블럭 구성도이다.

도 3을 참조하면, 본 발명에 따른 영상처리 장치는 광각 렌즈(100), 영상 처리부(200) 및 디스플레이부(300)를 포함한다. 여기서, 광각 렌즈(100)는 화각 120°이하의 어안 렌즈(eye-fish lens)이고, 좀더 정확히는 화각 60° ~ 120°를 갖는 렌즈일 수 있다. 디스플레이부(300)는 영상 처리부(200)를 통해 처리된 영상을 디스플레이하는 장치로 LCD, CRT 모니터 등이 될 있다.

영상 처리부(200)는 광각 렌즈(100)를 통해 입사된 영상을 처리하는 프로세서로, 광각 렌즈(100)에 의해 발생하는 방사 왜곡을 보정하기 위하여 왜곡 계수 추출부(220), 왜곡 보정부(240) 및 곡선 조절부(260)를 포함한다. 광각 렌즈(100)를 통해 입사된 영상은 이미지 센서를 통해 전기신호 이미지로서 감지되며, 영상 처리부(200)는 이러한 전기신호 이미지에 대한 보정을 하게 된다. 한편, 도시하지는 않았지만 영상 처리부(200)는 보정된 영상을 디스플레이용 이미지 파일로 변환시키는 일반적인 멀티미디어 프로세서 및 그러한 이미지 파일을 저장하기 위한 메모리를 포함함은 물론이다.

왜곡 계수 추출부(220)는 광각 렌즈(100)에 의해 발생하는 영상 왜곡에 대한 왜곡 계수를 추출하고, 왜곡 보정부(240)는 추출된 왜곡 계수를 이용하여 역방향 맵핑 방법(backward mapping method)을 통해 영상을 보정한다.

좀더 상세히 설명하면, 영상 왜곡, 즉 방사 왜곡을 보정하기 위하여, 워핑(warping) 방정식, 또는 렌즈 왜곡 모델식을 통해 왜곡 계수를 추출하고 구해진 왜곡 계수를 통해 영상 왜곡의 보정, 즉 영상 워핑(image warping)을 수행하게 된다. 이러한 영상 워핑 구현 방법은 크게 전방향 맵핑(forward mapping) 방법과 역방향 맵핑 방법으로 구분된다. 전방향 맵핑 방법은 왜곡 영상으로부터 보정 영상의 대응되는 픽셀(pixel) 좌표를 직접 구할 수 있는 장점이 있으나, 좌표 계산 방식은 정수형 계산이 이루어지므로 보정 영상에서 홀(hole)이 발생할 수 있는 단점을 가진다.

한편, 역방향 맵핑 방법은 보정 영상의 좌표값을 이용하여 해당되는 왜곡 영상의 좌표값을 계산하므로, 앞서 전방향 맵핑 방법에서의 홀 발생과 같은 단점을 제거할 수 있다.

본 실시예에의 왜곡 계수 추출부(220)는 왜곡 계수를 구하기 위한 렌즈 왜곡 모델식으로 다음 식(1)을 이용한다.

R_C = R_D(1+kR² _D), 0 < k ≤ (a-1)/R² _DM ......................식(1)

여기서, R_C 및 R_D는 보정 영상 및 왜곡 영상의 중심으로부터의 좌표거리이고, R_DM는 왜곡 영상의 중심으로부터의 최외각까지의 최대 좌표거리이며, k는 왜곡계수이고 a는 2 이상의 상수이다.

이러한 렌즈 왜곡 모델식은 기존 방법의 잡음(noise)에 따른 오류를 제거하기 위해, 자동 왜곡 추정방법(auto-estimation method)을 배제하고 선험적으로 측정된 일정한 범위 내에서 최적의 왜곡 계수를 수동으로 측정함으로써, 구해질 수 있다. 즉, 이러한 왜곡 계수의 추출은 미리 정의된 왜곡계수의 측정 범위 내에서 수동 조절을 통해, 광각 렌즈를 통해 보여지는 사물이 인간이 인식하는 관점과 일치하는 최적의 왜곡계수를 구하는 식으로 수행된다.

렌즈 왜곡 모델식은 정교한 왜곡 보정을 위해 다수의 왜곡계수가 포함된 고차항으로 정의할 수 있지만, 측정될 왜곡계수의 증가로 인한 수치연산의 오류가 발생할 수 있다. 따라서, 본 방법에서는 하나의 왜곡 계수만을 이용하여 렌즈왜곡을 측정하게 되며, 방사 왜곡의 경우 하나의 왜곡계수만으로도 충분히 모델링될 수 있다는 것을 보인다. 식(1)을 통해 알 수 있듯이, 본 실시예의 렌즈 왜곡 모델식은 하나의 왜곡 계수만을 포함한다.

한편, 본 발명에서는 왜곡 모델을 방사형 왜곡으로 가정하므로 최적의 왜곡계수는 양수가 되며 최대값은 R_D와 a에 의해 결정된다. 따라서, 최적의 왜곡계수는 정의된 범위 내에서 식(1)에 따라 수동 조절을 통해 추출될 수 있다.

전술한 방법을 통해 최적의 왜곡 계수가 추출된 경우, 왜곡 보정부(240)는 추출된 왜곡 계수를 이용하여 영상을 역방향 매핑 방법을 이용하여 보정한다. 그러나 전방향 맵핑 방법의 단점을 제거하기 위해 역방향 맵핑 방법을 사용하더라도 직선성분들에 대한 계단현상(jagged-edge artifacts)을 제거할 수 없다. 따라서 본 실시예의 왜곡 보정부(240)는 계단현상을 제거하기 위해 4개의 최근접(nearest neighbors) 픽셀의 가중치 합(weighted sum) 이용한 양선형 보간법(bilinear interpolation)을 적용하여 왜곡 보정을 수행한다.

한편, 곡선 조절부(260)는 앞서 왜곡 보정부(240)를 통한 보정 영상의 외곽 부분의 화질저하 현상을 최소화시키는 기능을 한다. 왜곡 보정과정에서의 결과 영상, 즉 보정 영상의 크기는 원 영상인 왜곡 영상보다 크며, 렌즈의 화각의 증가에 따라 보정 영상의 영상 크기는 증가한다. 또한, 방사형 왜곡은 영상의 이상적인 좌표에서 바깥쪽으로 변위를 발생시키므로 보정에 따른 보정 영상의 바깥쪽 외곽부분에서 화질저하, 즉 블러링(bluring) 현상이 뚜렷해진다. 따라서 곡선 조절부(260)는 식(1)에서 R_C 와 R_D의 상관관계에 대한 방사 왜곡 곡선을 이용하여 화질저하 현상을 개선 시킨다, 그에 대한 설명은, 도 4 이하에 대한 설명부분에서 좀더 상세히 설명한다.

도 4는 왜곡 영상 좌표에 대한 보정 영상 좌표를 보여주는 방사 왜곡 곡선(Radial distortion curve) 그래프이다.

도 4를 참조하면, 짙은 곡선이 식(1)에 따른 방사 왜곡 곡선으로서, 보정 영상의 좌표 R_C가 중심에서 멀어질수록 확대되고 있음을 알 수 있다. 한편, 점선은 가장 이상적인 보정 영상에 대한 그래프 또는 실제 좌표에 대한 그래프로서, 도시된 바와 같이 중심에서의 거리에 상관없이 R_C 와 R_D가 동일하게 나타남을 알 수 있다. 따라서, 이러한 방사 왜곡 곡선(Radial distortion curve)을 그대로 이용하여, 왜곡 영상을 보정하게 되면 화면의 외곽 부분에서의 화질 저하 현상은 필수적으로 수반되게 된다.

도 5는 도 4의 방사 왜곡 곡선에 대한 곡선 조절을 하는 원리를 보여주는 그래프이다.

도 5를 참조하면, 앞서 언급한 외곽 부분에서의 화질 저하 현상을 개선하기 위하여, 방사 왜곡 곡선의 외곽부분을 조절하게 된다. 그래프 상, 짙은 직선이 앞서 원래의 방사 왜곡 곡선이며, 점선이 조절된 방사 왜곡 곡선이다. 이러한, 곡선 조절(curve fitting)은 방사 왜곡 곡선의 한 점, 즉 변곡점을 기준으로 복수 개의 좌표점들을 선택하고 적절한 삼차방정식을 이용하여 조절함으로써, 수행될 수 있다.

도 6a 및 6b는 본 발명의 왜곡 보정 방법을 통해 개선된 패턴 영상 및 일반 영상에 대한 사진들이다.

도 6a 및 도 6b를 통해 알 수 있듯이, 본 발명에 따른 영상처리 장치는 왜곡 보정 방법을 통해, 도 1a 및 1b의 광각 렌즈에 의해 발생한 방사 왜곡에 따른 왜곡 영상이 거의 실제와 같은 영상으로 보정되고 있음을 확인할 수 있다.

도 7은 도 4의 방사 왜곡 곡선에 대한 곡선 조절을 좀더 상세하게 설명하기 위한 그래프이다.

도 7을 참조하면, 앞서, 도 5에서 보여주었던 곡선 조절을 좀더 정밀하게 수행하기 위하여 삼차 방정식을 변형시키면서 곡선 조절을 하는 원리를 보여주고 있다. 여기서, 점으로 표시된 부분이 선택된 변곡점이다. 한편, 1이 원래의 방사 왜곡 곡선이며, 2, 3, 및 4 각각은 아래의 식(2), 식(3), 및 식(4)의 삼차 방정식을 이용한 곡선 조절을 통해 보정된 방사 왜곡 곡선들이다.

R_D=(1.0 x 10^-9) x R³ _C - 0.000248 x R² _C + 0.555 x R_C + 79 .........식(2)

R_D=(-1.0 x 10^-20) x R³ _C - (7.8 x 10^-5) x R² _C + 0.43 x R_C + 105 ....식(3)

R_D=(-1.37 x 10^-6) x R³ _C + 0.00367 x R² _C - 2.16 x R_C + 634 ........식(4)

도 8a ~ 8e는 왜곡 영상 및 도 7의 방사 왜곡 곡선에 따른 보정 영상을 보여주는 사진들이다. 여기서, 8a는 광각 렌즈에 의해 발생한 왜곡된 일반 영상에 대한 사진이고, 8b는 원래의 방사 왜곡 곡선에 따라 보정된 일반 영상에 대한 사진이다. 한편, 8c는 도 7의 곡선 2에 의한 곡선 조절을 통해 보정된 일반 영상에 대한 사진이고, 8d는 곡선 3에 의한 곡선 조절을 통해 보정된 일반 영상에 대한 사진이며, 8e는 곡선 4에 의한 곡선 조절을 통해 보정된 일반 영상에 대한 사진이다.

이와 같이 여러 가지 곡선 조절을 통해, 영상의 외곽부분의 화질을 개선할 수 있는데, 도 8b에 비해, 도 8c의 영상이 외곽부분에서 화질이 확연히 개선되고 있음을 확인할 수 있다. 한편, 도 8d나 8d의 경우, 외곽 부분에서 화질은 도 8c에 비해 더욱 개선되고 있지만, 다시 영상이 왜곡되고 있음을 확인할 수 있다.

따라서, 본 실시예의 영상처리 장치는 곡선 조절을 위한 적절한 삼차 방정식을 찾아내고, 그에 따라 가장 적절한 곡선조절을 수행함으로써, 인간의 인식관점에 적합하면서도 외곽부분의 블러링이 제거된 최적의 영상으로 보정할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 영상 왜곡 보정 방법을 보여주는 흐름도이다.

도 9를 참조하면, 먼저, 광각 렌즈로부터 영상을 받아들이게 된다(S100). 전 술한 바와 같이 광각 렌즈로 영상을 받아들이게 되면, 영상 왜곡, 예컨대 방사 왜곡이 필연적으로 뒤따르게 된다. 이러한 방사 왜곡에 발생한 영상을 보정하기 위하여, 왜곡 계수를 추출한다(S200). 왜곡 계수는 적절한 왜곡 계수 모델식을 이용하여 미리 정의된 왜곡계수의 측정 범위 내에서 수동 조절을 통해, 광각 렌즈를 통해 보여지는 사물이 인간이 인식하는 관점과 일치하도록 최적의 왜곡계수를 구하는 식으로 수행될 수 있다. 예컨대, 왜곡 계수 모델식은 상기 식(1)을 이용할 수 있다.

최적의 왜곡 계수가 추출된 경우, 역방향 맵핑 방법을 통해 영상의 왜곡을 보정한다(S300). 이때, 역방향 맵핑 방법을 통해 나타나는 계단 현상은 양선형 보간법을 이용하여 제거한다.

이와 같이 왜곡 영상을 보정한 뒤, 보정된 영상에서 나타나는 외곽 부분의 블러링을 제거한다(S400). 블러링 제거는 전술한 바와 같이 곡선 조절을 통해 수행되는데, 예컨대, 변곡점을 기준으로 복수 개의 좌표점들을 선택하고 적절한 삼차방정식을 이용하여 조절할 수 있다.

왜곡 영상에 대한 블러링 제거까지 끝난 후에는 보정된 영상을 멀티미디어 프로세서를 거쳐 디스플레이부에 디스플레이 한다(S500).

본 실시예의 왜곡 보정 방법은 먼저 수동적으로 일정 범위 내의 최적의 왜곡 계수를 추출하고, 추출된 왜곡 계수를 이용한 역방향 맵핑, 양선형 보간법을 이용한 계단 현상제거 및 곡선 조절을 위한 외곽부분의 블러링 현상 제거 과정을 수행함으로써, 광각 렌즈로부터 발생한 왜곡 영상을 인간의 인식 관점에 적합한 최적의 영상으로 보정하게 할 수 있다.

지금까지, 본 발명을 도면에 표시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1a 및 1b는 광각 렌즈에 의한 방사 왜곡을 패턴 영상 및 일반 영상을 통해 보여주는 사진들이다.

도 2a 및 2b는 광각 렌즈에 의한 방사 왜곡을 설명하기 위한 좌표 평면도들이다.

도 6a 및 6b는 본 발명의 왜곡 보정 방법을 통해 개선된 패턴 영상 및 일반 영상에 대한 사진이다.

도 8a ~ 8e는 왜곡 영상 및 도 7의 방사 왜곡 곡선에 따른 보정 영상을 보여주는 사진들이다.

Claims

광각 렌즈로 영상을 받아들이는 단계;

상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 단계;

상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 단계; 및

상기 보정된 영상을 디스플레이하는 단계;를 포함하고,

상기 왜곡 계수 추출 단계에서, 상기 왜곡 계수 추출은 렌즈 왜곡 모델식을 이용하여 정의된 왜곡계수 범위 내에서 수동 조절을 통해 최적의 왜곡계수를 구함으로써, 이루어지며,

상기 렌즈 왜곡 모델식은,

보정 영상의 중심으로부터의 좌표거리(RC)가 왜곡 영상의 중심으로부터 좌표거리(RD)에 왜곡 영상의 좌표거리(RD)의 3승을 더한 값과 동일한 것으로 나타나고, 상기 왜곡 영상의 좌표 거리(RD)의 3승에 대한 계수는 왜곡 계수(k)이고, 상기 왜곡 계수(k)는 0보다 크고 왜곡 영상의 중심으로부터 최외각까지의 최대 좌표거리(RDM)의 제곱 분의 a-1보다 작거나 같고, a는 2 이상의 상수인 것을 특징으로 하는 영상 왜곡 보정 방법.
제1 항에 있어서,

상기 영상 왜곡 보정 방법은 화각 120 °이하의 어안 렌즈(fish-eye lens)에 의해 발생하는 영상의 왜곡을 보정하는 것을 특징으로 하는 영상 왜곡 보정 방법.
삭제
제1 항에 있어서,

상기 왜곡을 보정하는 단계에서, 영상 왜곡에 대한 보정은 상기 추출된 왜곡 계수를 이용하여 영상을 역방향 맵핑 방법(backward mapping method)을 통해 보정하는 것을 특징으로 하는 영상 왜곡 보정 방법.
삭제
제1 항에 있어서,

상기 영상 왜곡 보정 단계에서, 상기 왜곡 보정은 상기 왜곡 계수를 이용한 방사 왜곡(radial distortion)에 대한 교정인 것을 특징으로 하는 영상 왜곡 보정 방법.
제6 항에 있어서,

상기 영상 왜곡 보정 단계는,

상기 교정을 통해 발생하는 계단현상을 양선형 보간법(bilinear interpolation method)을 이용하여 제거하는 것을 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법.
제6 항에 있어서,

상기 영상 왜곡 보정 단계는,

상기 교정된 영상의 외곽부분의 블러링(bluring) 효과를 최소화하기 위하여 외곽부분의 곡선을 조절하는 것을 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법.
제8 항에 있어서,

상기 외곽 부분의 곡선 조절은 상기 식에 의한 R_C 대 R_D의 그래프 상에서 선택된 변곡점을 기준으로 복수 개의 좌표점들을 이용하여 곡선 조절(curve fitting)을 함으로써, 이루어지는 것을 특징으로 하는 영상 왜곡 보정 방법.
제9 항에 있어서,

상기 곡선 조절은 삼차방정식을 이용하여 수행하는 것을 특징으로 하는 영상 왜곡 보정 방법.
영상(image) 받아들이는 광각 렌즈(wide-angle lens);

상기 광각 렌즈에 의해 발생한 영상의 왜곡에 대한 왜곡 계수(distortion coefficient)를 추출하는 왜곡 계수 추출부(distortion coefficient extraction part) 및 상기 추출된 왜곡 계수를 이용하여 상기 영상의 왜곡을 보정하는 왜곡 보정부(distortion correction part)를 구비한 영상 처리부(image processor part); 및

상기 보정된 영상을 디스플레이하는 디스플레이부;를 포함하고,

상기 왜곡 계수 추출부는 렌즈 왜곡 모델식을 이용하여 정의된 왜곡계수 범위 내에서 수동 조절을 통해 최적의 왜곡계수를 구하며,

상기 렌즈 왜곡 모델식은

보정 영상의 중심으로부터의 좌표거리(RC)가 왜곡 영상의 중심으로부터 좌표거리(RD)에 왜곡 영상의 좌표거리(RD)의 3승을 더한 값과 동일한 것으로 나타나고, 상기 왜곡 영상의 좌표 거리(RD)의 3승에 대한 계수는 왜곡 계수(k)이고, 상기 왜곡 계수(k)는 0보다 크고 왜곡 영상의 중심으로부터 최외각까지의 최대 좌표거리(RDM)의 제곱 분의 a-1보다 작거나 같고, a는 2 이상의 상수인 것을 특징으로 하는 영상처리 장치.
제11 항에 있어서,

상기 광각 렌즈는 화각 120 °이하의 어안 렌즈(fish-eye lens)를 포함하는 것을 특징으로 하는 영상처리 장치.
삭제
삭제
제11 항에 있어서,

상기 왜곡 보정부는 상기 왜곡 계수를 이용하여 역방향 맵핑 방법(backward mapping method)을 통해 상기 광각 렌즈의 방사 왜곡(radial distortion)을 교정하는 것을 특징으로 하는 영상처리 장치.
제15 항에 있어서,

상기 왜곡 보정부는 상기 교정을 통해 발생하는 계단현상을 양선형 보간법(bilinear interpolation method)를 이용하여 제거하는 것을 특징으로 하는 영상처리 장치.
제15 항에 있어서,

상기 영상 처리부는

상기 왜곡 보정부에서 교정된 영상의 외곽부분의 블러링(bluring) 효과를 최소화하기 위한 외곽부분의 곡선을 조절하는 곡선 조절부(curve fitting part)를 포함하는 것을 특징으로 하는 영상처리 장치.
제17 항에 있어서,

상기 곡선 조절부는

상기 식에 의한 R_C 대 R_D의 그래프 상에서 선택된 변곡점을 기준으로 복수 개의 좌표점들을 선택하고 삼차방정식을 이용하여 곡선 조절(curve fitting)을 함으로써, 상기 외곽 부분의 곡선을 조절하는 것을 특징으로 하는 영상처리 장치.