KR101626447B1

KR101626447B1 - 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체

Info

Publication number: KR101626447B1
Application number: KR1020090132823A
Authority: KR
Inventors: 한호석; 최규열
Original assignee: 삼성전자주식회사
Priority date: 2009-12-29
Filing date: 2009-12-29
Publication date: 2016-06-01
Anticipated expiration: 2029-12-29
Also published as: US20110157432A1; US8754965B2; KR20110076185A

Abstract

본 발명의 실시예들은, 복수의 색수차 보정 처리들 사이에 처리된 데이터를 온-더-플라이 방식으로 전달하고, 색수차 보정 처리와 렌즈 왜곡 처리 사이에 구조적 해저드가 발생하지 않도록 구성한, 영상 처리 장치, 영상 처리 방법, 및 상기 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체에 관한 것이다.

Description

렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체{An apparatus, a method, a computer-readable medium storing a computer program of removing lens distortion and chromatic aberration}

본 발명의 실시예들은 입력 영상으로부터 렌즈 왜곡과 색수차를 보정하는 영상 처리 장치, 영상 처리 방법, 및 상기 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체에 관한 것이다.

촬영 장치를 이용하여 촬영된 영상들은, 렌즈를 통해 입사된 빛을 촬상 소자에서 전기적인 신호로 변환하여, 촬영된다. 렌즈는 촬상 소자에서 입사광의 초점이 맞도록 그 위치가 조절된다. 초점이 맞지 않는 경우, 피사체가 흐릿하게 촬영된다.

렌즈를 통과한 빛은 굴절되면서, 빛의 경로가 변하는데, 이때 초점이 맺히는 면은 평면이 아닌 곡면으로 나타난다. 따라서 평면이거나, 평면에 가까운 촬상 소자의 수광면에서는 렌즈에 의한 왜곡이 일어나며, 이러한 현상을 렌즈 왜곡이라고 한다.

입사광은 모든 파장의 빛을 포함하고, 빛은 파장에 따라서 렌즈에서의 굴절 률이 다르다. 즉, 파장이 길수록 굴절률이 작아지고, 파장이 짧을수록 굴절률이 커진다. 이로 인해, 서로 다른 파장의 빛들은 렌즈를 통과하면서, 파장에 따라서 그 경로가 달라지고, 초점이 맞는 위치가 파장별로 달라진다. 이러한 현상으로 인하여, 촬영 영상에서 초점이 맞지 않거나 색이 번지는 현상이 나타날 수 있으며, 이를 색수차라고 한다.

본 발명의 실시예들은 복수의 색수차 보정 처리와, 렌즈 왜곡 보정을 수행함에 있어서, 하드웨어적으로 각 모듈을 재구성하여, 자원 충돌로 인한 구조적 해저드(structural hazard)를 감소시키고, 메모리 접속(memory access) 동작을 줄여서, 영상 처리 시간을 감소시키기 위한 것이다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하고, 상기 입력 영상으로부터 색수차를 보정하는 복수의 색수차 보정부들을 포함하는 제1 모듈; 상기 제1 모듈과 하드웨어적으로 독립되어 구성되고, 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부를 포함하는 제2 모듈; 데이터를 저장하는 메모리; 및 상기 제1 모듈, 상기 제2 모듈, 및 상기 메모리에 연결되어, 상기 제1 모듈, 상기 제2 모듈, 및 상기 메모리 사이에 데이터를 전달하는 버스를 포함하고, 상기 제1 모듈 내의 상기 복수의 색수차 보정부들 사이에서, 데이터가 온-더-플라이(on-the-fly) 방식으로 전달되고, 상기 제1 모듈은 상기 제1 모듈에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로 처리된 데이터를 출력하며, 상기 제2 모듈은 상기 제1 모듈로부터 한 블록의 상기 입력 영상의 데이터가 출력되면, 렌즈 왜곡 보정을 수행한다.

상기 복수의 색수차 보정부들은, 렌즈 종류 및/또는 렌즈의 위치에 따라 결 정되는 색수차 보정 파라미터를 이용하여 입력 영상으로부터 색수차를 보정하는 제1 색수차 보정부; 및 상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데이터의 대비(contrast)에 기초하여, 상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데이터에 대해 색수차를 보정하는 제2 색수차 보정부를 포함하고, 상기 렌즈 왜곡 보정부는, 상기 제1 모듈에서 처리된 상기 입력 영상으로부터 렌즈 왜곡을 보정한다.

상기 제1 색수차 보정부는, 상기 색수차 보정 파라미터를 이용하여, 상기 입력 영상에 대하여 색수차 보정을 위한 아핀(Affine) 변환을 수행하는 아핀 변환부; 및 상기 아핀 변환된 상기 입력 영상의 데이터에 대해 보간(interpolation) 처리하는 보간부를 포함한다.

상기 입력 영상은 N(N은 자연수)차원 영상이고, 상기 아핀 변환부는, N차원에 대한 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행할 수 있다. 이로 인해, 상기 제1 색수차 보정부는, 2개의 라인 메모리(line memory)를 이용하고, 상기 라인 메모리는 상기 입력 영상의 한 개의 행(row) 또는 열(column)에 해당하는 픽셀을 저장하는 저장 공간을 의미하며, 상기 입력 영상의 처리된 데이터를 1개의 라인 메모리 단위로 온-더-플라이 방식으로 출력한다.

또한, 상기 제1 색수차 보정부로 입력되는 상기 입력 영상은 RGB 데이터 포맷을 갖고, 상기 제1 색수차 보정부는, RGB 각각에 대해 독립적으로 색수차 보정을 수행하며, G 데이터는 색수차 보정을 수행하지 않고, 바이패스(bypass)시킨다.

상기 제1 모듈은, 상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데 이터에 화이트 밸런스 처리 및 색보정 처리 중 적어도 하나의 처리를 수행하는 중간 처리부를 더 포함하고, 상기 제2 색수차 보정부는, 상기 중간 처리부에서 처리된 상기 입력 영상의 데이터에 대해 색수차 보정을 수행할 수 있다.

상기 제2 색수차 보정부는, 입력된 상기 입력 영상의 데이터를 YCbCr 데이터 포맷으로 변환하는 데이터 변환부; 상기 입력 영상의 데이터로부터, 대비 정보에 기초하여 색수차 발생 정도를 측정하는 색수차 측정부; 상기 색수차 발생 정도에 따라 상기 입력 영상의 데이터로부터 색수차를 보정하는 색수차 제거부; 및 상기 색수차 제거부에서 보정된 영상과, 상기 입력 영상의 원본 영상을 선형 결합하는 영상 합성부를 포함한다.

상기 제1 모듈과 상기 제2 모듈 사이에서 전달되는 데이터는, 상기 버스 및 상기 메모리를 경유하여 전달된다.

본 발명의 일 실시예에 따른 영상 처리 방법은, 렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하고, 온-더-플라이(on-the-fly) 방식으로 데이터를 전달하면서, 상기 입력 영상에 대해 복수의 색수차 보정 처리를 수행하는 색수차 보정 단계; 상기 색수차 보정 단계에서 처리된 데이터를, 상기 색수차 보정 단계에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로, 메모리에 저장하는 단계; 및 상기 메모리에 저장된 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정 단계를 포함하고, 상기 색수차 보정 단계와 상기 렌즈 왜곡 보정 단계는 하드웨어적으로 독립되어 구성된 자원을 이용하여 수행되고, 상기 렌즈 왜곡 보정 단계는, 상기 색수차 보정 단계에서 한 블록의 상기 입력 영 상의 데이터의 색수차 보정 처리가 완료되면, 상기 색수차 보정된 한 블록의 상기 입력 영상의 데이터에 대해, 렌즈 왜곡 보정을 수행한다.

상기 색수차 보정 단계는, 렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 상기 입력 영상으로부터 색수차를 보정하는 제1 색수차 보정 단계; 및 상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터의 대비(contrast)에 기초하여, 상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터에 대해 색수차를 보정하는 제2 색수차 보정 단계를 포함한다.

상기 제1 색수차 보정 단계는, 상기 색수차 보정 파라미터를 이용하여, 상기 입력 영상에 대하여 색수차 보정을 위한 아핀(Affine) 변환을 수행하는 아핀 변환 단계; 및 상기 아핀 변환된 상기 입력 영상의 데이터에 대해 보간(interpolation) 처리하는 보간 단계를 포함한다.

상기 입력 영상은 N(N은 자연수)차원 영상이고, 상기 아핀 변환 단계는, N차원에 대한 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행한다. 이로 인해, 상기 제1 색수차 보정 단계는, 2개의 라인 메모리(line memory)를 이용하고, 상기 라인 메모리는 상기 입력 영상의 한 개의 행(row) 또는 열(column)에 해당하는 픽셀을 저장하는 저장 공간을 의미하며, 상기 입력 영상의 처리된 데이터를 1개의 라인 메모리 단위로 온-더-플라이 방식으로 출력한다.

또한, 상기 제1 색수차 보정 단계에서 처리되는 상기 입력 영상은, RGB 데이터 포맷을 갖고, 상기 제1 색수차 보정 단계는, RGB 각각에 대해 독립적으로 색수차 보정을 수행하며, G 데이터는 색수차 보정을 수행하지 않고, 바이패스(bypass) 시킨다.

상기 영상 처리 방법은, 상기 제1 색수차 보정 단계 이후에, 상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터에 화이트 밸런스 처리 및 색보정 처리 중 적어도 하나의 처리를 수행하는 중간 처리 단계를 더 포함하고, 상기 제2 색수차 보정 단계는, 상기 중간 처리 단계에서 처리된 상기 입력 영상의 데이터에 대해서 색수차 보정을 수행한다.

상기 제2 색수차 보정 단계는, 입력된 상기 입력 영상의 데이터를 YCbCr 데이터 포맷으로 변환하는 데이터 변환 단계; 상기 입력 영상의 데이터로부터, 대비 정보에 기초하여 색수차 발생 정도를 측정하는 색수차 측정 단계; 상기 색수차 발생 정도에 따라 상기 입력 영상의 데이터로부터 색수차를 보정하는 색수차 제거 단계; 및 상기 색수차 제거 단계에서 보정된 영상과, 상기 입력 영상의 원본 영상을 선형 결합하는 영상 합성 단계를 포함한다.

본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는, 렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은, 온-더-플라이(on-the-fly) 방식으로 데이터를 전달하면서, 상기 입력 영상에 대해 복수의 색수차 보정 처리를 수행하는 색수차 보정 코드 부분; 상기 색수차 보정 코드 부분에서 처리된 데이터를, 상기 색수차 보정 코드 부분에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로, 메모리에 저장하는 코드 부분; 및 상기 메모리에 저장된 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정 코드 부분을 포함하고, 상기 색수차 보정 코드 부분 과 상기 렌즈 왜곡 보정 코드 부분은 하드웨어적으로 독립되어 구성된 자원을 이용하여 수행되고, 상기 렌즈 왜곡 보정 코드 부분은, 상기 색수차 보정 코드 부분에서 한 블록의 상기 입력 영상의 데이터의 색수차 보정 처리가 완료되면, 상기 색수차 보정된 한 블록의 상기 입력 영상의 데이터에 대해, 렌즈 왜곡 보정을 수행한다.

본 발명의 실시예들에 따르면, 복수의 색수차 보정 처리동안, 온-더-플라이 방식으로 데이터를 전달하여, 복수의 색수차 보정 처리 동안 메모리 기록-판독 동작을 감소시켜, 영상 처리 시간을 감소시키고, 불필요한 메모리 사용을 감소시키며, 색수차 보정 처리에서 점유하는 버스의 대역폭을 감소시키는 효과가 있다.

또한, 본 발명의 실시예들에 따르면, 색수차 보정 처리를 포함하는 모듈과, 렌즈 왜곡 보정 처리를 포함하는 모듈을, 하드웨어적으로 독립되게 구성하여, 색수차 보정 처리와 렌즈 왜곡 보정 처리 간에 구조적 해저드가 제거되어, 영상 처리 시간을 감소시키는 효과가 있다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사 용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 촬영 기능을 구비한 디지털 촬영 장치로서 구현될 수 있다. 또한, 영상 처리 장치(100)로 입력되는 영상은 디지털 촬영 장치에서 촬영된 영상일 수 있다. 도 1에서는 영상 처리 장치(100)가 디지털 촬영 장치로 구현된 경우, 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 개략적인 구조를 설명한다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 조리개(111), 조리개 구동부(112), 렌즈(113), 렌즈 구동부(115), 촬상 소자(118), 촬상 소자 제어부(119), 아날로그 신호 처리부(120), 디지털 신호 처리부(130), 메모리(140), 저장/판독 제어부(150), 저장 매체(152), CPU(160), 조작부(180), 디스플레이 제어부(190), 및 디스플레이부(192)를 포함할 수 있다.

영상 처리 장치(100)의 전체 동작은 CPU(100)에 의해 통괄된다. CPU(100)는 조리개 구동부(112), 렌즈 구동부(115), 촬상 소자 제어부(119) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.

조리개(111)는 조리개 구동부(112)에 의해 그 개폐 정도가 조절되며, 촬상 소자(118)로 입사되는 광량을 조절한다.

렌즈(113)는 줌렌즈, 포커스 렌즈 등 복수의 렌즈들을 구비할 수 있다. 렌즈(113)는 렌즈 구동부(115)에 의해 그 위치가 조절된다. 렌즈 구동부(115)는 CPU(160)에서 제공된 제어 신호에 따라 렌즈(113)의 위치를 조절한다.

조리개(111) 및 렌즈(113)를 투과한 광학 신호는 촬상 소자(118)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(118)는 촬상 소자 제어부(119)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(118)를 제어할 수 있다.

촬상 소자(118)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(118)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.

아날로그 신호 처리부(120)는 촬상 소자(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

아날로그 신호 처리부(120)에 의해 처리된 신호는 메모리(140)를 거쳐 디지털 신호 처리부(130)에 입력될 수도 있고, 메모리(140)를 거치지 않고 디지털 신호 처리부(130)에 입력될 수도 있으며, 필요에 따라 CPU(160)에도 입력될 수도 있다. 여기서 메모리(140)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리 부(130)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다.

디지털 신호 처리부(130)로부터 출력된 이미지 데이터는 메모리(140)를 통하여 또는 직접 디스플레이 제어부(190)에 전달된다. 디스플레이 제어부(190)는 디스플레이부(192)를 제어하여 디스플레이부(192)에 이미지를 디스플레이한다.

또한, 디지털 신호 처리부(130)로부터 출력된 이미지 데이터는 메모리(140)를 통하여 또는 직접 저장/판독 제어부(150)에 입력되는데, 저장/판독 제어부(150)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(152)에 저장한다. 물론 저장/판독 제어부(150)는 저장매체(152)에 저장된 이미지 파일로부터 이미지에 관한 데이터를 판독하고, 이를 메모리(140)를 통해 또는 다른 경로를 통해 디스플레이 제어부(150)에 입력하여 디스플레이부(192)에 이미지가 디스플레이되도록 할 수도 있다. 저장매체(152)는 탈착 가능한 것일 수도 있고 영상 처리 장치(100)에 영구장착된 것일 수 있다.

조작부(180)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(180)는 정해진 시간 동안 촬상 소자(118)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 모드, 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 버튼, 키보드, 터치 패드, 터치스크 린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 예시적인 구조를 도시한 것이며, 영상 처리 장치(100)의 세부 구조는 실시예들에 따라 달라질 수 있다. 따라서 본 발명의 범위는 도 1에 도시된 영상 처리 장치(100)의 구조에 의하여 제한되지 않는다.

도 2a 및 도 2b는 렌즈 왜곡이 발생하는 원리를 나타낸 도면이다.

렌즈 왜곡(Lens distortion, LD)은 입사광이 렌즈를 통과하면서, 도 2a에 도시된 바와 같이 구면의 초점면이 생겨서, 촬영 영상에 렌즈로 인한 왜곡이 생기는 현상이다. 이때, 촬영 영상의 중심으로부터 가장자리로 갈수록 렌즈 왜곡으로 인해 영상이 휘어지는 정도가 심해진다. 또한, 광각 또는 망원 렌즈에서 일반 렌즈보다 렌즈 왜곡이 더 심하게 나타난다.

초점면은 도 2a에 도시된 바와 같이, 구면으로 나타나며, 구면의 초점면은 Petzval field surface라고 불린다. 그런데 광학 신호를 받아들이는 촬상 소자(118)는 평면이기 때문에, 촬상 소자(118)에서 생성된 영상에서 뒤틀림(curvature) 현상이 나타나, 렌즈 왜곡이 발생한다.

또한, 도 2b에 도시된 바와 같이, 파장에 따라 초점면이 다르게 나타난다. 파장이 짧을수록, 렌즈(113)에 대한 굴절률이 커지고, 이로 인해 초점면과 렌즈(113) 사이의 거리가 짧아지며, 초점면의 곡률이 커진다. 따라서 도 2b에 도시된 바와 같이, 파장이 짧은 블루(blue) 계열의 빛은, 파장이 긴 레드(red) 계열의 빛 에 비해서 초점면과 렌즈(113) 사이의 거리가 짧고, 곡률이 크다.

도 3은 렌즈 왜곡 보정의 원리를 나타낸 도면이다.

렌즈 왜곡 보정(Lens distortion correction, LDC)은 렌즈 왜곡에 의해서 휘어진 영상을 펴주는 것이다. 도 3에 도시된 바와 같이, 렌즈 왜곡에 의해 휘어진 보정 전의 영상에, 아핀 변환(Affine transform)과 같은 처리를 적용하여, 각 픽셀을 이동시켜, 렌즈 왜곡을 보정할 수 있다. 렌즈 왜곡에 의해, 픽셀(X,Y)가 픽셀(X',Y')로 이동하였다고 가정하면, 렌즈 왜곡 보정 전과 보정 후의 영상에서 서로 대응되는 픽셀 사이의 관계는 수학식 1과 같이 나타낼 수 있다.

X' = f(X)

Y' = f(Y)

Pixel(X,Y) = Pixel(X',Y')

렌즈 왜곡을 보정하기 위해서, 함수 f의 역함수를 이용하여, 보정 전의 영상의 각 픽셀(Pixel(X',Y'))이, 보정 후의 영상에서 어느 픽셀에 대응되는지를 나타내는 좌표값(X,Y)을 구할 수 있다. 이를 위해 아핀 변환의 각 파라미터 값을 구하고, 보정 전의 픽셀 좌표들(X',Y')에 대해 아핀 변환을 적용하여, 보정 후의 영상을 구할 수 있다.

도 4a는 색수차가 발생하는 원리를 나타낸 도면이다.

색수차는 파장에 따른 굴절률의 차이에 의해 생기는 수차를 의미한다. 도 4a에 도시된 바와 같이, 파장이 길수록 렌즈(113)를 통과할 때 굴절률이 작아서, 초 점 거리가 길어지고, 파장이 짧을수록 렌즈(113)를 통과할 때 굴절률이 커서, 초점 거리가 짧아진다. 이러한 초점 거리의 차이 때문에 색수차 현상이 일어난다. 일반적으로 색수차는 서로 다른 색을 갖는 두 영역 사이의 대비(contrast)가 크면 그 현상이 심해지고, 색수차가 발생하면, 보라색이 번지는 현상이 빈번하게 나타난다. 상기 색수차 현상은 파장에 따라 초점 거리가 서로 다르게 나타남으로 인해 발생하는 축상 색수차(Longitudinal CA) 현상과, 촬상 소자(118)에서 파장에 따라 사이즈가 다르게 결상됨으로 인해 나타나는 배율 색수차(Lateral CA) 현상을 포함한다.

도 4b는 축상 색수차를 설명하기 위한 도면이고, 도 4c는 배율 색수차를 설명하기 위한 도면이다.

축상 색수차는 파장에 따른 굴절률 차이 때문에, 초점거리가 달라짐으로 인해 생기는 현상이다. 굴절률은 파장이 길수록 작아진다. 따라서 파장이 긴 레드 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈(113)에서 멀리 잡히고, 파장이 짧은 블루 계열의 빛은 그린 계열의 빛에 비하여 초점이 렌즈(113)에 가깝게 잡힌다. 도 4b에 도시된 바와 같이, 촬상 소자(118)의 위치를 그린의 초점 거리에 맞춰서 결정하면, 블루 계열의 빛은 촬상 소자(118)보다 앞에서 초점이 잡혀서, 촬상 소자(118)에 역상이 생기거나 촬영된 영상에서 색이 번지게 된다. 또한 레드 계열의 빛은 촬상 소자(118)보다 뒤에 초점이 잡혀서, 촬영된 영상에서 색이 번지게 된다.

배율 색수차는 파장에 따라 굴절률이 서로 달라, 촬상 소자(118)에 결상되는 상의 크기가 달라지는 현상이다. 도 4c에 도시된 바와 같이 파장에 따라 굴절률이 서로 다름으로 인하여, 렌즈(113)를 통과한 각 파장의 빛들은 그 경로가 달라지고, 촬상 소자(115)에 도달했을 때, 결상된 피사체의 배율이 서로 달라, 촬영된 영상에서 피사체가 번지게 된다.

렌즈 왜곡과 색수차는 기본적으로 추가 보정 렌즈를 도입하여 보정될 수 있으나, 추가 보정 렌즈를 사용하는 경우, 비용이 증가하고 렌즈(113)의 두께가 두꺼워져 디지털 촬영 장치의 부피가 커지는 단점이 있다.

도 5는 본 발명의 일 실시예에 따른 디지털 신호 처리부(130) 및 메모리(140)를 도시한 도면이다.

본 발명의 일 실시예에 따른 디지털 신호 처리부(130)는 PP 모듈(510), 제1 모듈(520a), 제2 모듈(530), 및 DMA(540)를 포함한다. 본 실시예에 따르면, 앞서 지칭된 4개의 구성 요소들(510, 520a, 530, 및 540)은 하드웨어적으로 독립되어 구성된다. 따라서 상기 4개의 구성 요소들(510, 520a, 530, 및 540) 사이에는 구조적 해저드가 발생하지 않는다고 가정한다. 특히, 본 발명의 실시예들에 따르면, 제1 모듈(520a) 및 제2 모듈(530)이 하드웨어적으로 독립적으로 구성되어, 제1 모듈(520a)과 제2 모듈(530) 사이에 구조적 해저드가 발생하지 않는다. 만약, 제1 모듈(520a)과 제2 모듈(530)이 자원을 공유하여, 두 모듈(520a 및 530) 사이에 자원 충돌이 생긴다면, 제2 모듈(530)은 제1 모듈(520a)이 데이터를 처리하고 있을 때는, 데이터를 처리할 수 없어, 제1 모듈(520a)에서 데이터 처리가 끝날 때까지 기다려야 하고, 이로 인해 지연이 발생한다.

PP 모듈(510), 제1 모듈(520a), 및 제2 모듈(530)에서 처리되는 데이터는 입력 영상의 블록을 단위로 처리된다. 상기 블록은 예를 들면, 8*8, 16*16 등의 크기 의 입력 영상의 블록일 수 있다. 상기 블록들은 각 모듈들(510, 520a, 530)에서 한 사이클(cycle) 동안 처리된다. 각 모듈들(510, 520a, 530)은, RAW(read after write) 데이터 종속성(data dependency)을 갖는 다른 모듈로부터 입력 영상 전체가 처리되지 않더라도, 데이터 종속성을 갖는 상기 다른 모듈로부터, 한 블록의 데이터가 출력되면, 바로 해당 처리를 수행할 수 있다. 이는 각 모듈들(510a, 520a, 530)이 하드웨어적으로 독립되어 구성되었기 때문에 가능하다. 예를 들어, 제2 모듈(530)은 제1 모듈(520a)로부터 처리된 데이터를 처리한다고 할 때(즉, 제2 모듈(530)은 제1 모듈(520a)에 대해 RAW 종속성을 가짐), 제2 모듈(530)은 제1 모듈(520a)로부터 제1 블록의 데이터가 메모리(140)로 출력되면, 제1 모듈(520a)이 제1 블록을 처리한 사이클의 다음 사이클에, 제1 모듈(520a)로부터 출력된 제1 블록의 데이터를 처리한다.

제1 모듈(520a)은 복수의 색수차 보정부를 포함하며, 본 실시예에서는 제1 색수차 보정부(522), 중간 처리부(524), 및 제2 색수차 보정부(526)를 포함한다. 제1 모듈(520a) 내에서 처리된 데이터들은 온-더-플라이 방식으로 전달된다. 즉, 제1 색수차 보정부(522)는 온-더-플라이 방식으로 중간 처리부(524)에 처리된 데이터를 전달하고, 중간 처리부(524)는 온-더-플라이 방식으로 제2 색수차 보정부(526)에 처리된 데이터를 전달한다. 본 실시예에서는 제1 색수차 보정부(522)와 제2 색수차 보정부(526) 사이에 중간 처리부(524)가 삽입된 제1 모듈(520a)을 개시하였지만, 제1 모듈(520a)은 이러한 실시예로 한정되지 않으며, 제1 모듈(520a)이 복수의 색수차 보정부를 포함하면, 본 발명의 범위에 속한다고 할 것이다.

온-더-플라이 방식이라 함은, 데이터가 메모리(140)를 거치지 않고 바로 다음 구성 요소로 전달되는 방식을 의미한다. 데이터가 메모리(140)를 거쳐서 다음 구성 요소로 전달되는 경우, 메모리 접속 동작으로 인하여, 처리 시간(latency)에서 적어도 한 사이클의 지연이 발생하게 된다. 이에 반해, 온-더-플라이 방식에서는 메모리 접속 동작 없이 다음 구성 요소의 처리가 진행되기 때문에, 지연 사이클 없이 다음 구성 요소의 처리로 넘어갈 수 있다.

도 6a는 본 발명의 일 실시예에 따른 영상 처리 장치의 파이프라인(pipeline) 구조를 도시한 도면이고, 도 6b는 본 발명의 일 실시예에 대한 비교예의 파이프라인 구조를 도시한 도면이다. 도 6a 및 도 6b를 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치의 파이프라인 구조에서의 개선을 설명한다. 도 6a 및 도 6b에서 PP는 PP 모듈(510)의 처리, CAC1은 제1 색수차 보정부(522)의 처리, CAC2는 제2 색수차 보정부(526)의 처리, LDC는 렌즈 왜곡 보정부(532)의 처리를 의미한다. 입력 영상에 대한 처리는, PP, CAC1, CAC2, LDC의 순서로 수행된다고 가정한다. 도 6a 및 도 6b에서 각 Tile은 파이프라인의 사이클을 의미하며, 각 타일에서 한 블록의 데이터가 처리된다고 가정한다. 한 입력 영상은 각 모듈(510, 520a, 530)에서 8개의 Tile에 걸쳐서 처리된다고 가정한다. 상기 비교예에 따른 영상 처리 장치는, 제1 색수차 보정부(522)와 렌즈 왜곡 보정부(532)가 하드웨어적인 자원을 공유하여, 구조적 해저드가 발생한다. 또한, 상기 비교예에 따르면, 제1 색수차 보정부(522)와 제2 색수차 보정부(526)가 별도의 모듈로 구성되어, 제1 색수차 보정부(522) 및 제2 색수차 보정부(526) 사이에서 데이터가 버스(BUS) 및 메모 리(140)를 경유하여 전달된다.

우선 제1 블록이 Tile 1 동안, PP 모듈(510)에서 처리되고, 메모리(140)에 저장된다. 다음으로 PP 처리된 제1 블록의 데이터를 메모리(140)로부터 독출하여, CAC1이 수행된다(CAC1의 Tile 1). 본 발명의 일 실시예에 따르면, CAC1 처리가 끝난 제1 블록의 데이터는 온-더-플라이 방식으로 제2 색수차 보정부(526)로 전달되어, CAC1의 Tile 1과 CAC2의 Tile 1 사이에 지연이 발생하지 않는다(도 6a 참조). 반면에 상기 비교예에 따르면, CAC1 처리가 끝난 제1 블록의 데이터가 메모리(140)를 경유하여, 제2 색수차 보정부(526)로 전달되어, CAC1의 Tile 1과 CAC2의 Tile 1 사이에 제1 지연(Delay 1)이 발생한다(도 6b 참조).

본 발명의 일 실시예에 따르면, CAC2 처리가 끝난 제1 블록의 데이터는 다음으로 제2 모듈(530)의 렌즈 왜곡 보정부(532)로 전달되어 LDC 처리를 거치는데, 제2 모듈(530)은 제1 모듈(520a)과 하드웨어적으로 독립되어 있기 때문에, 제1 모듈(520a)에서 제2 블록의 데이터에 대한 처리(도 6a에서 CAC 1 및 CAC 2의 Tile 2)를 수행하는 중이라도, 제1 모듈(520a)과 병렬적으로 제2 모듈(530)에서 제1 블록에 대한 LDC 처리를 수행할 수 있다. 따라서 CAC2의 Tile 1과 LDC의 Tile 1 사이에는, 메모리 접속으로 인한 한 사이클의 지연만이 발생한다(도 6a 참조). 그러나 상기 비교예에서는, 제1 색수차 보정부(522)와 렌즈 왜곡 보정부(532)가 자원을 공유하기 때문에, 제1 색수차 보정부(522)가 동작중일 때는, 렌즈 왜곡 보정부(532)가 LDC 처리를 수행할 수 없다. 따라서 렌즈 왜곡 보정부(532)는 제1 색수차 보정부(522)가 상기 입력 영상에 대한 처리를 마칠 때까지 기다려야하므로, 8 사이클의 제2 지연(Delay2)이 발생한다(도 6b 참조).

살펴본 바와 같이, 본 발명의 실시예들에 따르면, 비교예에서 발생할 수 있는 제1 지연(Delay 1) 및 제2 지연(Delay 2)을 제거하여, 입력 영상에 대한 색수차 보정 및 렌즈 왜곡 보정을 위한 처리 시간을 현저하게 감소시킬 수 있다. 색수차 보정 및 렌즈 왜곡 보정은 디지털 촬영 장치의 라이브뷰 영상에 대하여 계속해서 수행되는 경우가 많기 때문에, 본 발명의 실시예들에 수반되는 처리 속도 절감 효과 및 버스에서 요구되는 대역폭을 절감하는 효과는 매우 크다.

이하, 디지털 신호 처리부(130)의 각 구성 요소의 동작에 관해서 설명한다.

디지털 신호 처리부(130)의 각 구성요소와 메모리(140)는 영상 처리 장치(100)에 구비된 버스(BUS)를 통하여 데이터를 교환한다. 따라서 디지털 신호 처리부(130)의 구성요소가 메모리(140)에 접속하기 위해서는 버스(BUS)를 통한다.

PP 모듈(510)은 입력 영상의 베이어 패턴 데이터에 대해 자동 초점(auto focusing), 자동 노출(auto exposure) 등의 처리를 수행하고, 처리된 데이터를 버스를 통하여 메모리(140)에 저장한다.

제1 색수차 보정부(522)는 입력 영상을 촬영 시 이용된 렌즈의 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여, 상기 입력 영상으로부터 색수차를 보정한다.

도 7a는 본 발명의 일 실시예에 따른 제1 색수차 보정부(522)의 동작을 나타낸 개념도이고, 도 7b는 본 발명의 일 실시예에 따른 제1 색수차 보정부(522)의 구조를 나타낸 도면이다.

제1 색수차 보정부(522)는 도 7a에 도시된 바와 같이, RGB 데이터 포맷의 입력 영상을 입력받아, RGB 각각에 대해 각각 아핀 변환 및 보간 처리를 하고, 다시 RGB 데이터 포맷의 영상을 출력할 수 있다. 이때, 촬상 소자(118)의 위치가 그린 계열의 빛의 초점 거리에 따라 결정된 경우, G 데이터에 대해서는 아핀 변환 및 보간 처리를 수행하지 않고, 바이패스(bypass)시킬 수 있다. 이하, G 데이터는 바이패스(bypass)시키는 실시예를 중심으로 설명한다.

도 7b에 도시된 바와 같이, 제1 색수차 보정부(522)는 R 채널과 B 채널에 대해 서로 독립적으로 색수차 보정을 수행하고, G 채널(Gr, Gb)에 대해서는 색수차 보정을 수행하지 않고, 바이패스 시킨다. 제1 색수차 보정부(522)는 아핀 변환부(702a, 702b), 보간부(704a, 704b), 및 합성부(706)를 포함할 수 있다. 아핀 변환부(702a, 702b)는 렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 입력 영상으로 색수차를 보정하기 위한 아핀 변환을 수행한다. 도 7c는 예시적인 색수차 보정 파라미터를 나타낸 도면이다. 도 7c에 도시된 바와 같이, 색수차 보정 파라미터는 렌즈 종류 및 줌단에 따라 미리 저장되어 있을 수 있다. 각각의 색수차 보정 파라미터들(N₁, N₂, N₃, N₄)은 행렬 형태의 아핀 변환을 위한 파라미터들일 수 있다.

보간부(704)는 각 픽셀의 픽셀값들을 조절하기 위한 보간 처리를 수행한다.

합성부(706)는 R, G, B 각 채널의 영상을 합성하여, 다시 베이어 패턴의 영상을 생성하여 출력한다.

본 발명의 일 실시예에 따르면, 아핀 변환부(702a, 702b)는 N차원의 입력 영상의 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행한다. 만약 2차원의 입력 영상을 처리하는 경우, 기존의 아핀 변환은 수학식 2와 같은 공식을 사용하였다.

X' = F(X) ={S1*(X - SCX) + S2*(Y - SCY) +S3}+SCX

Y' = F(Y) ={S4*(X - SCX) + S5*(Y - SCY) +S6}+SCY

여기서 S1, S2, S4, S5는 스케일링(scaling) 색수차 보정 파라미터, S3, S6는 쉬프트 색수차 보정 파라미터, SCX, SCY는 광축 중심을 나타낸다. 그런데 본 발명의 일 실시예에 따라 수학식 3과 같은 가정을 적용한다.

1) if △X = 0, △Y≠ 0 then, △X' = 0

2) if △X ≠ 0 , △Y = 0 then, △Y' = 0

수학식 3에 나타난 가정에 의하여, 수학식 2에서 S2 및 S4가 0이 되고, X와 Y는 서로 독립적으로 아핀 변화될 수 있다. 실제로 배율 색수차는 주변부로 갈수록 심해지는 경향이 있지만, 단순히 스케일링 되는 경향만 있기 때문에, 실질적으로 S2 및 S4는 0으로 볼 수 있다. 이처럼 S2 및 S4를 0으로 처리하면, S1 내지 S6의 색수차 보정 파라미터를 적용하는 경우에 비해서, 게이트 카운트를 현저하게 감소시켜, 처리 시간을 감소시킬 수 있다.

본 실시예에 따라, X와 Y에 대해 서로 독립적으로 아핀 변환을 수행함으로 인하여, 아핀 변환 후의 보간 처리를 고려하더라도, 제1 색수차 보정부(522)는 두 개의 라인 메모리만을 이용하여 색수차 보정 처리를 수행할 수 있다. 라인 메모리는 입력 영상의 하나의 행(row) 또는 열(column)에 해당하는 픽셀을 저장할 수 있는 저장 공간을 의미한다. 예를 들어, 제1 색수차 보정부(522)가 행 순서로 입력 영상을 처리하는 경우, 라인 메모리는 하나의 행에 해당하는 픽셀을 저장할 수 있는 저장 공간이다. 제1 색수차 보정부(522)는 2개의 라인 메모리에 해당하는 저장 공간을 구비할 수 있다.

도 8은 본 발명의 일 실시예에 따른 제1 색수차 보정부(522)에서의 데이터 처리 타이밍도를 나타낸 도면이다.

우선, 각 픽셀에 대해 아핀 변환을 수행하여, 각 픽셀의 변환된 좌표값을 계산하여, 라인 메모리의 주소를 계산한다. 메모리(140)에 저장된 각 픽셀의 데이터는 DMA(540) 및 버스를 통해 제1 색수차 보정부(522)로 입력되고, 산출된 주소에 따라 제1 색수차 보정부(522)의 2개의 라인 메모리(LINE 1, LINE 2)에 저장된다. 다음으로, 2개의 라인 메모리(LINE 1, LINE 2)에 저장된 데이터(1, 2, 3, 4)를 이용하여 보간 처리가 수행된다. LINE 1에 저장된 픽셀(x, y)에 대해 보간 처리를 수행하기 위해서는 LINE 1의 픽셀(x, y), 픽셀(x, y+1)의 데이터와 LINE 2의 픽셀(x+1, y), 픽셀(x+1, y+1)의 데이터가 이용된다. 따라서 보간 처리를 위해서 2개의 라인 메모리(LINE 1, LINE 2)가 요구된다. 보간 처리된 픽셀(x, y)는 다시 라인 메모리의 픽셀(x, y)에 해당하는 주소에 저장된다.

중간 처리부(524)는 제1 색수차 보정부(522)에서 처리된 데이터에 대해서, 감마 보정, 노이즈 저감, 화이트 밸런스 보정, 색보정(color calibration), 디테일 강화(detail enhancement) 등의 처리를 수행할 수 있다.

제2 색수차 보정부(526)는 입력 영상의 대비(contrast)에 기초하여, 색수차를 보정한다. 제1 색수차 보정부(522)는 렌즈 종류 및/또는 렌즈의 위치에 따라 결정된 색수차 보정 파라미터를 이용하는데 반하여, 제2 색수차 보정부(526)는 렌즈에 관한 정보는 고려하지 않고, 입력 영상 자체만을 가지고 색수차를 보정한다.

도 9는 본 발명의 일 실시예에 따른 제2 색수차 보정부(526)의 구조를 나타낸 도면이다. 제2 색수차 보정부(526)는 데이터 변환부(902), 색수차 측정부(904), 색수차 제거부(906), 및 영상 합성부(908)를 포함한다.

데이터 변환부(902)는 입력 영상의 데이터 포맷을 YCbCr 포맷으로 변환한다. 색수차 측정부(904)는 입력 영상으로부터 색수차가 발생한 정도를 측정한다. 이때 입력 영상의 대비에 기초하여 색수차가 발생한 정도를 측정할 수 있다. 예를 들면, 색수차 측정부(904)는 주변 픽셀과의 대비가 크고, 대비가 큰 부분에서 보라색이 나타난 경우, 색수차가 발생한 것으로 판단할 수 있다. 색수차 제거부(906)는 입력 영상으로부터 색수차가 발생한 정도에 기초하여, 색수차를 제거한다. 예를 들면, 색수차 제거부(906)는 색수차가 발생한 것으로 판단된 영역에서, 대비가 큰 부분에 나타난 보라색을 제거한다. 영상 합성부(908)는 색수차 제거부(906)에서 색수차가 제거된 보정 영상과, 입력 영상의 원본 영상을 선형 결합한다. 예를 들면, 상기 보정 영상과 원본 영상의 평균 영상을 구할 수 있다. 원본 영상은 제2 색수차 보정부(526)에 입력된 입력 영상의 데이터로서, 제1 색수차 보정부(522) 및 중간 처리 부(524)에서 처리된 입력 영상의 데이터일 수 있다.

제1 모듈(520a)에서 처리된 데이터는 블록을 단위로 출력되고, 버스(BUS)를 통하여 메모리(140)에 저장된다.

제2 모듈(530)은 렌즈 왜곡 보정부(532)를 포함한다. 제2 모듈(530)은 제1 모듈(520a)에서 처리되어 메모리(140)에 저장된 입력 영상의 데이터를 독출하여, 처리한다. 렌즈 왜곡 보정부(532)는 상기 입력 영상의 데이터로부터 렌즈 왜곡을 보정한다. 렌즈 왜곡은 예를 들면, 앞서 도 3에서 설명한 바와 같이 보정될 수 있다. 렌즈 왜곡 보정부(532)는 제1 모듈(520a)과 하드웨어적으로 독립되어 구성되기 때문에, 제1 모듈(520a)로부터 제1 블록의 입력 영상 데이터가 출력되면, 제1 모듈(520a)에서 제1 블록의 입력 영상 데이터를 처리한 사이클(도 6a에서 CAC1 및 CAC2의 Tile 1)의 바로 다음 사이클(도 6a에서 LDC의 Tile 1)에 제1 블록의 입력 영상 데이터를 처리할 수 있다.

DMA(540)는 데이터를 각 구성요소에서 요구하는 데이터 포맷으로 변환한다. 따라서 데이터는 버스(BUS)를 통해서 전달될 때, DMA(540)를 거치게 된다.

도 10은 본 발명의 다른 실시예에 따른 제1 모듈(520b)의 구조를 나타낸 도면이다. 본 발명의 다른 실시예에 따른 제1 모듈(520b)은 베이어 패턴 변환부(1002), 제1 색수차 보정부(522), 감마 보정부(1004), 노이즈 저감 및 화이트 밸런싱부(1006), 및 제2 색수차 보정부(526)를 포함한다.

베이어 패턴 변환부(1002)는 베이어 패턴으로 입력된 입력 영상의 데이터 포맷을 RGB 데이터 포맷으로 변환하여 제1 색수차 보정부(522)에 출력한다.

감마 보정부(1004)는 제1 색수차 보정부(522)에서 처리된 입력 영상의 데이터에 대하여 감마 보정을 수행한다. 노이즈 저감 및 화이트 밸런싱부(1006)는 감마 보정된 입력 영상의 데이터에 대하여 노이즈 저감 처리 및 화이트 밸런스 보정 처리를 수행한다. 제2 색수차 보정부(526)는 감마 보정부(1004) 및 노이즈 저감 및 화이트 밸런싱부(1006)에서 처리된 데이터에 대해 제2 색수차 보정을 수행한다. 본 발명의 다른 실시예에 따르면, 감마 보정, 화이트 밸런싱 처리가 완료된 후에 제2 색수차 보정을 수행하기 때문에, 감마 보정, 화이트 밸런싱 처리 등에 의해 색수차가 다시 증폭되어 색수차가 재 발생하는 것을 방지할 수 있다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.

본 발명의 일 실시예에 따른 영상 처리 방법은 복수의 색수차 보정 처리를 수행함에 있어서, 온-더-플라이 방식으로 입력 영상의 데이터를 전달하여, 메모리(140)에 접속함으로 인하여 발생하는 지연을 제거한다. 또한 색수차 보정 처리와 렌즈 왜곡 보정 처리는 하드웨어적으로 독립되어 구성된 모듈을 이용하여 수행됨으로써, 구조적 해저드(structural hazard)가 발생하지 않도록 구성된다.

우선, 입력 영상에 대해, 렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 제1 색수차 보정을 수행한다(S1102).

도 12는 본 발명의 일 실시예에 다른 제1 색수차 보정 처리를 나타낸 흐름도이다.

RGB 데이터가 입력되면(S1202), RGB 각각에 대하여 독립적으로 색수차 보정을 수행한다. 즉, R 데이터에 대하여, 아핀 변환을 수행하고(S1204), 아핀 변환된 R 데이터에 대해 보간 처리를 수행한다(S1206). 또한, B 데이터에 대하여, 아핀 변환을 수행하고(S1208), 아핀 변환된 B 데이터에 대해 보간 처리를 수행한다(S1210). 이때, 상기 입력 영상을 촬영한 디지털 촬영 장치의 촬상 소자(113)의 위치가 그린 계열의 초점 거리에 맞춰져 결정된 경우, G 데이터에 대해서는 색수차 보정 처리를 수행하지 않고, 바이패스 시킨다. 본 발명의 일 실시예에 따른 아핀 변환 처리(S1204, S1208)는 예를 들면 도 7c과 같이 미리 저장된 색수차 보정 파라미터를 이용하여 수행될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 아핀 변환 처리(S1204, S1208)는 N차원의 입력 영상의 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행한다. 따라서 수학식 3과 같은 가정을 적용할 수 있으며, 앞서 도 8을 이용하여 설명한 바와 같이, 2개의 라인 메모리만을 이용하여 수행될 수 있다.

R 데이터 및 B 데이터에 대한 아핀 변환(S1204, S1208) 및 보간 처리(S1206, S1210)가 완료되면, R 데이터, G 데이터, 및 B 데이터를 합성하여 다시 베이어 패턴으로 영상을 합성한다(S1212).

다음으로, 제1 색수차 보정이 완료된 데이터를 온-더-플라이 방식으로 중간 처리를 위한 구성 요소로 전달한다(S1104). 제1 색수차 보정이 완료된 데이터에 대해서, 감마 보정, 노이즈 저감, 화이트 밸런스 보정, 색보정(color calibration), 디테일 강화(detail enhancement) 등의 중간 처리(S1106)가 수행된다. 중간 처리가 완료되면, 입력 영상의 데이터를 온-더-플라이 방식으로 제2 색수차 보정을 위한 구성 요소로 전달한다(S1108).

상기 중간 처리된 데이터에 대해서, 입력 영상의 대비에 기초하여 제2 색수차 보정이 수행된다(S1110). 제1 색수차 보정에서는 렌즈 종류 및/또는 렌즈의 위치에 따라 결정된 색수차 보정 파라미터를 이용하는데 반하여, 제2 색수차 보정에서는 렌즈에 관한 정보는 고려하지 않고, 입력 영상 자체만을 가지고 색수차를 보정한다.

도 13은 본 발명의 일 실시예에 따른 제2 색수차 보정 처리를 나타낸 흐름도이다.

우선, 입력 영상의 데이터 포맷을 YCbCr 포맷으로 변환한다(S1302). YCbCr 포맷의 데이터가 생성되면, 입력 영상으로부터 색수차가 발생한 정도를 측정한다(S1304). 이때 입력 영상의 대비에 기초하여 색수차가 발생한 정도를 측정할 수 있다. 다음으로, 입력 영상으로부터 색수차가 발생한 정도에 기초하여, 색수차를 제거한다(S1306). 마지막으로, 색수차가 제거된 보정 영상과, 입력 영상의 원본 영상을 선형 결합한다(S1308). 예를 들면, 상기 보정 영상과 원본 영상의 평균 영상을 구할 수 있다.

제2 색수차 보정이 완료되면(S1110), 블록을 단위로 입력 영상의 데이터를 메모리(140)에 저장한다(S1112).

다음으로 메모리(140)에 저장된 입력 영상의 데이터를 블록을 단위로 독출하여, 입력 영상으로부터 렌즈 왜곡을 보정한다(S1114). 렌즈 왜곡은 예를 들면, 앞서 도 3에서 설명한 바와 같이 보정될 수 있다.

한편, 본 발명은 컴퓨터 판독가능 매체에 컴퓨터가 판독 가능한 코드를 저장 하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.

상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 매체로부터 디지털 신호 처리부(130)에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.

컴퓨터 판독가능 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

도 3은 렌즈 왜곡 보정의 원리를 나타낸 도면이다.

도 4a는 색수차가 발생하는 원리를 나타낸 도면이다.

도 6a는 본 발명의 일 실시예에 따른 영상 처리 장치의 파이프라인(pipeline) 구조를 도시한 도면이고, 도 6b는 본 발명의 일 실시예에 대한 비교예의 파이프라인 구조를 도시한 도면이다.

도 7c는 예시적인 색수차 보정 파라미터를 나타낸 도면이다.

도 9는 본 발명의 일 실시예에 따른 제2 색수차 보정부(526)의 구조를 나타 낸 도면이다.

도 10은 본 발명의 다른 실시예에 따른 제1 모듈(520b)의 구조를 나타낸 도면이다.

Claims

렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하는 영상 처리 장치에 있어서,

상기 입력 영상으로부터 색수차를 보정하는 복수의 색수차 보정부들을 포함하는 제1 모듈;

상기 제1 모듈과 하드웨어적으로 독립되어 구성되고, 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정부를 포함하는 제2 모듈;

데이터를 저장하는 메모리; 및

상기 제1 모듈, 상기 제2 모듈, 및 상기 메모리에 연결되어, 상기 제1 모듈, 상기 제2 모듈, 및 상기 메모리 사이에 데이터를 전달하는 버스를 포함하고,

상기 제1 모듈 내의 상기 복수의 색수차 보정부들 사이에서, 데이터가 온-더-플라이(on-the-fly) 방식으로 전달되고,

상기 제1 모듈은 상기 제1 모듈에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로 처리된 데이터를 출력하며,

상기 제2 모듈은 상기 제1 모듈로부터 한 블록의 상기 입력 영상의 데이터가 출력되면, 렌즈 왜곡 보정을 수행하고,

상기 복수의 색수차 보정부들은,

렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 입력 영상으로부터 색수차를 보정하는 제1 색수차 보정부; 및

상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데이터의 대비(contrast)에 기초하여, 상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데이터에 대해 색수차를 보정하는 제2 색수차 보정부를 포함하고,

상기 렌즈 왜곡 보정부는, 상기 제1 모듈에서 처리된 상기 입력 영상으로부터 렌즈 왜곡을 보정하는, 영상 처리 장치.
삭제
제1항에 있어서, 상기 제1 색수차 보정부는,

상기 색수차 보정 파라미터를 이용하여, 상기 입력 영상에 대하여 색수차 보정을 위한 아핀(Affine) 변환을 수행하는 아핀 변환부; 및

상기 아핀 변환된 상기 입력 영상의 데이터에 대해 보간(interpolation) 처리하는 보간부를 포함하는, 영상 처리 장치.
제3항에 있어서,

상기 입력 영상은 N(N은 자연수)차원 영상이고,

상기 아핀 변환부는, N차원에 대한 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행하는, 영상 처리 장치.
제4항에 있어서,

상기 제1 색수차 보정부는, 2개의 라인 메모리(line memory)를 이용하고, 상 기 라인 메모리는 상기 입력 영상의 한 개의 행(row) 또는 열(column)에 해당하는 픽셀을 저장하는 저장 공간을 의미하며, 상기 입력 영상의 처리된 데이터를 1개의 라인 메모리 단위로 온-더-플라이 방식으로 출력하는, 영상 처리 장치.
제1항에 있어서,

상기 제1 색수차 보정부로 입력되는 상기 입력 영상은 RGB 데이터 포맷을 갖고,

상기 제1 색수차 보정부는, RGB 각각에 대해 독립적으로 색수차 보정을 수행하며, G 데이터는 색수차 보정을 수행하지 않고, 바이패스(bypass)시키는, 영상 처리 장치.
제1항에 있어서,

상기 제1 모듈은, 상기 제1 색수차 보정부에서 처리된 상기 입력 영상의 데이터에 화이트 밸런스 처리 및 색보정 처리 중 적어도 하나의 처리를 수행하는 중간 처리부를 더 포함하고,

상기 제2 색수차 보정부는, 상기 중간 처리부에서 처리된 상기 입력 영상의 데이터에 대해 색수차 보정을 수행하는, 영상 처리 장치.
제1항에 있어서, 상기 제2 색수차 보정부는,

입력된 상기 입력 영상의 데이터를 YCbCr 데이터 포맷으로 변환하는 데이터 변환부;

상기 입력 영상의 데이터로부터, 대비 정보에 기초하여 색수차 발생 정도를 측정하는 색수차 측정부;

상기 색수차 발생 정도에 따라 상기 입력 영상의 데이터로부터 색수차를 보정하는 색수차 제거부; 및

상기 색수차 제거부에서 보정된 영상과, 상기 입력 영상의 원본 영상을 선형 결합하는 영상 합성부를 포함하는, 영상 처리 장치.
제1항에 있어서,

상기 제1 모듈과 상기 제2 모듈 사이에서 전달되는 데이터는, 상기 버스 및 상기 메모리를 경유하여 전달되는, 영상 처리 장치.
렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하는 영상 처리 방법에 있어서,

온-더-플라이(on-the-fly) 방식으로 데이터를 전달하면서, 상기 입력 영상에 대해 복수의 색수차 보정 처리를 수행하는 색수차 보정 단계;

상기 색수차 보정 단계에서 처리된 데이터를, 상기 색수차 보정 단계에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로, 메모리에 저장하는 단계; 및

상기 메모리에 저장된 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정 단계를 포함하고,

상기 색수차 보정 단계와 상기 렌즈 왜곡 보정 단계는 하드웨어적으로 독립되어 구성된 자원을 이용하여 수행되고,

상기 렌즈 왜곡 보정 단계는, 상기 색수차 보정 단계에서 한 블록의 상기 입력 영상의 데이터의 색수차 보정 처리가 완료되면, 상기 색수차 보정된 한 블록의 상기 입력 영상의 데이터에 대해, 렌즈 왜곡 보정을 수행하고,

상기 색수차 보정 단계는,

렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 상기 입력 영상으로부터 색수차를 보정하는 제1 색수차 보정 단계; 및

상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터의 대비(contrast)에 기초하여, 상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터에 대해 색수차를 보정하는 제2 색수차 보정 단계를 포함하는, 영상 처리 방법.
삭제
제10항에 있어서, 상기 제1 색수차 보정 단계는,

상기 색수차 보정 파라미터를 이용하여, 상기 입력 영상에 대하여 색수차 보정을 위한 아핀(Affine) 변환을 수행하는 아핀 변환 단계; 및

상기 아핀 변환된 상기 입력 영상의 데이터에 대해 보간(interpolation) 처리하는 보간 단계를 포함하는, 영상 처리 방법.
제12항에 있어서,

상기 입력 영상은 N(N은 자연수)차원 영상이고,

상기 아핀 변환 단계는, N차원에 대한 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행하는, 영상 처리 방법.
제13항에 있어서,

상기 제1 색수차 보정 단계는, 2개의 라인 메모리(line memory)를 이용하고, 상기 라인 메모리는 상기 입력 영상의 한 개의 행(row) 또는 열(column)에 해당하는 픽셀을 저장하는 저장 공간을 의미하며, 상기 입력 영상의 처리된 데이터를 1개의 라인 메모리 단위로 온-더-플라이 방식으로 출력하는, 영상 처리 방법.
제10항에 있어서,

상기 제1 색수차 보정 단계에서 처리되는 상기 입력 영상은, RGB 데이터 포맷을 갖고,

상기 제1 색수차 보정 단계는, RGB 각각에 대해 독립적으로 색수차 보정을 수행하며, G 데이터는 색수차 보정을 수행하지 않고, 바이패스(bypass)시키는, 영상 처리 방법.
제10항에 있어서,

상기 영상 처리 방법은, 상기 제1 색수차 보정 단계 이후에, 상기 제1 색수차 보정 단계에서 처리된 상기 입력 영상의 데이터에 화이트 밸런스 처리 및 색보정 처리 중 적어도 하나의 처리를 수행하는 중간 처리 단계를 더 포함하고,

상기 제2 색수차 보정 단계는, 상기 중간 처리 단계에서 처리된 상기 입력 영상의 데이터에 대해서 색수차 보정을 수행하는, 영상 처리 방법.
제10항에 있어서, 상기 제2 색수차 보정 단계는,

입력된 상기 입력 영상의 데이터를 YCbCr 데이터 포맷으로 변환하는 데이터 변환 단계;

상기 입력 영상의 데이터로부터, 대비 정보에 기초하여 색수차 발생 정도를 측정하는 색수차 측정 단계;

상기 색수차 발생 정도에 따라 상기 입력 영상의 데이터로부터 색수차를 보정하는 색수차 제거 단계; 및

상기 색수차 제거 단계에서 보정된 영상과, 상기 입력 영상의 원본 영상을 선형 결합하는 영상 합성 단계를 포함하는, 영상 처리 방법.
렌즈를 통과한 광학 신호로부터 촬상 소자에서 생성된 입력 영상을 처리하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램은,

온-더-플라이(on-the-fly) 방식으로 데이터를 전달하면서, 상기 입력 영상에 대해 복수의 색수차 보정 처리를 수행하는 색수차 보정 코드 부분;

상기 색수차 보정 코드 부분에서 처리된 데이터를, 상기 색수차 보정 코드 부분에서 상기 입력 영상의 데이터가 처리되는 단위인 블록을 단위로, 메모리에 저장하는 코드 부분; 및

상기 메모리에 저장된 상기 입력 영상으로부터 렌즈 왜곡을 보정하는 렌즈 왜곡 보정 코드 부분을 포함하고,

상기 색수차 보정 코드 부분과 상기 렌즈 왜곡 보정 코드 부분은 하드웨어적으로 독립되어 구성된 자원을 이용하여 수행되고,

상기 렌즈 왜곡 보정 코드 부분은, 상기 색수차 보정 코드 부분에서 한 블록의 상기 입력 영상의 데이터의 색수차 보정 처리가 완료되면, 상기 색수차 보정된 한 블록의 상기 입력 영상의 데이터에 대해, 렌즈 왜곡 보정을 수행하고,

상기 색수차 보정 코드 부분은,

렌즈 종류 및/또는 렌즈의 위치에 따라 결정되는 색수차 보정 파라미터를 이용하여 상기 입력 영상으로부터 색수차를 보정하는 제1 색수차 보정 코드 부분; 및

상기 제1 색수차 보정 코드 부분에서 처리된 상기 입력 영상의 데이터의 대비(contrast)에 기초하여, 상기 제1 색수차 보정 코드 부분에서 처리된 상기 입력 영상의 데이터에 대해 색수차를 보정하는 제2 색수차 보정 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
삭제
제18항에 있어서, 상기 제1 색수차 보정 코드 부분은,

상기 색수차 보정 파라미터를 이용하여, 상기 입력 영상에 대하여 색수차 보정을 위한 아핀(Affine) 변환을 수행하는 아핀 변환 코드 부분; 및

상기 아핀 변환된 상기 입력 영상의 데이터에 대해 보간(interpolation) 처리하는 보간 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
제20항에 있어서,

상기 입력 영상은 N(N은 자연수)차원 영상이고,

상기 아핀 변환 코드 부분은, N차원에 대한 N개의 독립좌표들에 대해 서로 독립적으로 아핀 변환을 수행하는, 컴퓨터 판독가능 매체.
제21항에 있어서,

상기 제1 색수차 보정 코드 부분은, 2개의 라인 메모리(line memory)를 이용하고, 상기 라인 메모리는 상기 입력 영상의 한 개의 행(row) 또는 열(column)에 해당하는 픽셀을 저장하는 저장 공간을 의미하며, 상기 입력 영상의 처리된 데이터를 1개의 라인 메모리 단위로 온-더-플라이 방식으로 출력하는, 컴퓨터 판독가능 매체.
제18항에 있어서,

상기 제1 색수차 보정 코드 부분에서 처리되는 상기 입력 영상은, RGB 데이터 포맷을 갖고,

상기 제1 색수차 보정 코드 부분은, RGB 각각에 대해 독립적으로 색수차 보정을 수행하며, G 데이터는 색수차 보정을 수행하지 않고, 바이패스(bypass)시키는, 컴퓨터 판독가능 매체.
제18항에 있어서,

상기 컴퓨터 프로그램은, 상기 제1 색수차 보정 코드 부분 이후에, 상기 제1 색수차 보정 코드 부분에서 처리된 상기 입력 영상의 데이터에 화이트 밸런스 처리 및 색보정 처리 중 적어도 하나의 처리를 수행하는 중간 처리 코드 부분을 더 포함하고,

상기 제2 색수차 보정 코드 부분은, 상기 중간 처리 코드 부분에서 처리된 상기 입력 영상의 데이터에 대해서 색수차 보정을 수행하는, 컴퓨터 판독가능 매체.
제18항에 있어서, 상기 제2 색수차 보정 코드 부분은,

입력된 상기 입력 영상의 데이터를 YCbCr 데이터 포맷으로 변환하는 데이터 변환 코드 부분;

상기 입력 영상의 데이터로부터, 대비 정보에 기초하여 색수차 발생 정도를 측정하는 색수차 측정 코드 부분;

상기 색수차 발생 정도에 따라 상기 입력 영상의 데이터로부터 색수차를 보정하는 색수차 제거 코드 부분; 및

상기 색수차 제거 코드 부분에서 보정된 영상과, 상기 입력 영상의 원본 영상을 선형 결합하는 영상 합성 코드 부분을 포함하는, 컴퓨터 판독가능 매체.