KR100769553B1

KR100769553B1 - 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서

Info

Publication number: KR100769553B1
Application number: KR1020050134915A
Authority: KR
Inventors: 노요환; 현지철
Original assignee: 엠텍비젼 주식회사
Priority date: 2005-12-30
Filing date: 2005-12-30
Publication date: 2007-10-23
Anticipated expiration: 2025-12-30
Also published as: WO2007078116A1; KR20070071450A

Abstract

불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상하는 장치에 있어서, 상기 이미지의 첫번째 행에 포함되는 화소들의 휘도(luminance)를 분석하고, 상기 휘도에 따른 수평 보상 곡선을 생성하는 수평 보상 곡선 생성부; 상기 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석하고, 상기 휘도에 따른 수직 보상 곡선을 생성하는 수직 보상 곡선 생성부; 상기 수평 보상 곡선과 상기 수평 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성부; 및 상기 이미지에 상기 보상 이미지를 적용시켜 보상을 수행하는 보상 수행부를 포함하는 색상 편차 보상 장치 및 보상 방법에 관한 것이다. 이미지에서 발생하는 불균일한 색상 편차를 개선할 수 있다. 또한, 특히 이미지의 코너에서 발생하는 각 색상별 특성의 차이에 따른 색상의 차이로 인한 이미지의 왜곡을 줄일 수 있게 된다.

이미지 센서, 색상 편차, 불균일, 보상

Description

색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서{Apparatus and method for compensating hue declination, and image processor using it}

도 1은 이미지의 각 사분면 코너에서 발생하는 색상 불균일 현상을 나타내는 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 장치의 구성 블록도.

도 3은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상부의 구성 블록도.

도 4는 각 보상 곡선 생성부의 구성 블록도.

도 5 내지 도 8은 본 발명의 바람직한 일 실시예에 따른 보상 이미지의 생성 방법을 설명하기 위한 예시도.

도 9는 본 발명의 바람직한 일 실시예에 따른 불균일한 색상 편차를 균일하게 하기 위해 보상하는 방법의 흐름도.

<도면의 주요부분에 대한 부호의 설명>

224 : 색상 편차 보상부

310 : 수평 보상 곡선 생성부

320 : 수직 보상 곡선 생성부

330 : 보상 이미지 생성부

340 : 보상 수행부

본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 이미지 센서에서 촬영된 이미지의 코너 부분에서 발생하는 색상 차이 현상을 없앨 수 있는 장치 및 방법에 관한 것이다.

이미지 센서는 광학 영상(optical image)을 전기 신호로 변환시키는 반도체 소자이다. 이 중에서 전하결합소자(CCD; Charge Coupled Device)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. 반면에, 씨모스(CMOS; Complementary MOS; 이하 CMOS) 이미지 센서는 제어회로 및 신호처리회로를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼의 MOS 트랜지스터를 만들고 이것을 이용하여 순차적으로 화소의 출력을 검출하는 스위칭 방식을 채용하는 소자이다.

이러한 이미지 센서를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 개발되어 판매되고 있다. 이미지 센서는 화소(pixel)들 또는 포토사이트(photosite)들로 불리는 작은 감광 다이오드들의 어레이로서 구성된다. 화 소들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 밴드로부터의 광자들을 전자들로 변환할 뿐이다. 단일 센서를 가지고 컬러 이미지들을 기록하기 위해서, 센서는 상이한 화소들이 상이한 컬러 조명을 수신하도록 필터링된다. 이러한 타입의 센서는 컬러 필터 어레이(CFA; Color Filter Array)로 알려져 있다. 상이한 컬러 필터들이 센서를 가로질러 미리 정의된 패턴으로 배열된다.

그리고, 일반적인 패턴은 베이어 패턴(Bayer pattern)을 가지는 컬러 필터 어레이이다. 컬러 이미지의 CFA는 일반적으로 베이어 패턴(Bayer Pattern)을 따른다. 즉, 화소들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 이미지 화소들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다.

베이어 패턴은 사람의 눈이 장면의 녹색 내용으로부터 휘도(luminance) 정보의 대부분을 도출한다는 전제에 기초한다. 따라서, 화소들 중 보다 많은 화소가 녹색이 되도록 함으로써 적색, 녹색 및 청색 화소들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.

그러나, 최근 개발되어 판매되는 휴대용 장치는 모든 센서 모듈들이 얇고 작아져야 하는 슬림화, 초소형화 경향을 가지고 있으며, 휴대용 장치에 구비되는 이미지 센서도 고화소화 요구가 많아지고 있는 실정이다. 이에 따라 작은 외부 렌즈와 큰 f 번호(number), 렌즈의 기구물, 각 화소들 위에 위치하는 마이크로 렌즈 등에 의한 이미지의 왜곡 현상이 발생하고 있다.

이미지 센서의 컬러 필터 어레이 중앙부의 화소들과 외곽의 화소들은 서로 다른 위치에서 광원에 노출된다. 이러한 미세한 위치 차이는 조도(illumination) 차이를 유발하며, 조도 차이는 빛의 파장 차이와 렌즈들의 굴절률 차이에 의해 색상에도 영향을 준다. 그 결과, 색상 왜곡과 화소의 위치에 의존한 신호 크기의 감소가 필연적으로 발생하며, 이는 원시 이미지의 품질을 저하시키는 원인이 된다. 이를 극복하기 위해 렌즈 셰이딩 현상 보정을 통해 백색 영역의 이미지를 촬영하였을 때 전체적으로 동일한 루미넌스를 갖도록 하는 방법이 있었다.

하지만, 이는 이미지의 중심 부분을 중심으로 하여 보정하는 방법이고, 중심으로부터의 거리에 따라 일괄적으로 이루어지는 보정이다.

도 1은 이미지의 각 사분면 코너에서 발생하는 색상 불균일 현상을 나타내는 도면이다. 도 1을 참조하면, 이미지의 중심 부분이 아닌 각 사분면의 코너 부분(A, B, C, D)에서 적색, 녹색 또는 청색 중 어느 하나가 다른 색에 비하여 강하게 두드러져 보이는 현상이 발생하여 전체적으로 색상 편차의 불균형을 초래한다. 그리고 각 사분면의 코너가 동일 색상에 대하여 모두 강하게 두드러져 보이는 것이 아니라 A 코너는 적색이, C 코너는 청색이 두드러져 보이는 등 불균일한 색상 편차로 인해 이미지의 왜곡이 발생하는 문제점이 있다.

따라서, 본 발명은 이미지에서 발생하는 불균일한 색상 편차를 개선할 수 있는 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서를 제공한 다.

또한, 본 발명은 특히 이미지의 코너에서 발생하는 각 색상별 특성의 차이에 따른 색상의 차이로 인한 이미지의 왜곡을 줄일 수 있는 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서를 제공한다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상하는 장치에 있어서, 상기 이미지의 첫번째 행에 포함되는 화소들의 휘도(luminance)를 분석하고, 상기 휘도에 따른 수평 보상 곡선을 생성하는 수평 보상 곡선 생성부; 상기 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석하고, 상기 휘도에 따른 수직 보상 곡선을 생성하는 수직 보상 곡선 생성부; 상기 수평 보상 곡선과 상기 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성부; 및 상기 이미지에 상기 보상 이미지를 적용시켜 보상을 수행하는 보상 수행부를 포함하는 색상 편차 보상 장치가 제공될 수 있다.

바람직하게는, 상기 수평 보상 곡선 생성부는 상기 첫번째 행의 화소들의 휘도를 분석하는 휘도 분석부; 상기 화소들을 등간격의 구간으로 구분하는 구간 구분부; 및 상기 구간의 경계에 해당하는 화소들의 보상값을 산출하고, 상기 구간 내 에서 상기 보상값을 이용하여 다른 화소들의 보상값을 선형적으로 보간하는 보상값 보간부를 포함하되, 상기 보간된 보상값을 이용하여 상기 수평 보상 곡선을 생성할 수 있다. 여기서, 상기 수평 보상 곡선 생성부는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수평 보상 곡선을 생성할 수 있다.

또한, 상기 수직 보상 곡선 생성부는 상기 첫번째 열의 화소들의 휘도를 분석하는 휘도 분석부; 상기 화소들을 등간격의 구간으로 구분하는 구간 구분부; 및 상기 구간의 경계에 해당하는 화소들의 보상값을 산출하고, 상기 구간 내에서 상기 보상값을 선형적으로 보간하는 보상값 보간부를 포함하되, 상기 보간된 보상값을 이용하여 상기 수직 보상 곡선을 생성할 수 있다. 여기서, 상기 수직 보상 곡선 생성부는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수직 보상 곡선을 생성할 수 있다.

바람직하게는, 상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 각각 상기 보상 이미지를 생성할 수 있다.

또한, 상기 수직 보상 곡선, 상기 수평 보상 곡선 및 상기 보상 이미지는 참조표(lookup table) 형태로 형성될 수 있다.

상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, 이미지의 불균일한 색상 편차를 보상하는 이미지 장치의 이미지 프로세서에 있어서-여기서, 상기 이미지 장치는 센서부, 상기 이미지 프로세서 및 표시부를 포함함-, 상기 센서부로부터 입력되는 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 이미지를 생성하는 선 처리부; 상기 이미지의 첫번째 행에 포함되는 화소들의 휘도를 분석하고 생성된 수평 보상 곡선과, 상기 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석하고 생성된 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하고 보상을 수행하는 색상 편차 보상부; 및 상기 색상 편차 보상부를 통해 출력되는 데이터를 상기 표시부를 통해 디스플레이될 수 있도록 처리하는 후속 처리부를 포함하는 이미지 프로세서가 제공될 수 있다.

바람직하게는, 상기 색상 편차 보상부는 상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 각각 상기 보상 이미지를 생성하여 보상을 수행할 수 있다.

상기 목적들을 달성하기 위하여, 본 발명의 또 다른 측면에 따르면, 이미지의 불균일한 색상 편차를 보상하는 방법에 있어서, (a) 상기 이미지의 첫번째 행 및 첫번째 열에 포함되는 화소들의 휘도를 분석하는 단계; (b) 상기 휘도에 따른 수평 보상 곡선 및 수직 보상 곡선을 생성하는 단계; (c) 상기 수평 보상 곡선과 상기 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하는 단계; 및 (d) 상기 이미지에 상기 보상 이미지를 적용시켜 보상을 수행하는 단계를 포함하는 색상 편차 보상 방법이 제공될 수 있다.

바람직하게는, 상기 단계 (a)는 (a-1) 상기 첫번째 행 및 상기 첫번째 열의 화소들의 휘도를 분석하는 단계; (a-2) 상기 화소들을 등간격의 구간으로 구분하는 단계; (a-3) 상기 구간의 경계에 해당하는 화소들의 보상값을 산출하는 단계; (a-4) 상기 구간 내에서 상기 보상값을 이용하여 다른 화소들의 보상값을 선형적으로 보간하는 단계; 및 (a-5) 상기 단계 (a-4)를 상기 첫번째 행 및 상기 첫번째 열의 모든 화소에 대하여 반복하는 단계를 포함하되, 상기 보간된 보상값을 이용하여 상기 수평 보상 곡선을 생성할 수 있다.

여기서, 상기 단계 (b)는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수평 보상 곡선을 생성할 수 있다.

또한, 상기 단계 (a) 내지 (d)를 상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 반복적으로 수행하여 각 색상에 대한 상기 보상 이미지를 생성할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 동일 또는 유사한 개체를 순차적으로 구분하기 위한 식별기호에 불과하다.

본 발명에서 불균일한 색상 편차를 가지고 있어 보상 대상이 되는 이미지로 도 1에 도시된 도면을 이용한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 장치의 구성 블록도이다.

도 2를 참조하면, 이미지 장치(200)는 센서부(210), 이미지 프로세싱부(220), 표시부(230)를 포함한다. 물론, 이외에도 키 입력부, 메모리 등을 더 포함할 수 있으나, 이는 본 발명의 요지와는 무관한 사항이므로 이에 대한 설명은 생략한다.

센서부(210)는 컬러 필터 어레이(CFA, 212) 및 A/D 컨버터(214)를 포함한다. 물론, 센서부(210)는 외부 렌즈(미도시)를 더 포함할 수 있다.

컬러 필터 어레이(212)는 렌즈를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 이때, 컬러 필터 어레이(212)는 베이어 패턴 등 다양한 패턴의 사용이 가능하며, 각 픽셀마다 적색, 녹색, 청색 중 어느 하나의 색 정보를 가지는 영상 신호가 출력된다. 즉, R(red) 패턴에 해당하는 픽셀에서는 적색 정보만을 가지는 영상 신호가 출력되고, G(green) 패턴에 해당하는 픽셀에서는 녹색 정보만을 가지는 영상 신호가 출력되며, B(blue) 패턴에 해당하는 픽셀에서는 청색 정보만을 가지는 영상 신호가 출력된다. 베이어 패턴 등을 가지는 컬러 필터 어레이(212)를 통해 얻어진 각 픽셀의 값은 보간 처리(Interpolation, 예를 들어 좌우의 2 픽셀의 값을 평균하거나, 상하좌우의 4 픽셀을 평균하여 결핍된 색 정보를 유추하는 등)하여 완전한 색 정보를 얻는다. 보간 처리는 보간 처리부(222)에 의해 수행된다.

A/D 컨버터(214)는 컬러 필터 어레이(212)에 의해 변환된 영상 신호를 디지털 신호로 변환하여 보간 처리부(222)로 전달한다.

이미지 프로세싱부(220)는 보간 처리부(221), 보간용 메모리(222), 렌즈 셰 이딩 보상부(223), 색상 편차 보상부(224), 색 조정부(225), 감마 변환부(226), 감마 테이블(227), 포맷 변환부(228), 포맷 변환 테이블(229)를 포함한다. 또한, 이미지 프로세싱부(220)는 컬러 필터 어레이(212)의 구동에 이용된 수평 동기 신호(Hsync), 수직 동기 신호(Vsync) 및 화소 클락(PCLK)으로부터 각종 타이밍 신호를 생성하는 타이밍 발생부(도시되지 않음)를 더 포함할 수 있다.

보간 처리부(221)는 각 픽셀마다 적색, 녹색, 청색의 픽셀 신호를 생성한다. 컬러 필터 어레이(212)에서 출력되는 영상 신호가 베이어 패턴을 가지는 경우, 적색(R)에 대응하는 픽셀에서는 녹색(G)이나 청색(B)의 픽셀 신호를 얻을 수 없다. 따라서, 보간 처리부(521)는 주위 픽셀의 신호를 보간 연산함으로써 적색(R)의 컬러 필터 픽셀에도 녹색(G)이나 청색(B)의 픽셀 신호를 생성할 수 있다. 이를 위해, 보간용 메모리(222)에는 주위 픽셀의 픽셀 신호가 일시적으로 기록되며, 보간 처리부(221)는 보간용 메모리(222) 내에 일시적으로 기록되어 있는 주위 픽셀의 픽셀 신호를 이용하여 보간 연산을 수행한다.

렌즈 셰이딩 보상부(223)는 각 픽셀마다의 픽셀 신호의 휘도 분석, 레벨(level) 분석, 렌즈 셰이딩 이미지의 중심 픽셀 검출, 렌즈 셰이딩 이미지의 기울기 검출 등을 수행하며, 렌즈 셰이딩 현상을 보상할 수 있는 마스크 이미지를 생성한다. 레벨 분석, 렌즈 셰이딩 이미지의 중심 픽셀 검출, 기울기 검출을 통한 보상은 자동 노출값(auto exposure) 설정을 통해 이루어진다. 레벨(level)은 각 픽셀의 밝기에 관계되는 것으로, 예를 들어 프레임 내의 모든 픽셀의 레벨이 10이라 할 때 화면 전체의 밝기가 10이라 할 수 있다. 이와 같이, 렌즈 셰이딩 보상부(223)는 자 동 노출값 설정에 의한 레벨 값에 상응하도록 한 프레임에 해당하는 픽셀 어레이의 전체 픽셀의 영상 신호 즉, 적색, 녹색 및 청색의 픽셀 신호를 보상함으로써 원시 이미지 데이터의 품질을 저하시키지 않는 효과가 있다.

색상 편차 보상부(224)는 불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상한다. 렌즈 셰이딩 보상부(223)를 거쳐 렌즈 셰이딩 현상이 보상된 이미지에 대하여 도 1에 도시된 것과 같이 이미지의 각 사분면의 코너에서 발생하는 색상 편차 불균일 현상을 미리 지정된 방식에 따라 보상할 수 있는 보상 이미지를 생성한다. 색상 편차 보상부(224)의 구성 및 보상 이미지 생성 방법에 대해서는 추후 도 3 이하의 도면을 참조하여 상세히 설명한다.

색 조정부(225)는 색조(예를 들어, 푸르스름한 청색 등)를 조정하는 수단이고, 감마 변환부(226)는 표시부(230, 예를 들어, LCD, CRT 등)에 이미지를 출력하기 위해 이미지 데이터를 표시부(230)의 디바이스 특성(감마 특성)에 맞추는 수단이다. 감마 테이블(227)에는 표시부(230)의 화상 출력 디바이스의 감마 특성으로 변환하기 위한 변환 테이블이 저장된다.

포맷 변환부(228)는 표시부(230)에 적합한 화상 신호의 포맷으로 변환하는 수단으로, 픽셀 신호를 NTSC나 YUV, YCbCr 등 디지털 성분의 포맷으로 변환하여 출력한다. 포맷 변환 테이블(229)은 NTSC나 YUV 등의 표시 신호 포맷으로 변환하기 위한 테이블이다.

도 3은 본 발명의 바람직한 일 실시예에 따른 색상 편차 보상부(224)의 구 성 블록도이고, 도 4는 각 보상 곡선 생성부의 구성 블록도이다. 그리고 도 5 내지 도 8은 본 발명의 바람직한 일 실시예에 따른 보상 이미지의 생성 방법을 설명하기 위한 예시도이다.

도 3을 참조하면, 색상 편차 보상부(224)는 수평 보상 곡선 생성부(310), 수직 보상 곡선 생성부(320), 보상 이미지 생성부(330) 및 보상 수행부(340)를 포함한다.

수평 보상 곡선 생성부(310)는 보간 처리부(221)를 통해 색상 보간이 이루어지고 렌즈 셰이딩 보상부(223)를 통해 렌즈 셰이딩 현상의 보상이 완료된 이미지 중 첫번째 행에 포함되는 화소들의 휘도(luminance)를 분석한다. 그리고 분석된 화소들의 휘도를 기초로 하여 첫번째 행 전체에서 균일한 휘도를 가질 수 있도록 하는 수평 보상 곡선을 생성한다.

수직 보상 곡선 생성부(320)는 동일한 이미지 중 첫번째 열에 포함되는 화소들의 휘도를 분석한다. 그리고 분석된 화소들의 휘도를 기초로 하여 첫번째 열 전체에서 균일한 휘도를 가질 수 있도록 하는 수직 보상 곡선을 생성한다.

도 4를 참조하면, 수평 보상 곡선 생성부(310) 또는 수직 보상 곡선 생성부(320)는 휘도 분석부(410), 구간 구분부(420) 및 보상값 보간부(430)를 포함한다. 이하에서는 수평 보상 곡선 생성부(310)를 중심으로 설명하지만, 수직 보상 곡선 생성부(320)에 대해서도 동일한 내용이 적용가능함은 물론이다.

휘도 분석부(410)는 이미지의 첫번째 행에 해당하는 화소들에 대하여 첫번째 화소부터 마지막 화소까지의 휘도를 분석한다. 도 5를 참조하면, 도 1에 도시된 이미지의 첫번째 행에서의 휘도 분포를 나타낸 도면이다. 여기서, 휘도 분포는 중심을 기준으로 대칭이 아니라 510 부분과 520 부분이 차이가 나는 것을 확인할 수 있다. 색상 편차 보상 장치(224) 전단의 렌즈 셰이딩 보상부(223)에서의 렌즈 셰이딩 현상을 보상하지만, 외부 렌즈의 기구물, 이미지 센서 상에 위치하는 마이크로 렌즈들의 불균일한 특성 등으로 인해 색상 편차가 불균일하게 나타나기 때문이다. 따라서, 도 6에 도시된 것과 같이 도 5의 510 부분을 보상하는 610 부분, 도 5의 520 부분을 보상하는 620 부분을 가지는 보상 곡선을 생성해야 한다.

구간 구분부(420)는 이미지의 첫번째 행 또는 첫번째 열에 해당하는 화소들을 첫번째 화소부터 등간격의 구간으로 구분하여 각 구간의 경계에 해당하는 화소들을 결정한다.

보상값 보간부(430)는 구간 구분부(420)에서 구분한 구간의 경계에 해당하는 화소들에 대한 보상값을 산출한다. 그리고 해당 구간 내에서 양쪽 경계에 해당하는 보상값을 기초로 하여 선형 보간 방법을 이용하여 구간 내에 포함되는 화소들의 보상값을 보간하도록 한다. 그리고 각 화소들의 보상값이 보간되어 산출되면, 이를 토대로 하여 보상 곡선을 생성할 수 있게 된다.

이에 대해 도 7의 (a)를 참조하여 설명하면, 첫번째 행의 첫번째 화소로부터 각 구간(B1, B2, B3, ...)의 경계에 해당하는 화소인 1, 2, 3, 4, 5 등의 보상값 C1, C2, C3, C4, C5 등을 산출한다. 여기서, 구간 간격은 16 화소 또는 32 화소 등 임의의 화소 단위가 될 수 있다. 그리고 제1 구간 B1에 대하여 양쪽 경계인 C1과 C2를 직선으로 연결함으로써 제1 구간 B1에 포함되는 화소들은 직선으로 표현되 는 일차함수의 값을 보상값으로 가지게 된다. 그리고 제2 구간 B2에 대하여 양쪽 경계인 C2와 C3를 직선으로 연결함으로써 제2 구간 B2에 포함되는 화소들은 직선으로 표현되는 일차함수의 값을 보상값으로 가지게 된다. 이를 제3 구간 B3, 제4 구간 B4 등에 반복적으로 적용함으로써 첫번째 행의 전체 화소에 대한 보상값을 결정하고 그에 따른 수평 보상 곡선을 생성할 수 있게 된다.

또한, 수평 보상 곡선 생성부(310)는 각 구간의 간격을 다르게 하여 또 다른 수평 보상 곡선을 생성할 수 있다. 도 7의 (a)에서의 구간 간격을 32 화소라고 하면, 도 7의 (b)에서의 구간 간격은 32 화소가 아닌 16 화소, 8 화소 등을 가지게 된다. 구간 간격만 다를 뿐이며, 보상 곡선을 구하는 방법은 상술한 바와 동일하다.

따라서, 구간 간격이 서로 다른 복수개의 보상 곡선을 생성하고 이들의 평균값 또는 중간값을 구하는 등의 방법을 통하여 첫번째 행에 해당하는 화소들의 보상값에 상응하는 보상 곡선의 형태가 실제 각 화소의 휘도를 균일하게 하는 형태가 된다.

상술한 방법에 의해 수평 보상 곡선 생성부(310)는 이미지의 첫번째 행에 대한 수평 보상 곡선을 생성하고, 동일한 방법을 적용하여 수직 보상 곡선 생성부(320)는 이미지의 첫번째 열에 대한 수직 보상 곡선을 생성한다.

보상 이미지 생성부(330)는 수평 보상 곡선 및 수직 보상 곡선을 합성하여 이미지 전체 화소에 대한 보상 이미지를 생성한다. 도 8을 참조하면, 가로 방향의 수평 보상 곡선(820) 및 세로 방향의 수직 보상 곡선(810)을 각각 생성하고, 이를 합성하여 도 8의 (d)와 같은 보상 이미지를 생성하게 된다.

이미지 중 (x, y) 좌표를 가지는 화소에 대한 보상값을 산출하는 방법을 예로 든다. 수평 보상 곡선(820) 중에서 x 좌표에 해당하는 보상값과, 수직 보상 곡선(810) 중에서 y 좌표에 해당하는 보상값을 각각 선택하고 이들에 대하여 합, 곱 또는 평균값 등 다양한 방법에 의해 필요로 하는 보상값을 산출하게 된다.

보상 수행부(340)는 보상 이미지 생성부(330)에서 생성한 보상 이미지를 이미지 전체에 적용시킴으로써 색상 편차의 불균일함을 보상할 수 있도록 보상 동작을 수행한다.

본 발명에서 수직 보상 곡선, 수평 보상 곡선, 보상 이미지는 각 화소에 대한 보상값을 테이블화한 참조표(lookup table) 형태로 작성되어 메모리(미도시) 또는 레지스터(미도시)에 저장되어 사용될 수 있다.

또한, 본 발명에서 색상 편차 보상 장치(224)는 이미지의 각 화소들에 포함된 적색 성분, 녹색 성분 및 청색 성분 각각에 대하여 별도로 색상 편차의 불균일성을 보상할 수 있는 보상 이미지를 생성한다. 즉, 적색 성분에 대한 보상 이미지를 생성하기 위한 제1 수직 보상 곡선, 제1 수평 보상 곡선이 필요하고, 녹색 성분에 대한 보상 이미지를 생성하기 위한 제2 수직 보상 곡선, 제2 수평 보상 곡선이 필요하며, 청색 성분에 대한 보상 이미지를 생성하기 위한 제3 수직 보상 곡선, 제3 수평 보상 곡선이 별도로 필요하게 된다.

도 9는 본 발명의 바람직한 일 실시예에 따른 불균일한 색상 편차를 균일하 게 하기 위해 보상하는 방법의 흐름도이다.

도 9를 참조하면, 단계 S910에서 수평 보상 곡선 생성부(310)는 이미지의 첫번째 행에 포함되는 화소들의 휘도를 분석한다. 그리고 수직 보상 곡선 생서부(320)는 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석한다.

단계 S920에서는 단계 S910에서 분석된 휘도 정보를 기초로 하여 도 6 내지 도 7을 참조하여 설명한 방법에 따라 수직 보상 곡선 및 수평 보상 곡선을 생성한다. 수직 보상 곡선의 생성 및 수평 보상 곡선의 생성은 순차적으로 또는 동시에 이루어질 수 있다.

단계 S930에서 보상 이미지 생성부(330)는 수직 보상 곡선 및 수평 보상 곡선을 합성하여 이미지 전체에 대한 보상 이미지를 생성한다. 보상 이미지는 도 8의 (d)에 도시된 것과 같은 형태를 가지게 되며, 이는 참조표의 형태로 작성될 수도 있다.

단계 S940에서 보상 수행부(340)는 이미지에 보상 이미지를 적용시켜 보상을 수행하고, 이미지에 나타난 색상 편차의 불균일함을 보상하게 된다.

상술한 바와 같이, 본 발명에 따른 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지 프로세서는 이미지에서 발생하는 불균일한 색상 편차를 개선할 수 있다.

또한, 특히 이미지의 코너에서 발생하는 각 색상별 특성의 차이에 따른 색 상의 차이로 인한 이미지의 왜곡을 줄일 수 있게 된다. 따라서, 이후 색 보정이나 감마 변환에서 색상의 차이가 확대되지 않고 왜곡 없는 이미지를 생성할 수 있다.

또한, 고화소의 화질을 가지고 있어야 하며, 얇고 작을 것이 요구되는 제품화 요구사항을 충족시키면서도 이미지 전체에 걸쳐서 균일한 특성을 나타내게 되는 이미지 센서 모듈을 가능하게 한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

불균일한 색상 편차를 가지는 이미지의 색상 편차를 보상하는 장치에 있어서,

상기 이미지의 첫번째 행에 포함되는 화소들의 휘도(luminance)를 분석하고, 상기 휘도에 따른 수평 보상 곡선을 생성하는 수평 보상 곡선 생성부;

상기 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석하고, 상기 휘도에 따른 수직 보상 곡선을 생성하는 수직 보상 곡선 생성부;

상기 수평 보상 곡선과 상기 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하는 보상 이미지 생성부; 및

상기 이미지에 상기 보상 이미지를 적용시켜 보상을 수행하는 보상 수행부를 포함하는 색상 편차 보상 장치.
제1항에 있어서,

상기 수평 보상 곡선 생성부는

상기 첫번째 행의 화소들의 휘도를 분석하는 휘도 분석부;

상기 화소들을 등간격의 구간으로 구분하는 구간 구분부; 및

상기 구간의 경계에 해당하는 화소들의 보상값을 산출하고, 상기 구간 내에서 상기 보상값을 이용하여 다른 화소들의 보상값을 선형적으로 보간하는 보상값 보간부를 포함하되,

상기 보간된 보상값을 이용하여 상기 수평 보상 곡선을 생성하는 색상 편차 보상 장치.
제2항에 있어서,

상기 수평 보상 곡선 생성부는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수평 보상 곡선을 생성하는 색상 편차 보상 장치.
제1항에 있어서,

상기 수직 보상 곡선 생성부는

상기 첫번째 열의 화소들의 휘도를 분석하는 휘도 분석부;

상기 화소들을 등간격의 구간으로 구분하는 구간 구분부; 및

상기 구간의 경계에 해당하는 화소들의 보상값을 산출하고, 상기 구간 내에서 상기 보상값을 선형적으로 보간하는 보상값 보간부를 포함하되,

상기 보간된 보상값을 이용하여 상기 수직 보상 곡선을 생성하는 색상 편차 보상 장치.
제4항에 있어서,

상기 수직 보상 곡선 생성부는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수직 보상 곡선을 생성하는 색상 편차 보상 장치.
제1항에 있어서,

상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 각각 상기 보상 이미지를 생성하는 색상 편차 보상 장치.
제1항에 있어서,

상기 수직 보상 곡선, 상기 수평 보상 곡선 및 상기 보상 이미지는 각 화소에 대한 보상값을 테이블화한 참조표(lookup table) 형태로 형성되는 색상 편차 보상 장치.
이미지의 불균일한 색상 편차를 보상하는 이미지 장치의 이미지 프로세서에 있어서-여기서, 상기 이미지 장치는 센서부, 상기 이미지 프로세서 및 표시부를 포함함-,

상기 센서부로부터 입력되는 디지털 영상 신호를 색상 보간 처리하고 렌즈 셰이딩 보정을 한 이미지를 생성하는 선 처리부;

상기 이미지의 첫번째 행에 포함되는 화소들의 휘도를 분석하고 생성된 수평 보상 곡선과, 상기 이미지의 첫번째 열에 포함되는 화소들의 휘도를 분석하고 생성된 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하고 보상을 수행하는 색상 편차 보상부; 및

상기 색상 편차 보상부를 통해 출력되는 데이터를 상기 표시부를 통해 디스플레이될 수 있도록 처리하는 후속 처리부를 포함하는 이미지 프로세서.
제8항에 있어서,

상기 색상 편차 보상부는 상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 각각 상기 보상 이미지를 생성하여 보상을 수행하는 이미지 프로세서.
이미지의 불균일한 색상 편차를 보상하는 방법에 있어서,

(a) 상기 이미지의 첫번째 행 및 첫번째 열에 포함되는 화소들의 휘도를 분석하는 단계;

(b) 상기 휘도에 따른 수평 보상 곡선 및 수직 보상 곡선을 생성하는 단계;

(c) 상기 수평 보상 곡선과 상기 수직 보상 곡선을 합성하여 상기 이미지 전체에 대한 보상 이미지를 생성하는 단계; 및

(d) 상기 이미지에 상기 보상 이미지를 적용시켜 보상을 수행하는 단계를 포함하는 색상 편차 보상 방법.
제10항에 있어서,

상기 단계 (a)는

(a-1) 상기 첫번째 행 및 상기 첫번째 열의 화소들의 휘도를 분석하는 단계;

(a-2) 상기 화소들을 등간격의 구간으로 구분하는 단계;

(a-3) 상기 구간의 경계에 해당하는 화소들의 보상값을 산출하는 단계;

(a-4) 상기 구간 내에서 상기 보상값을 이용하여 다른 화소들의 보상값을 선형적으로 보간하는 단계; 및

(a-5) 상기 단계 (a-4)를 상기 첫번째 행 및 상기 첫번째 열의 모든 화소에 대하여 반복하는 단계를 포함하되,

상기 보간된 보상값을 이용하여 상기 수평 보상 곡선을 생성하는 색상 편차 보상 방법.
제11항에 있어서,

상기 단계 (b)는 상기 구간의 간격이 다른 둘 이상의 보간된 보상값의 평균으로부터 상기 수평 보상 곡선을 생성하는 색상 편차 보상 방법.
제10항에 있어서,

상기 단계 (a) 내지 (d)를 상기 이미지에 포함되는 적색, 녹색 및 청색에 대하여 반복적으로 수행하여 각 색상에 대한 상기 보상 이미지를 생성하는 색상 편차 보상 방법.