KR20120088602A

KR20120088602A - 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장

Info

Publication number: KR20120088602A
Application number: KR1020120009713A
Authority: KR
Inventors: 이빙 미셸 왕; 제프 리신스키; 홍유 왕
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2011-01-31
Filing date: 2012-01-31
Publication date: 2012-08-08
Anticipated expiration: 2032-01-31
Also published as: KR101927326B1; US8456557B2; US20120194722A1; CN102625059B; CN102625059A

Abstract

본 발명의 특징은 모바일 어플리케이션용의 CMOS 이미지 센서에 대한 다이나믹 레인지 확장을 제공한다. 본 발명의 실시예는 픽셀 어레이 내의 각각의 픽셀에 대하여 복수의 노출 시간(integration time) 중의 하나 및 복수의 신호 이득 중의 하나를 설정하는 것을 포함할 수 있으며, 여기서 이러한 설정은 픽셀 어레이 내의 각각의 픽셀에 대한 대응하는 디지털 데이터를 발생하기 위해 이용될 수 있다. 동일한 컬러 플레인(color plane)을 위한 인접 픽셀에 대한 대응하는 디지털 데이터가 슈퍼픽셀(superpixel)로 그룹화될 수 있으며, 각각의 픽셀이 노출 시간과 신호 이득의 상이한 조합에 연관된다.

Description

모바일 어플리케이션용의 ＣＭＯＳ 이미지 센서에 대한 다이나믹 레인지 확장{DYNAMIC RANGE EXTENSION FOR CMOS IMAGE SENSORS FOR MOBILE APPLICATIONS}

본 발명의 특정 실시예는 이미지 처리에 관한 것이다. 보다 구체적으로, 본 발명의 특정 실시예는 모바일 어플리케이션용의 CMOS 이미지 센서에 대한 다이나믹 레인지 확장에 관한 것이다.

디지털 카메라에서는 광이 카메라 렌즈를 통과하여 포토다이오드를 갖는 픽셀의 어레이 상에 노광(exposure)되며, 이로써 각각의 픽셀에서 캡쳐된 양의 광이 아날로그 전기 신호로 변환될 수 있게 된다. 각각의 픽셀로부터의 아날로그 전기 신호가 증폭되고, 아날로그-디지털 변환을 통해 디지털 신호로 변환된다. 디지털 신호는 그 후 캡쳐된 이미지를 생성하기 위한 추가의 디지털 처리에 이용 가능하게 된다.

디지털 카메라 또는 다른 디지털 이미징 시스템에서의 이미지 센서는 픽셀에 의해 캡쳐된 광을 디지털 이미지 출력으로 만드는 이미지 생성 프로세스를 수행한다. 따라서, 이미지 센서는 최종 이미지의 화질을 결정하기 위한 디지털 이미지 시스템에서의 중요 요소이다. CMOS 이미지 센서는 일반적으로 전하 결합 소자(CCD)보다 높은 프레임 레이트 동작을 제공하기 때문에 높은 속도 성능 및 낮은 전력 소비를 요구하는 어플리케이션에 폭 넓게 사용된다. CMOS 이미지 센서는 또한 낮은 전력 소비를 갖는 매우 컴팩트한 크기의 칩으로 형성될 수 있고, 이동 전화, 개인용 휴대 단말기(PDA), 휴대용 컴퓨터 등과 같은 다양한 어플리케이션에서 디지털 카메라 구현 기기에 사용된다.

그러나, CMOS 이미지 센서는 높은 판독 잡음, 즉 낮은 신호대 잡음비(SNR)와, 높은 고정 패턴 잡음, 즉 낮은 다이나믹 레인지(DR)의 문제점을 갖고 있을 수도 있다. CMOS 이미지 센서는 전하 결합 소자보다 낮은 신호대 잡음비(SNR)와 전하 결합 소자보다 작은 다이나믹 레인지(DR)를 제공한다.

다이나믹 레인지는 밑(base)을 10으로 하는 로그값(데시벨, dB)으로서 표현된 광과 같은 측정 가능한 양의 가장 작은 가능한 값과 가장 큰 가능한 값 간의 비율이다. 다이나믹 레인지는 하나의 장면에서 밝은 부분(high light)과 어두운 음영 양자를 적합하게 이미지화하기 위한 성능을 정량화한 것이다. 예컨대, 인간의 눈이 밝은 햇빛에서도 물체를 볼 수 있고 또한 달이 없는 밤에도 물체를 볼 수 있기 때문에, 인간의 시각은 매우 높은 다이나믹 레인지를 갖는다. 인간의 눈은 대략 200 dB의 다이나믹 레인지를 갖는다.

대표적인 모바일 센서의 다이나믹 레인지가 통상적으로 대략 60 dB이기 때문에, 현재의 전자 디지털 이미징 장치가 인간의 눈에 의해 체험되는 완전한 다이나믹 레인지를 재생하는 것은 거의 불가능한 것으로 보인다. 그럼에도 불구하고, 이미지 센서의 다이나믹 레인지를 향상시키는 것은 당해 산업의 연구 과제 중의 하나이다.

일반적으로, 다이나믹 레인지는, 전하 수집 용량을 증가시키기 위해 각각의 픽셀에 더 많은 디바이스를 추가하거나, 또는 상이한 노광의 이미지를 저장하기 위해 더 많은 프레임 및/또는 라인 메모리를 추가하거나, 또는 상이한 픽셀의 감도(sensitivity)를 변화시키기 위해 광매스크(optical mask)를 추가하는 것과 같이, 더 많은 광 정보를 아날로그 영역(analog domain) 또는 디지털 영역(digital domain) 중의 하나에 저장하기 위해 칩 상에 더 많은 하드웨어를 추가함으로써 확장될 수 있다. 이러한 종류의 하드웨어 솔루션은, 픽셀 크기가 작아져서 픽셀 내에 더 많은 트랜지스터를 집적할 수 없고, 모바일 디바이스의 소형 모듈 크기에 의해 칩 상의 여분의 메모리의 크기가 제한되며, 픽셀의 작은 크기에 의해 광매스크의 성능 및 균일성이 제한되기 때문에, 모바일 어플리케이션에서는 심각한 한계를 갖는다.

보다 구체적으로, 이미지 센서의 다이나믹 레인지를 향상시키기 위해, 복수의 노출(multiple integration), 로그 센서(logarithmic sensor), 이중 감도 픽셀(dual sensitivity pixel), 및 공간-변화 감도 픽셀(spatial-varying sensitivity pixel)을 포함한 여러 기술이 제안되었다. 그러나, 이들 기술의 모두가 적합하지 않은 것으로 간주되었다.

복수의 노출 방식은 상이한 노출의 전체 이미지 또는 부분 이미지를 이들을 처리하기 전에 저장하기 위해 여분의 메모리를 필요로 한다. 로그 센서 방식은 픽셀 응답 불균일성이 높아서 컬러 응답에 대해서는 좋지 않다. 이중 감도 픽셀 방식은 픽셀 내부에 여분의 트랜지스터 및/또는 저장 장치를 필요로 하므로, 픽셀 크기를 축소시키기가 어렵다.

공간-변화 감도 픽셀 방식은 동일한 픽셀 어레이 상의 광 정보를 서브샘플링하기 위해 상이한 픽셀 상에 상이한 광매스크를 이용하고, 상이한 조명 상태에서 각각의 픽셀의 감도가 변화될 수 있다. 더욱이, 픽셀 응답이 비선형적이다. 이에 따라, 픽셀 응답이 비선형적이며, 이러한 이유로 픽셀 응답 기술은, 센서의 광 응답을 전체적으로 교정하고 또한 룩업 테이블을 생성하는 것을 필요로 한다. 여분의 필터 또한 비용을 추가시킨다.

종래의 방식 및 통상의 방식의 추가의 한계 및 단점은, 첨부 도면을 참조하여 본 출원의 나머지 부분에서 설명된 본 발명의 일부 특징과 이러한 시스템의 비교를 통해 당해 기술 분야에 익숙한 사람에게는 명백하게 될 것이다.

본 발명은 모바일 어플리케이션용의 CMOS 이미지 센서에 대한 다이나믹 레인지를 확장시키는 것을 목적으로 한다.

본 발명의 실시예는 픽셀 어레이의 각각의 픽셀에 대해 복수의 노출 시간(integration time) 중의 하나 및 복수의 신호 이득 중의 하나를 설정하는 단계를 포함하며, 이러한 설정은 픽셀 어레이의 각각의 픽셀에 대한 대응하는 디지털 데이터를 발생하기 위해 이용될 수 있다. 동일한 컬러 플레인(color plane)을 위한 인접 픽셀에 대한 대응하는 디지털 데이터가 슈퍼픽셀로 그룹화될 수 있으며, 각각의 픽셀은 노출 시간과 신호 이득의 상이한 조합에 연관된다.

이미지를 처리하기 위한 시스템은 픽셀 어레이의 각각의 픽셀에 대하여 복수의 노출 시간 중의 하나 및 복수의 신호 이득 중의 하나를 설정하도록 인에이블되는 픽셀 구성 회로를 포함한다. 이 시스템은 또한 픽셀 어레이의 각각의 픽셀에 대하여 대응하는 디지털 데이터를 발생하도록 인에이블되는 복수의 열(column) 아날로그-디지털 변환기를 포함한다. 또한, 동일한 컬러 플레인을 위한 인접 픽셀에 대한 대응하는 디지털 데이터를 슈퍼픽셀로 그룹화하도록 인에이블되는 디지털 처리 회로도 포함되며, 여기서 각각의 픽셀은 노출 시간과 신호 이득의 상이한 조합에 연관된다.

본 발명의 다른 시스템, 방법, 특징 및 장점은 이하의 도면 및 상세한 설명의 고찰을 통해 당해 기술 분야에 익숙한 사람에게는 명백하게 될 것이다. 상세한 설명 내에 포함되는 이러한 추가의 시스템, 방법, 특징 및 장점은 모두 본 발명의 범위 내에 있는 것으로 첨부한 청구범위에 의해 보호된다.

본 발명의 실시예는 새로운 판독 체계, 그 중에서도 장면의 높은 다이나믹 레인지 정보를 캡쳐하기 위해 판독 경로에 적어도 2개의 노출 시간 및 적어도 2개의 ADC 입력 범위를 적용하는 판독 체계를 개시한다. 모바일 이미징 센서에 대한 다이나믹 레인지를 확장하기 위해, 픽셀의 상이한 행에 대해 상이한 노출 시간이 적용되고, 픽셀의 상이한 열에 대해 상이한 이득이 적용된다. 노출 시간 및 이득 설정은 이미지의 국부적인 또는 전체적인 밝기에 따라 변화될 수 있다.

인접한 픽셀은 높은 다이나믹 레인지 픽셀을 생성하기 위해 함께 조합될 수 있다. 그 결과, 출력 이미지는 감소된 공간 해상도를 갖는 더 높은 다이나믹 레인지 이미지가 된다.

새로운 판독 체계는 픽셀 아키텍처를 변경하지 않고서도 높은 장면내 다이나믹 레인지 이미지(high intra-scene dynamic range image)의 캡쳐를 가능하게 한다. 새로운 판독 체계는 모든 크기의 픽셀에 대해 작동하며, 또한 픽셀 크기가 작아지게 되고, 칩 크기가 제한되며, 비용이 낮게 유지되어야 하지만, 모바일 센서와 잘 작동한다.

본 발명의 개시에 의해 제공된 예의 특징 및 장점은 명세서의 나머지 부분 및 여러 도면에 걸쳐 유사 구성요소를 나타내기 위해 유사한 참조 부호가 이용되어 있는 도면을 참조하여 추가로 이해될 것이다. 일부 예에서, 후미 숫자(sub-label)는 복수의 유사 구성요소 중의 하나를 표시하기 위한 참조 부호와 관련된다. 기존의 후미 숫자에 대한 특정 없이 유사한 부호를 언급한 때에는, 그 참조 부호는 이러한 유사 구성요소 모두를 지칭한다.
도 1은 본 발명의 실시예에 따라 이용될 수 있는 아날로그-디지털 변환을 위한 일례의 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따라 이용될 수 있는 열 병렬 아날로그-디지털 변환기를 위한 일례의 시스템의 블록도이다.
도 3은 본 발명의 실시예에 따른 아날로그-디지털 변환을 위한 일례의 시스템의 블록도이다.
도 4는 본 발명의 실시예에 따른 아날로그-디지털 변환을 위한 일례의 시스템의 타이밍도이다.
도 5는 본 발명의 실시예에 따른 픽셀 응답에 대한 일례의 그래프이다.
도 6은 본 발명의 실시예에 따른 일례의 픽셀 처리 구성을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 일례의 픽셀 응답의 그래프이다.
도 8은 본 발명의 실시예에 따른 일례의 픽셀 처리 구성을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 일례의 수정된 이미지 출력을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 도 9의 수정된 이미지 출력을 위한 출력 응답을 나타내는 도면이다.

이하의 설명은 본 발명의 실시예를 예시하기 위한 것이며, 본 발명의 범위, 응용 가능성, 또는 구성을 한정하려는 것은 아니다. 실시예에 대한 이하의 설명은 당해 기술 분야에 익숙한 사람으로 하여금 본 발명의 실시예를 구현할 수 있도록 하게 할 것이다. 첨부된 청구범위에서 정해지는 바와 같은 본 발명의 사상 및 범위로부터 일탈함이 없이 구성요소의 기능 및 배치에 있어서 다양한 변경이 이루어질 수도 있다.

그러므로, 여러 실시예에서 필요에 따라 다양한 과정 또는 부품을 생략하거나, 대체하거나, 추가할 수 있다. 예컨대, 다른 실시예에서는 설명된 것과 상이한 순서로 방법이 수행될 수도 있으며, 다양한 단계가 추가되거나, 생략되거나, 조합될 수 있다는 것을 이해하여야 한다. 또한, 특정 실시예에 대하여 설명된 특징부가 다른 여러 실시예에서 조합될 수도 있다. 실시예의 상이한 특징 및 구성요소가 유사한 방식으로 조합될 수도 있다.

이하의 시스템 및 방법은 다른 과정이 선행하여 발생하거나 또는 이들의 적용을 수정할 수도 있는 대형 시스템의 일부분일 수도 있다는 것을 이해하기 바란다. 또한, 이하의 실시예의 전에, 이하의 실시예의 후에 또는 이하의 실시예와 동시에 다수의 단계가 요구될 수도 있다.

본 발명의 실시예는 본 발명의 사상이 당해 기술 분야에 익숙한 사람에 의해 용이하게 구현될 수 있도록 첨부 도면을 참조하여 구체적으로 설명될 것이다.

본 발명의 특정 실시예는 모바일 어플리케이션용 CMOS 이미지 센서에 대한 다이나믹 레인지 확장을 위한 방법 및 시스템에서 찾을 수 있을 것이며, 그 대상은 모바일 어플리케이션으로 한정되지 않는다. 특히, 적은 수의 픽셀을 갖는 모바일 이미징 센서를 위하여, 낮은 픽셀 다이나믹 레인지 및 제한된 아날로그-디지털 변환(ADC) 해상도를 갖는 CMOS 이미지 센서의 다이나믹 레인지가 확장된다.

도 1은 본 발명의 실시예에 따라 이용될 수 있는 아날로그-디지털 변환을 위한 일례의 시스템의 블록도이다. 도 1을 참조하면, ADC(101), 프로세서(102) 및 제어 로직(103)을 포함하는 입력 데이터를 처리하기 위한 회로의 일부분이 도시되어 있다.

ADC(101)는 예컨대 비디오 이미지 센서(도 1에 도시하지 않음)로부터의 픽셀 신호와 같은 입력 아날로그 신호를 등가의 디지털 신호로 변환한다. ADC(101)에 의해 출력된 디지털 신호는 프로세서(102)에 의해 추가로 처리될 수 있다. 프로세서(102)는 예컨대 ADC(101)로부터의 디지털 신호를 H.263 또는 H.264와 같은 표준 비디오 포맷으로 압축하기 위한 디지털 신호 처리 방법을 이용할 수도 있다. 프로세서(102)는 또한 코드가 저장될 수 있는 메모리 블록(102a)을 포함한다. 이 코드는 예컨대 디지털 신호 처리와 같은 다양한 기능을 수행하기 위해 프로세서(102)에 의해 실행될 수 있다. 메모리 블록(102a)은 또한 ADC(101)로부터의 디지털 신호 및/또는 ADC(101)로부터의 디지털 신호를 처리하여 얻어진 디지털 신호를 저장하도록 사용될 수도 있다.

제어 로직(103)은 ADC(101) 등과 같은 다양한 모듈에 대한 클록 신호, 제어 신호 및 인에이블 신호와 명령(command)을 발생하는 회로를 포함할 수 있다. 예컨대, 제어 로직(103)은 ADC(101)에서의 카운팅을 위해 이용되는 클록 신호를 발생할 수 있으며, 이 클록 신호는 지속적으로 연속되지는 않는다. 연속 클록(running clock)은 펄스를 포함하는 한편, 비연속 클록(non-running clock)은 로우 상태 또는 하이 상태 중의 어느 하나로 된다. 제어 로직(103)은 또한 ADC(101) 내의 카운터를 인에이블시켜 시간의 특정 부분 동안 카운트하도록 하는 인에이블 신호를 출력할 수 있고, 또한 신호를 리셋할 수 있다.

도 2는 본 발명의 실시예에 따라 이용될 수 있는 일례의 열 병렬 아날로그-디지털 변환기의 블록도이다. 도 2를 참조하면, 픽셀 어레이(200) 및 ADC 어레이(210)가 도시되어 있다. 픽셀 어레이(200)는 픽셀 요소(201) 및 스위칭 요소(202)를 포함할 수 있다. 픽셀 요소(201)는 예컨대 픽셀 요소(201)에 의해 검출된 광의 양에 비례하는 전압을 출력하는 적합한 회로를 포함할 수 있다. 픽셀 요소(201)는 입사광의 특정 파장에 감응할 수도 있다. ADC 어레이(210)는 예컨대 ADC 요소(211)의 어레이를 포함할 수 있으며, 각각의 ADC 요소(211)는 픽셀 요소(201)의 열(column)에 대응할 수 있다. ADC 요소(211)의 출력은 메모리 블록(212)에 저장될 수 있다.

동작 시, 예컨대 제어 로직(103)으로부터의 적합한 제어 신호가 스위칭 요소(202)를 적절하게 개방 및 폐쇄하도록 하여, 특정 픽셀 요소(201)로부터의 출력 전압이 ADC 어레이(210)에 전달되도록 한다. 이에 따라, 각각의 열(Clomn_1 내지 Clomn_m)에 대해, 모든 행(Row_1 내지 Row_n) 내의 단지 하나의 특정 스위치 요소(202)만이 행 주사 시간(row scan time) 동안 폐쇄되어, 대응하는 픽셀 요소(201)로부터의 출력 전압이 그 주사 시간 동안 ADC 어레이(210)에 전달될 수 있다. 따라서, 열에 대해 단지 하나의 픽셀이 선택될 때에 대응하는 ADC 요소(211)에 진정한 픽셀 전압이 전달될 수 있다.

각각의 열(Clomn_1 내지 Clomn_m) 내의 픽셀 요소(201) 중의 하나로부터의 출력 전압은 대응하는 ADC 요소(211)에 의해 등가의 디지털 값으로 변환될 수 있다. 그러나, 복수의 ADC 요소(211)가 있기 때문에, 각각의 ADC 요소(211)는 각각의 ADC 요소(211)가 소정의 입력에 대해 유사한 디지털 값을 출력하도록 교정될 필요가 있을 것이다. 이러한 교정은 예컨대 행 주사 시간 동안 한 번 또는 프레임 동안 한 번과 같이 주기적으로 행해질 수 있다. 교정을 위한 특정의 주기는 설계 및/또는 구현에 따라 좌우될 수 있다.

도 2는 도시를 명료하게 하기 위해 픽셀 어레이(200)가 스위칭 요소(202)를 갖는 것으로 도시되어 설명되고 있지만, 본 발명은 이러한 것으로 한정될 필요가 없다. 예컨대, 스위칭 요소(202)는 ADC 어레이(210)의 일부분이어도 된다.

도 3은 본 발명의 실시예에 따른 아날로그-디지털 변환을 위한 일례의 시스템의 블록도이다. 도 3을 참조하면, 픽셀 어레이(310), 행 구동기(320), ADC 모듈(330), 라인 메모리(340), 디지털 논리 블록(350), 및 램프 발생기(ramp generator)(360)를 포함하는 아날로그-디지털 변환 시스템(300)이 도시되어 있다. ADC 모듈(330)은 열 CDS(332) 및 열 ADC(334)를 포함한다.

픽셀 어레이(310)는 예컨대 도 2에 도시된 픽셀 어레이(200)와 유사할 수도 있다. 행 구동기(320)는 신호를 출력하기 위해 도 2의 특정 행, 예컨대 Row_1을 선택하도록 이용될 수 있는 워드 라인을 발생할 수 있는 적합한 회로를 포함하여도 된다. ADC 모듈(330)은 픽셀 어레이(310)로부터의 아날로그 신호를 샘플링하기에 적합할 수 있는 열 CDS(332)를 포함하여도 된다. ADC 모듈(330) 내의 열 ADC(334)는 열 CDS(332)로부터의 샘플링된 신호를 디지털 데이터로 변환하도록 이용될 수 있다. 라인 메모리(340)는 예컨대 ADC 모듈(330)로부터의 디지털 데이터를 저장하기 위해 래치 회로와 같은 적합한 회로를 포함할 수 있다. 디지털 논리 블록(350)은 라인 메모리(340)로부터의 디지털 데이터를 처리하는데 적합한 회로를 포함할 수 있다. 디지털 논리 블록(350)은 예컨대 다양한 논리 회로 및/또는 디지털 신호 프로세서를 포함할 수 있다. 램프 발생기(360)는 샘플링된 신호에 대한 등가의 디지털 데이터를 결정하기 위해 이용될 수 있는 기준 램프 신호를 발생할 수 있다.

동작 시, 픽셀 어레이(310) 내의 픽셀의 행은 행 구동기(320)에 의해 출력된 수평 워드 라인을 통해 어드레스된다. 픽셀 어레이(310)의 행, 예컨대 도 2의 Row_1에 의해 출력된 전하 또는 전압 신호는 열 비트 라인을 통해 ADC 모듈(330)에 전달된다. 픽셀 어레이(310) 내의 픽셀 요소는 도 2와 유사한 2차원 구조로 배열되며, 여기서 행 구동기(320)는 특정 행의 픽셀 신호를 열 비트 라인 상으로 출력하도록 그 특정 행을 제어한다. 이에 따라, 행 내의 모든 픽셀이 자신의 신호를 병렬로 출력할 것이다.

ADC 모듈(330) 내의 복수의 열 CDS(332)는 열 비트 라인 상의 픽셀 신호를 샘플링하고, 샘플링된 픽셀 신호는 그 후 열 ADC(334)에 의해 등가의 디지털 데이터로 변환된다. 열 CDS(332)는 예컨대 원하지 않은 오프셋의 제거를 가능하게 하는 전압 또는 전류와 같은 전기적인 값을 측정하는 기술인 상관 더블 샘플링(correlated double sampling)을 이용할 수 있다. 이 기술은 센서 출력을 측정할 시에 상당히 빈번하게 이용된다. 픽셀의 출력은 2회 측정된다. 즉, 최초에는 픽셀의 리셋 레벨이 측정되고, 두 번째는 픽셀의 신호 레벨이 측정된다. 이 둘의 차이가 입사광 세기를 나타낸다. 이들 레벨 모두는 열 잡음 및 디바이스 미스매치에 의해 야기된 오프셋을 포함한다. 이 둘의 차이를 취함으로써, 이 오프셋이 상쇄된다.

픽셀 어레이(310)에서의 픽셀 요소(201)의 2차원 어레이는 행과 열로 구성된다. 소정의 행의 픽셀 요소(201)는 리셋 라인을 공유하며, 이로써 행 내의 모든 픽셀 요소(201)가 동시에 리셋된다. 행 내의 픽셀 요소(201)는 또한 워드 라인에 묶이게 되며, 일반적으로 픽셀 어레이(310) 내의 하나의 행만이 선택될 수 있다. 이에 따라, 픽셀 어레이(310) 내의 복수의 픽셀 요소(201), 예컨대 도 2의 Column_1이 동일한 열 비트 라인을 공유하지만, 임의의 소정 시각에서 단지 하나의 행이 선택되므로, 열 비트 라인 상의 픽셀 신호는 열 내의 다른 픽셀 요소(201)로부터의 신호와 혼합하는 것에 의해 악화되지 않는다.

ADC 모듈(330) 내의 각각의 열 CDS(332)는 먼저 리셋 신호를 샘플링하고, 픽셀 어레이(310)로부터 픽셀 신호를 수신한다. 열 CDS(332)는 그 후 리셋 신호와 픽셀 신호 간의 차이를 획득한다. 대응하는 열 ADC(334)는 그 후 차이 신호를 램프 발생기(360)에 의해 출력될 수 있는 기준 램프 신호와 비교한다. 기준 램프 신호가 최초로 램프를 개시할 때, ADC 모듈(330)의 각각의 열 ADC(334) 내의 카운터(도시하지 않음)가 인에이블될 수 있다. 차이 신호의 레벨이 기준 램프 신호의 레벨과 동일할 때, 해당 카운터가 중지될 것이며, 카운트가 라인 메모리(340)의 해당 부분에 저장될 것이다. 이 카운트는 입력 픽셀 신호에 대한 등가의 디지털 데이터이다.

디지털 논리 블록(350)은 라인 메모리(340)에 저장된 디지털 데이터를 판독할 수 있으며, 디지털 신호를 처리할 수 있다. 예컨대, 본 발명의 실시예에서, 디지털 논리 블록(350)은 디지털 데이터를 H.263 또는 H.264와 같은 다양한 비디오 포맷 중의 하나로 변환하기 위한 디지털 신호 처리를 수행할 수 있다. 이에 따라, 디지털 논리 블록(350)은 디지털 데이터 "Image Out"을 출력할 수 있다.

본 발명의 다양한 실시예는 열 ADC(334)에 의해 변환된 신호에 대하여 상이한 아날로그 이득을 허용할 수 있다. 이 이득은 예컨대 열 CDS(332) 내의 가변 이득 증폭기로부터 얻을 수도 있고, 또는 싱글-슬로프(single-slope) ADC일 수도 있는 열 ADC(334)를 위한 기준 램프 신호에 대한 가변 슬로프로부터 얻을 수도 있다. 다른 타입의 ADC는 다른 이득 조정 방법을 요구할 수도 있다. 예컨대, SAR 또는 순환(cyclic) ADC는 이들의 이득을 조정하기 위해 상이한 기준을 요구할 수도 있다. 2개의 이득값을 이용하는 본 발명의 다양한 실시예는 2개의 이득값을 "낮은 이득" 및 "높은 이득"으로 지칭할 것이다. 2개의 이득값이 일례의 용도에 특정되지만, 본 발명은 이러한 것으로 한정될 필요는 없다. 다양한 실시예는 3개 이상의 이득값을 이용할 수도 있다.

도 3에 개시된 각종 모듈에 대한 제어 신호는 각각의 블록 내에서 발생되는 것으로 가정되거나 또는 다양한 기능의(catch-all) 디지털 논리 블록(350)에 의해 발생되는 것으로 가정될 수 있다. 이러한 가정은 설명을 보다 간략하게 하며, 나머지 도면에 대해서도 마찬가지로 이용될 것이다.

도 4는 본 발명의 실시예에 따라 이용될 수 있는 아날로그-디지털 변환을 위한 일례의 시스템의 타이밍도이다. 도 4를 참조하면, 3개의 일례의 행 m, m+1, 및 m+2이 도시되어 있으며, 수평축은 시간을 나타낸다. 3개의 행 m, m+1, 및 m+2의 각각은 발생하는 유사 이벤트를 가지며, 이들은 상대적인 타이밍 차이를 보이고 있다. 따라서, 행 m에 대응하는 동작만이 설명될 것이다.

시간 t1에서, 행 m은 프레임 N의 개시점에 있을 것이다. 시간 t2에서부터 t3까지의 시간 기간 동안에는, 행 m은 제1 리셋 펄스(402)에 의해 리셋될 수 있다. 이 제1 리셋 펄스(402)는 픽셀 요소(201)가 현재 프레임을 위한 광전자를 축적할 수 있도록 픽셀 어레이(310)의 행 m에서의 픽셀 요소(201)를 알려진 상태(known state)로 소거할 것이다. 또한, 열 ADC(334)에 의해 이전 프레임의 행 m의 픽셀 요소(201)로부터의 아날로그 신호에서 변환된 등가의 디지털 데이터는, 제1 리셋 펄스(402)가 발휘(assert)된 후에 라인 메모리(340)에 판독될 수 있다.

시간 t3에서부터 t4까지의 시간 기간은 상이한 행에서의 픽셀 요소(201)에 대해 상이한 노출 시간을 허용하도록 변화될 수 있다. 본 발명의 실시예는 2개의 상이한 노출 시간을 허용할 수 있다. 2개의 노출 시간은 "짧은 노출 시간"과 "긴 노출 시간"으로서 지칭될 수 있다. 노출전 기간(pre-integration period)으로 지칭될 수 있는 시간 t3에서부터 t4까지의 시간 기간은 짧은 노출 시간에 대해서보다 긴 노출 시간에 대해서 더 짧게 될 것이다. 긴 노출 시간은 어두운 빛의 장면에 유용할 것인 한편, 밝은 빛의 장면에 대해서는 노출 시간이 더 짧게 설정될 수 있다. 일례의 목적을 위해 2개의 노출 시간이 특정되었지만, 본 발명은 이러한 것으로 한정될 필요는 없다. 예컨대, 여러 실시예에서는 3개 이상의 노출 시간을 이용할 수도 있다.

시간 t4에서부터 t5까지의 시간 기간 동안, 행 m은 제2 리셋 펄스(404)에 의해 노출 전에 리셋될 수 있다. 이 제2 리셋 펄스(404)는 제1 리셋 펄스(402)와 유사한 용도로 작용하여, 픽셀 요소(201)가 광전자를 축적할 준비가 될 수 있도록 픽셀 요소(201)를 알려진 상태로 리셋한다. 그러나, 제2 리셋 펄스(404) 동안에는 디지털 데이터를 판독하지 않는다.

시간 t5에서부터 t6까지의 기간 동안, 행 m 내의 픽셀 요소(201)는 노출 기간이 시간 t6에서 종료할 때까지 광전자를 축적할 수 있다. 시간 t5에서부터 시간 t6까지의 노출 시간은, 노출전 기간이 짧은 노출 시간에 대해서보다 긴 노출 시간에 대해서 더 짧기 때문에, 짧은 노출 시간에 대해서보다는 긴 노출 시간에 대해서 더 길게 될 것이다.

행 m에 대한 각각의 픽셀 요소(201)에서의 전하는 그 후 각각의 열 CDS(332)에 의해 대응하는 열 ADC(334)에 전달될 것이다. 각각의 ADC(334) 내의 카운터는 등가의 디지털 데이터를 발생하기 위해 도 3에 대하여 설명한 바와 같이 카운트할 것이다. 카운트는 시간 t6 후에 판독될 것이다. 본 발명의 다양한 실시예는 메모리(340)에 저장할 디지털 데이터를 판독하기 위해 시간 t7에서의 제3 리셋 펄스(406)의 개시를 이용할 수 있다.

도 5는 본 발명의 실시예에 따른 픽셀 응답에 대한 일례의 그래프이다. 도 5를 참조하면, 수평축이 조도를 나타내고, 수직축이 픽셀 응답을 나타내는 그래프(500)가 도시되어 있다. 픽셀 요소(201)로부터의 아날로그 신호일 수도 있는 픽셀 응답은 또한 열 ADC(334)로부터 변환된 디지털 데이터로서 표현될 수도 있다.

이에 따라, 열 ADC(334)는 픽셀 응답의 ADC Min 레벨에서부터 픽셀 응답의 ADC Max 레벨까지를 카운트할 수 있도록 교정될 수 있다. 그러나, 이 회로 내의 고유의 잡음 때문에, 열 ADC(334)는 판독 잡음 레벨보다 낮은 픽셀 응답을 구별할 수 없을 것이다. 이에 따라, 판독 잡음 레벨과 관련된 조도 Lmin가 검출되는 최소 조도가 될 것이다. 검출된 최대 조도는 조도 Lmax가 될 것이다.

이에 따라, 열 ADC(334)의 다이나믹 레인지는 다음과 같이 표현될 수 있다:

(수식 1)

DR = 20 log(Lmax/Lmin)

= 20 log[(ADC Max)/(Read Noise)]

센서의 다이나믹 레인지를 확장하기 위해, 판독 타이밍은 동일한 컬러 플레인에서의 인접한 행이 상이한 노출 시간을 가질 수 있도록 수정될 수 있다. 하나의 행은 긴 노출 시간을 가질 수 있는 한편, 인접한 행은 짧은 노출 시간을 가질 수 있다. 긴 노출 시간을 갖는 픽셀은 장면의 어두운 빛의 정보를 캡쳐할 것이고, 짧은 노출 시간을 갖는 픽셀은 장면의 밝은 빛의 정보를 캡쳐할 것이다.

그리고, 열 ADC가 제한된 해상도를 갖기 때문에, 열 판독 시간 동안에는, 상이한 아날로그 이득이 인접한 열에 적용될 수 있다. 예컨대, 하나의 열은 높은 이득을 가질 수 있고, 인접한 열은 낮은 이득을 가질 수 있다. 특정의 노출 시간 및 이득 설정은 장면의 전체적인 또는 국부적인 밝기에 따라 선택될 수도 있다. 전체적인 또는 국부적인 밝기는, 예컨대 프로세서(102) 또는 디지털 논리 블록(350)과 같은, 하나 이상의 이전 프레임으로부터의 디지털 데이터를 처리할 수 있는 회로에 의해 결정될 수 있다.

노출 시간 및 이득 설정은, 하나 이상의 이전 프레임의 전제적인 또는 국부적인 밝기가 노출 시간 및 이득 설정을 결정하기 위해 이용되는 곳에서는 매프레임 후에 또는 소정 개수의 프레임 후에 예컨대 프로세서(102), 제어 로직(103), 및/또는 디지털 로직(350)과 같은 회로에 의해 동적으로 조정될 수 있다. 노출 시간 및 이득 설정은 또한 디폴트 값으로 남겨질 수도 있다.

도 6은 본 발명의 실시예에 따른 일례의 픽셀 처리 구성을 나타내는 도면이다. 도 6을 참조하면, 픽셀 요소(201)와 유사할 수도 있는 개개의 픽셀 요소(602)를 포함하는 픽셀 어레이(600)가 도시되어 있다. 각각의 픽셀 요소(602)는 R, B, Gr 및 Gb로서 나타낸 컬러 플레인의 특정 주파수에 감응하도록 구성될 수 있다. 픽셀 어레이(600)의 행은 도시된 바와 같이 상이한 노출 시간을 가질 수 있다. 예컨대, 행 Row0, Row1, Row4 및 Row5는 긴 노출 시간을 가질 수 있는 한편, 행 Row2, Row3, Row6 및 Row7은 짧은 노출 시간을 가질 수 있다. 픽셀 어레이(600)의 열은 상이한 아날로그 이득을 갖도록 구성될 수 있다. 예컨대, 열 Col0, Col1, Col4, 및 Col5는 높은 이득을 가질 수 있는 한편, 열 Col2, Col3, Col6 및 Col7은 낮은 이득을 가질 수 있다.

이에 따라, 픽셀 요소(602)는 픽셀 요소(602)를 제어하고 그 출력을 처리하는 특정 방식에 좌우되어 4개의 타입의 픽셀 응답 중의 하나에 상관될 수 있다. 픽셀 요소(602)는 예컨대 긴 노출 시간과 높은 이득, 긴 노출 시간과 낮은 이득, 짧은 노출 시간과 높은 이득, 및 짧은 노출 시간과 낮은 이득에 연관될 수 있다.

예컨대, Row0와 Col0의 교차 지점에 있는 Gr 픽셀 요소(602)는 긴 노출 시간 및 높은 이득에 연관된다. Row0와 Col2의 교차 지점에 있는 Gr 픽셀 요소(602)는 긴 노출 시간 및 낮은 이득에 연관된다. Row2와 Col0의 교차 지점에 있는 Gr 픽셀 요소(602)는 짧은 노출 시간 및 높은 이득에 연관된다. Row2와 Col2의 교차 지점에 있는 Gr 픽셀 요소(602)는 짧은 노출 시간과 낮은 이득에 연관된다.

기준 램프 신호의 슬로프가 이득 설정을 변화시키도록 이용되면, 램프 발생기(360)는, 높은 이득을 요구하는 해당 열 ADC(334)에는 높은 이득 램프 신호를 제공하고, 낮은 이득을 요구하는 해당 열 ADC(334)에는 낮은 이득 램프 신호를 제공할 필요가 있을 것이다.

도 7은 본 발명의 실시예에 따른 일례의 픽셀 응답의 그래프이다. 도 7을 참조하면, 픽셀 응답으로 4개의 상이한 타입의 픽셀 응답을 갖는 그래프(700)가 도시되어 있다. 픽셀 응답 "702"는 긴 노출 시간 및 높은 이득에 연관된 픽셀 요소(602)에 대한 것이다. 픽셀 응답 "704"는 긴 노출 시간 및 낮은 이득에 연관된 픽셀 요소(602)에 대한 것이다. 픽셀 응답 "706"은 짧은 노출 시간 및 높은 이득에 연관된 픽셀 요소(602)에 대한 것이다. 픽셀 응답 "708"은 짧은 노출 시간 및 낮은 이득에 연관된 픽셀 요소(602)에 대한 것이다. 각각의 픽셀 응답은 수식 1에 의해 정해진 다이나믹 레인지를 갖는다. 이에 따라, 조합되는 4개의 픽셀에 대한 확장된 다이나믹 레인지는 다음과 같이 표현될 수 있다:

(수식 2)

DRext = 20 log(Lmax_SL/Lmin_LH)

= DR + 20 log[(긴 노출 시간/짧은 노출 시간)*(높은 이득/낮은 이득)]

출력 이미지가 판독 동안 이득 및 노출 시간 설정을 변화시킴으로써 발생되므로, 각각의 픽셀의 출력은 그 픽셀의 실제 밝기 정보를 반영하기 위해 정규화될 필요가 있다. 도 8은 동일한 컬러 플레인 상의 상이한 설정의 4개의 인접 픽셀을 모은 슈퍼 픽셀을 생성함으로써 최종 이미지를 재구성하는 본 발명의 실시예를 묘사하고 있다. 이에 따라, 최종 이미지는 4의 계수만큼 감소된 해상도를 갖는다.

도 8은 본 발명의 실시예에 따른 일례의 픽셀 처리 구성을 나타내는 도면이다. 도 8은 도 9의 묘사를 더욱 용이하게 하기 위해 각각의 픽셀(802)이 행 번호와 열 번호로 표시되어 있는 것을 제외하고는 도 6과 유사하다. 도 9는 도 8에서의 픽셀을 각각의 그룹이 4개의 픽셀 응답 모두를 포함하도록 각각의 컬러 플레인으로 그룹화한 후의 이들 픽셀을 도시하고 있다.

도 9는 본 발명의 실시예에 따른 일례의 수정된 이미지 출력을 나타내는 도면이다. 도 9를 참조하면, 수정된 이미지 출력(900)이 도시되어 있으며, 여기에서는 동일한 컬러 플레인에 있는 4개의 픽셀이 슈퍼픽셀(902)을 형성하고 있다. 각각의 슈퍼픽셀(902)은 도 7에 대하여 설명된 픽셀 응답 중의 하나를 갖는 픽셀을 포함한다. 슈퍼픽셀의 다이나믹 레인지는 4개의 픽셀의 다이나믹 레인지의 합계이다. 이에 따라, 슈퍼픽셀(902)의 다이나믹 레인지가 개별 픽셀의 다이나믹 레인지에 대하여 수식 2에 의해 결정된 바와 같이 증가된다는 것을 알 수 있다.

도 10은 본 발명의 실시예에 따른 도 9의 수정된 이미지 출력을 위한 출력 응답을 나타내는 도면이다. 도 10을 참조하면, 도 9의 슈퍼픽셀(902)에 대한 픽셀 응답의 그래프(1000)가 도시되어 있다. 픽셀 응답은 슈퍼픽셀(902) 내의 4개의 픽셀의 불연속적인 선형 픽셀 응답일 수도 있다.

이에 따라, 본 발명의 실시예는 새로운 판독 체계, 그 중에서도 장면의 높은 다이나믹 레인지 정보를 캡쳐하기 위해 판독 경로에 적어도 2개의 노출 시간 및 적어도 2개의 ADC 입력 범위를 적용하는 판독 체계를 개시한다. 모바일 이미징 센서에 대한 다이나믹 레인지를 확장하기 위해, 픽셀의 상이한 행에 대해 상이한 노출 시간이 적용되고, 픽셀의 상이한 열에 대해 상이한 이득이 적용된다. 노출 시간 및 이득 설정은 이미지의 국부적인 또는 전체적인 밝기에 따라 변화될 수 있다.

본 발명의 다양한 실시예는 프레임의 픽셀 모두에 대해 상이한 이득 및 노출 시간을 적용하는 것으로 설명될 수 있다. 그러나, 본 발명은 이러한 것으로 한정되지 않는다. 예컨대, 프레임의 국부 부분이 매우 밝을 때, 본 발명의 다양한 실시예는 프레임의 그 국부 부분에만 다이나믹 레인지 확장을 제공할 수도 있다. 그러나, 이것은 전체 프레임에 대한 다이나믹 레인지 확장을 위해 요구된 것을 넘어서는 추가의 회로를 필요로 할 수 있다.

본 발명의 여러 실시예를 개시하였지만, 본 발명은 이러한 것으로 한정되지 않는다. 예컨대, 일례의 실시예에 대하여 2개의 노출 시간 및 2개의 이득값이 논의되었지만, 본 발명의 따른 실시예는 2개 이상의 노출 시간 및/또는 2개 이상의 이득값을 가질 수도 있다.

본 발명을 특정 실시예를 참조하여 설명하였지만, 당해 기술 분야에 익숙한 사람은 본 발명의 범위에서 일탈함이 없이 다양한 변경이 이루어질 수 있고, 등가물로 대체될 수 있다는 것을 이해할 것이다. 또한, 본 발명의 범위에서 벗어나지 않고서도 본 발명의 교시에 특별한 상황 또는 구성재료를 적합화시키기 위해 다수의 수정이 이루어질 수도 있다. 따라서, 본 발명은 개시된 특정 실시예로 한정되지 않으며, 본 발명은 첨부된 청구범위의 범위 내에 있는 모든 실시예를 포함할 것이다.

101 : ADC 어레이
102 : 프로세서
102a : 메모리
103 : 제어 로직
200 : 픽셀 어레이
201 : 픽셀 요소
202 : 스위치 요소
210 : ADC 어레이
211 : ADC 요소
212 : 메모리

Claims

이미지 처리 방법에 있어서,
픽셀 어레이 내의 각각의 픽셀에 대하여 복수의 노출 시간(integration time) 중의 하나 및 복수의 신호 이득 중의 하나를 설정하는 단계;
픽셀 어레이 내의 각각의 픽셀에 대한 대응하는 디지털 데이터를 발생하는 단계; 및
동일한 컬러 플레인(color plane)을 위한 인접 픽셀에 대한 대응하는 디지털 데이터를 슈퍼픽셀(superpixel)로 그룹화하는 단계로서, 각각의 픽셀이 상기 노출 시간과 상기 신호 이득의 상이한 조합에 연관되는, 그룹화 단계
를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 노출 시간은 긴 노출 시간과 짧은 노출 시간 중의 하나인 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 노출 시간의 설정은 전체적인 밝기 정보와 국부적인 밝기 정보 중의 하나 이상에 좌우되는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 신호 이득은 높은 이득과 낮은 이득 중의 하나인 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 신호 이득의 설정은 전체적인 밝기 정보와 국부적인 밝기 정보 중의 하나 이상에 좌우되는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 노출 시간과 상기 신호 이득의 4가지의 조합이 있는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 슈퍼픽셀은 인입 광의 세기에 대한 불연속적인 선형 응답(piecewise linear response)을 갖는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
픽셀에 대한 상기 노출 시간 및 상기 신호 이득은 동적으로 설정되는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 신호 이득은 가변 이득 증폭기의 이득을 변화시킴으로써 제어되는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 신호 이득은 열 아날로그-디지털 변환기에 대한 램프 신호의 슬로프를 변화시킴으로써 제어되는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 시스템에 있어서,
픽셀 어레이 내의 각각의 픽셀에 대하여 복수의 노출 시간 중의 하나와 복수의 신호 이득 중의 하나를 설정하도록 인에이블되는 픽셀 구성 회로;
픽셀 어레이의 각각의 픽셀에 대해 대응하는 디지털 데이터를 발생하도록 인에이블되는 열(column) 아날로그-디지털 변환기; 및
동일한 컬러 플레인을 위한 인접 픽셀에 대한 대응하는 디지털 데이터를 슈퍼픽셀로 그룹화하도록 인에이블되는 디지털 처리 회로로서, 여기서 각각의 픽셀이 상기 노출 시간과 상기 신호 이득의 상이한 조합에 연관되는, 디지털 처리 회로
를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 노출 시간은 긴 노출 시간과 짧은 노출 시간 중의 하나인 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 노출 시간의 설정은 전체적인 밝기 정보와 국부적인 밝기 정보 중의 하나 이상에 좌우되는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 신호 이득은 높은 이득과 낮은 이득 중의 하나인 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 신호 이득의 설정은 전체적인 밝기 정보와 국부적인 밝기 정보 중의 하나 이상에 좌우되는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 노출 시간과 상기 신호 이득의 4가지의 조합이 있는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 슈퍼픽셀은 인입 광의 세기에 대한 불연속적인 선형 응답을 갖는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
픽셀에 대한 상기 노출 시간 및 상기 신호 이득은 동적으로 설정되는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 신호 이득은 가변 이득 증폭기의 이득을 변화시킴으로써 제어되는 것을 특징으로 하는 이미지 처리 시스템.
제11항에 있어서,
상기 신호 이득은 열 아날로그-디지털 변환기에 대한 램프 신호의 슬로프를 변화시킴으로써 제어되는 것을 특징으로 하는 이미지 처리 시스템.