KR100735561B1

KR100735561B1 - 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치

Info

Publication number: KR100735561B1
Application number: KR1020050104421A
Authority: KR
Inventors: 유영진; 이호영; 박두식; 이성덕; 이승신
Original assignee: 삼성전자주식회사
Priority date: 2005-11-02
Filing date: 2005-11-02
Publication date: 2007-07-04
Anticipated expiration: 2025-11-02
Also published as: US20070097236A1; US8004586B2; KR20070047557A

Abstract

본 발명은 이미지 센서에서 발생되는 잡음을 보정하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 잡음 저감 장치는, 소정의 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 잡음 레벨을 구하는 잡음 추정부와, 상기 잡음 레벨에 근거하여 필터 강도를 결정하는 필터 강도 계산부와, 상기 결정된 필터 강도에 따라서 상기 이미지 프레임을 구성하는 픽셀들을 필터링하는 필터 적용부를 포함한다.

이미지 센서, 디지털 카메라, 잡음 저감

Description

이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치{Method and apparatus for reducing noise from image sensor}

도 1은 본 발명의 일 실시예에 따른, 이미지 센서의 잡음 저감 장치의 구성을 도시하는 블록도.

도 2는 휘도 성분의 마스크 형태를 예시하는 도면.

도 3은 색차 성분의 마스크 형태를 예시하는 도면.

도 4는 하나의 프레임 전체에 대하여 도 2의 마스크를 적용한 예를 나타낸 도면.

도 5는 제1 임펄스 감지부에서 임펄스 픽셀을 감지하는 알고리즘을 나타낸 흐름도.

도 6은 현재 픽셀을 중심으로 형성되는 경계 블록의 예를 나타내는 도면.

도 7은 색차 프레임 내의 실제 그레인 잡음 및 현재 픽셀을 나타낸 도면.

도 8은 0 내지 255까지의 범위를 갖는 픽셀 값에 대하여 신호 의존 계수의 변화를 나타낸 그래프.

(도면의 주요부분에 대한 부호 설명)

100 : 잡음 저감 장치 110 : 색공간 변환부

120 : 잡음 추정부 121 : 잡음 블록 탐색부

122 : 잡음 레벨 추정부 130 : 특징 추출부

131 : 제1 임펄스 감지부 132 : 제2 임펄스 감지부

135 : 임펄스 감지부 136 : 필터 강도 계산부

140 : 필터 적용부 150 : 역 색공간 변환부

본 발명은 이미지 처리 기술에 관한 것으로, 보다 상세하게는 이미지 센서에서 발생되는 잡음을 보정하는 방법 및 장치에 관한 것이다.

최근 들어, 디지털 카메라 기술의 비약적인 발달과 더불어, 보다 높은 해상도 및 다양한 기능을 지원하는 디지털 카메라들이 속속 출시되고 있다. 이러한 디지털 카메라는 휴대 폰, 노트북 컴퓨터, PDA 등 다른 휴대용 기기에 탑재되어 사용되는 경우도 많다.

이러한 디지털 카메라에는 기본적으로 피사체의 빛을 포획하여 전기 신호로 변환하여 주는 CCD(charge coupled device), CMOS(complementary metal oxide semiconductor) 등과 같은 이미지 센서를 기본적으로 구비되어 있다. 그런데, 현재의 기술로는 이러한 이미지 센서에 의하여 피사체를 촬상하는 경우에 발생되는 잡음을 원천적으로 봉쇄하는 것은 어렵다. 따라서, 대부분의 디지털 카메라들은 상기 발생된 잡음을 제거 내지 보정하는 기능을 구비하고 있으며, 고화질의 이미지를 추구하는 현재의 추세를 고려할 때 이러한 기능의 중요성은 점점 높아지고 있다.

상기 잡음 저감 기술과 관련하여 현재 많은 연구들이 발표되고 있다. 종래의 잡음 저감 기술로는 화상 신호를 저역 필터에 통과시키는 것에 의하여 고주파 성분을 억제하는 회로적인 수법이나, 중간값 필터 등 평활화 작용을 가지는 공간 필터를 화상에 적용시키는 연산적인 수법 등이 있다. 그러나 이러한 방법들의 대부분은 다소간의 주관적 화질을 향상시키기 위하여 오리지널 이미지의 특징을 훼손하거나, 디지털 카메라라는 제한된 자원을 갖는 기기에는 부적합할 정도로 많은 연산량을 요하는 등의 문제가 있었다.

본 발명이 이루고자 하는 기술적 과제는, 잡음 특성과 촬영 정보에 기인하여 이미지 센서에서 발생되는 잡음을 입력 영상 따라 적응적으로 보정시키는 방법 및 장치를 제공하는 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 시스템 복잡도와 연산량이 적어 하드웨어 구현에 용이한 이미지 센서 잡음 저감 방법 및 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 잡음 저감 장치는, 소정의 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 잡 음 레벨을 구하는 잡음 추정부; 상기 잡음 레벨에 근거하여 필터 강도를 결정하는 필터 강도 계산부; 및 상기 결정된 필터 강도에 따라서 상기 이미지 프레임을 구성하는 픽셀들을 필터링하는 필터 적용부를 포함한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 잡음 저감 방법은, (a) 소정의 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 잡음 레벨을 구하는 단계; (b) 상기 잡음 레벨에 근거하여 필터 강도를 결정하는 단계; 및 (c) 상기 결정된 필터 강도에 따라서 상기 이미지 프레임을 구성하는 픽셀들을 필터링하는 단계를 포함한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른, 이미지 센서의 잡음 저감 장치(100)의 구성을 도시하는 블록도이다. 상기 이미지 센서는 CCD(charge coupled device), CMOS(complementary metal oxide semiconductor), 또는 기타 당해 분야에서 사용되는 이미지 센서들을 포함한다. 상기 장치(100)는 색공간 변환부(110)와, 잡음 추정 부(120)와, 특징 추출부(130)와, 필터 적용부(140)와, 역 색공간 변환부(150)를 포함하여 구성될 수 있다.

색공간 변환부(110)는 RGB 색공간의 성분(R, G, B)을 휘도-색차(Luma-Chroma) 색공간의 성분으로 변환한다. 상기 휘도-색차 색공간을 나타내는 대표적인 모델로는, YCbCr, YUV, YIQ 등이 있다. 휘도와 색차는 서로 상이한 특징을 가지고 있어 이와 같이 휘도-색차로 분해할 경우 이미지 처리가 용이하다는 장점이 있다. RGB 모델로부터 다른 모델로 변환하는 관계식은 당업계에 충분히 알려져 있으므로 그 설명을 생략하기로 한다.

잡음 추정부(120)는 상기 휘도-색차 색공간으로 표현된 하나의 이미지 프레임(이하 프레임이라고 함)을 대표할 수 있는 잡음 레벨(잡음 추정치)을 추정한다. 이러한 잡음 레벨은 휘도 성분 및 색차 성분 각각에 대하여 구할 수 있다. 이를 위하여, 잡음 추정부(120)는 잡음 블록 탐색부(121)와, 잡음 레벨 추정부(122)를 포함한다.

잡음 블록 탐색부(121)는 프레임에 포함되는 소정 크기의 마스크(mask) 단위로 Trimmed SAD(Trimmed Sum of Absolute Difference; 이하 TSAD라고 함)를 계산한다. 상기 TSAD는 마스크 내에서 가로 방향 간격 및 세로 방향 간격을 각각 등간격으로 하여 관심 픽셀을 설정하고, 상기 설정된 관심 픽셀들 중 근접 픽셀간의 절대값들의 합을 구함으로써 계산된다. 만약, 가로 방향 간격 및 세로 방향 간격이 모두 1인 경우는 마스크 내의 모든 픽셀이 관심 픽셀이 될 것이다. 상기 가로 방향 간격 및 세로 방향 간격은 파라미터로 설정하여 두고, 사용자 또는 제조자가 이를 변경할 수 있도록 함으로써, 기기의 성능에 적응적으로 부합할 수 있다. 예를 들어, 디지털 카메라와 같은 낮은 사양의 기기에서는 상기 간격들을 크게 설정하고, 컴퓨터와 같은 고사양의 기기에서는 상기 간격들을 작게 설정하는 것이다.

도 2에서, 마스크의 크기가 5X5이고, 가로 방향 간격 및 세로 방향 간격이 모두 2인 경우의 관심 픽셀들을 음영으로 도시하였다. 관심 픽셀에 표시된 숫자는 각 픽셀에 대응되는 인덱스를 의미한다. 인덱스 i에 해당되는 픽셀의 휘도 성분을 x_i라고 할 때, 상기 마스크에 대한 TSAD를 의미하는 ξ_local은 다음의 수학식 1과 같이 계산될 수 있다.

상기 TSAD는 마스크 내에서 픽셀들의 편차가 얼마나 큰가를 나타내는 지표로서, 분산(variance)을 이용해도 마찬가지의 결과를 얻을 수 있다. 다만, 분산 계산의 경우 상기 TSAD 계산에 비하여 상당히 많은 연산량을 필요로 하므로 디지털 카메라, PDA, 휴대 폰 등의 소형 기기에는 적용되기가 어렵다.

한편, 색차 성분에 대해서도 상기 휘도 성분에서 TSAD를 구하는 것과 동일한 방법으로 각 마스크 별로 ξ_local를 구할 수 있다. 다만, 색차 성분은 저주파 특성을 가지므로, 큰 크기의 그레인 잡음(grain noise)를 갖는 경우가 많다. 따라서, 상기 휘도 성분보다는 마스크의 크기를 크게 하는 것이 바람직할 것이다. 다만, 대부분 의 기기들은 이미지를 처리함에 있어서 라인 메모리(line memory)를 이용하고 있기 때문에, 마스크의 가로 크기를 늘리는 것에 비하여, 세로 크기를 늘리는 것은 시스템 자원의 소모를 크게 한다. 따라서,휘도 성분에 비하여, 마스크의 가로 크기를 크게 하고 세로 크기는 그대로 유지할 수도 있다.

도 3에서, 마스크의 크기가 5X15이고, 가로 방향 간격은 2이고 세로 방향 간격은 1인 경우의 관심 픽셀들을 음영으로 도시하였다. 도 3의 마스크의 세로 크기는 도 2와 같지만, 세로 방향 간격을 1로 함으로써 관심 픽셀을 세로 방향으로도 증가시킨 것이다. 라인 메모리를 사용하는 기기에서는, 도 2의 마스크를 읽어 들이는 것과, 도 3의 마스크를 읽어 들이는 것에는 동일한 시스템 자원이 소모된다.

도 3과 같은 관심 픽셀들을 설정하였으면, 상기 수학식 1과 마찬가지의 방식으로 색차 성분에 대한 마스크별 TSAD(ξ_local)를 계산할 수 있다.

이상과 같이 정의되는 마스크의 크기 및 관심 픽셀을 정하였으면, 실제로 이를 프레임의 전 영역에 대하여 적용하여야 한다. 도 4에서, 하나의 프레임(10)에 대하여 도 2와 같은 5X5 마스크를 적용한 예를 나타낸다. 도 4에서는 마스크 적용하는 주파수(이하, 마스크 주파수라 함)는 세로 방향 주파수 및 가로 방향 주파수 모두 10(픽셀)이다. 프레임(10) 내의 모든 마스크가 적용된 영역(이하, 마스크 영역이라고 함)에 대하여 수학식 1과 같이 TSAD를 계산하는 과정을 수행하면, 각 마스크 별로 TSAD를 구할 수 있는 것이다.

이와 같은 마스크 주파수도 기기의 성능에 따라서 적응적으로 선택될 수 있 다. 즉, 높은 성능을 갖는 기기에는 마스크 주파수를 작게 하고, 낮은 성능을 갖는 기기에는 마스크 주파수를 크게 한다.

한편, 다시 도 1로 돌아가면, 잡음 레벨 추정부(122)는 상기 마스크 별로 계산된 TSAD를 소정의 문턱값(T_noise)와 비교하여, 상기 문턱값 보다 큰 TSAD를 갖는 마스크 영역을 잡음이 존재하는 영역으로 판정한다. 그리고, 상기 잡음이 존재하는 것으로 판정된 마스크 영역들의 TSAD의 대표값, 즉 하나의 프레임에 대한 잡음 추정치를 계산한다. 상기 잡음 추정치는, 상기 잡음이 존재하는 것으로 판정된 마스크 영역들의 TSAD의 평균, 이들의 중간값, 기타 다양한 대표값 계산 방법을 이용함으로써 구할 수 있다.

그런데, 상기 문턱값(T_noise)는 예를 들어 다음의 수학식 2에 따라서 구해질 수 있다.

수학식 2에서 AGC는 자동 이득 제어(Auto Gain Control) 값을, Exposure는 노출값을 의미한다. 상기 AGC 및 Exposure는 기기의 레지스터 값을 읽음으로써 간단히 알아낼 수 있다. 그리고, ω₁, ω₂는 각각 AGC 및 Exposure에 대한 가중치이며, 상기 c는 상수값이다. 예를 들어, ω₁, ω₂는 80/96, ω₁, ω₂는 20/1254, c는 20으로 잡을 수 있다. ω₂에 비하여 ω₁이 상대적으로 큰 값으로 설정되어 있는 것 은 AGC가 Exposure에 비하여 잡음 발생에 더 큰 영향을 미치기 때문이다.

잡음 레벨 추정부(122)는 휘도 성분에 대해서는 위와 같은 과정을 수행하지만, 색차 성분에 대해서는 이와 같은 과정을 반드시 거치지 않아도 좋다. 왜냐하면, 휘도 성분에 비하여 색차 성분은 그 디테일이 낮기 때문이다.

따라서, 색차 성분의 경우에는 상기와 같이 문턱값(T_noise)과 비교하여 분류하는 과정을 생략하고, 상기 잡음 블록 탐색부(121)에서 마스크 별로 계산된 TSAD들 전체에 대한 대표값을 계산하는 방식으로, 프레임에 대한 잡음 추정치를 구할 수 있다.

그 다음, 임펄스 감지부(135)는 잡음 레벨 추정부(120)에서 계산된 한 프레임에 대한 잡음 추정치(ν)를 이용하여 상기 프레임 내에 존재하는 임펄스 픽셀을 감지한다. 상기 임펄스 픽셀이란, 실제 픽셀 값과 큰 차이를 나타내는 픽셀 값을 갖는 픽셀로서, 주로 산발적인 점의 형태로 나타난다.

임펄스 감지부(135)는 휘도 성분에 대하여 임펄스 픽셀을 감지하는 제1 임펄스 감지부(131)과, 색차 성분에 대하여 임펄스 픽셀을 감지하는 제2 임펄스 감지부(132)로 세분화될 수 있다.

제1 임펄스 감지부(131)에서 임펄스 픽셀을 감지하는 알고리즘은 다음의 도 5와 같이 나타낼 수 있다.

제1 임펄스 감지부(131)는 먼저, 임펄스 문턱값(T_impulse)를 결정한다(S51). 상기 문턱값은 예를 들어, 다음의 수학식 3과 같이 나타낼 수 있다.

If T_impulse > a, then T_impulse = a

else, T_impulse = ν + b

상기 a, b는 상수값이며, ν는 현재 프레임에 대한 잡음 추정치를 의미한다. 예를 들어, 상기 a는 50으로, b는 20으로 선택할 수 있다.

다음으로, 현재 픽셀을 중심으로 하는 소정 크기의 경계 블록 내의 픽셀 값의 평균(Mean)을 구한다(S52). 예를 들어, 도 6과 같이 현재 프레임(10)에 포함되는 하나의 픽셀을 현재 픽셀(21)이라고 할 때, 상기 현재 픽셀(21)을 중심으로 하는 소정 크기의 경계 블록(20)을 설정할 수 있다. 상기 크기는 잡음 블록 탐색부(121)에서 사용된 마스크의 크기와 동일한 것이 바람직하다. 도 6에서는 5X5 크기의 경계 블록을 설정하는 것으로 하였다.

그 다음, 제1 임펄스 감지부(131)는 현재 픽셀 값과 평균 픽셀 값(Mean)의 차이가 상기 T_impulse보다 큰지를 판단한다(S53). 그 판단 결과, 그렇지 않다면 상기 현재 픽셀은 정상 픽셀로 판정한다(S59). S53 단계의 판단 결과, 그러하다면 상기 경계 블록(20) 내의 어떤 픽셀 값(P_i)과 현재 픽셀 값(P_current)의 차이가 소정의 문턱값(T_var)보다 작은가를 판단한다(S54). 상기 T_var로는 예를 들어 30을 사용할 수 있다. 그 판단 결과 그러하지 아니하다면 바로 S56 단계로 진행하고, 그러하다면 count라는 파라미터를 1증가시킨 후(S55), S56 단계로 진행한다.

제1 임펄스 감지부(131)는 상기 경계 블록 내의 모든 픽셀에 대하여 S54 및 S55를 반복 수행한다. 상기 반복 수행이 모든 픽셀에 대하여 완료되었으면(S56의 예), 상기 누적된 count가 3보다 작은가를 판단한다(S57). 그 판단 결과, 그러하지 아니하다면 현재 픽셀은 정상 픽셀로 판정한다(S59). 이는, 현재 픽셀이 평균(Mean)과 다소 차이가 난다고 하더라도 상기 경계 블록(20) 내에 소정 개수(예: 3개) 이상 존재한다면 임펄스 픽셀이라기 보다는 텍스쳐의 경계부분과 같은 고주파 영역에 포함된 픽셀일 가능성이 높기 때문이다.

상기 판단 결과, 그러하다면 상기 경계 블록 내에서 현재 픽셀 및 현재 픽셀과의 차이가 T_var이내인 픽셀을 제외한 나머지 픽셀들의 평균(Mean_trimmed)을 계산한다(S58). 이로써, 현재 픽셀이 임펄스 픽셀인지를 판단하는 과정이 완료된다. 이러한 과정은 프레임 내의 모든 픽셀에 대하여 수행될 때까지, 즉 모든 픽셀에 대하여 임펄스 픽셀인지 여부가 판단될 때까지 반복된다. 도 6에서 현재 픽셀(21)의 오른쪽 픽셀이 그 다음의 현재 픽셀이 될 수 있으며, 이에 따라서 상기 경계 블록(20)도 오른쪽으로 한 칸 이동하게 된다.

한편, 제2 임펄스 감지부(132)는 색차 성분에 대하여 임펄스 픽셀을 감지한다. 색차 성분에 대하여도 상기 제1 임펄스 감지부(131)가 수행하는 것과 동일한 알고리즘을 사용할 수도 있겠지만, 색차 성분은 저주파 특성을 가지므로 큰 크기의 그레인 잡음(grain noise)를 갖는 경우가 많다는 점을 고려하여 제2 임펄스 감지부(132)에서의 알고리즘은 다소 달라져야 할 것이다.

도 7은 색차 프레임(15) 내의 실제 그레인 잡음(30) 및 현재 픽셀(35)을 나타낸 도면이다. 현재 픽셀(35)이 임펄스 픽셀인지 여부를, 상기 휘도 성분에서와 같이, 주변 픽셀과의 비교에 의하여 판단하면 오류가 발생할 여지가 많다. 따라서 색차 성분의 경우에는, 현재 픽셀(35)과 공간적으로 다소의 오프셋 만큼 떨어져 있는 픽셀과의 비교가 오히려 효과적이다. 이 때, 가로 오프셋을 ε라고 하고, 세로 오프셋을 λ라고 한다면(도 7에서는, ε는 5이고 λ는 2임), 제2 임펄스 감지부(132)는 현재 픽셀(35)과 가로 방향으로 ε 만큼 떨어져 있는 두 픽셀 및 세로 방향으로 λ 만큼 떨어져 있는 두 픽셀, 총 네 개의 픽셀(이하 참조 픽셀이라고 함) 각각과 현재 픽셀과의 차이(D₁, D₂, D₃, D₄)를 구하고, 그 차이가 임펄스 문턱값(T_impulse) 넘는가를 판단한다. 상기 임펄스 문턱값은 제1 임펄스 감지부(131)에서 사용된 것과 달리 고정된 상수값(예를 들어, 20)이 사용될 수 있다.

제2 임펄스 감지부(132)는 D₁, D₂, D₃, D₄ 중 상기 임펄스 문턱값을 넘는 것이 소정 개수, 예를 들어 3을 넘으면 현재 픽셀(35)을 임펄스 픽셀로 판정한다. D₁, D₂, D₃, D₄ 모두가 임펄스 문턱값을 넘는 것을 기준으로 하여도 좋지만, 참조 픽셀 중 하나 정도는 그레인 잡음(30) 내에 포함될 수도 있음을 고려한 것이다. 이와 같은, 현재 픽셀(35)이 임펄스 픽셀인지 여부를 판단하는 과정은 프레임 내의 모든 픽셀에 대하여 반복하여 수행된다.

필터 강도 계산부(136)는 제1 임펄스 감지부(131)에서 임펄스 픽셀이 아닌 것으로 판정된 픽셀(비임펄스 픽셀)에 대하여 필터 강도(γ)를 결정한다. 상기 비임펄스 픽셀을 중심으로 하는 마스크를 설정하고, 상기 설정된 마스크 내의 관심 픽셀들로부터 TSAD(ξ_local)를 구한다. 만약, ξ_local이 T_noise보다 크면, 그 때는 필터 강도(γ)는 1로 결정된다. 상기 T_noise는 상기 수학식 2의 계산으로부터 구할 수 있다.

그렇지 않은 경우에, 필터 강도는 다음의 수학식 4에 따라서 구해질 수 있다.

상기 수학식 4에서, ν는 현재 프레임의 잡음 추정치를, η는 신호 의존 계수(signal-dependent coefficient)를 각각 의미한다. 신호 의존 계수는 픽셀 값의 크기(밝기)에 따라서 동일한 이미지 내에서도 잡음의 정도가 다름을 고려하기 위하여 사용된다. 도 8은 0 내지 255까지의 범위를 갖는 픽셀 값에 대하여 신호 의존 계수의 변화를 나타낸 그래프이다. 여기서, 대략 픽셀 값이 90 정도인 부근에서 가장 높은 잡음이 발생됨을 알 수 있다. 실제 이러한 그래프는 다양한 픽셀 값을 갖는 테스트 차트(test chart)를 촬영하여 나타나는 잡음의 분포를 이용하여 구할 수 있다.

한편, 필터 적용부(140)는 현재의 픽셀에 대하여 소정의 필터를 적용하여, 상기 픽셀을 필터링된 결과 픽셀로 대치하여 역 색공간 변환부(150)에 제공한다.

필터 적용부(140)는 우선, 휘도 픽셀에 대하여 다음과 같은 필터 규칙을 적용한다. 상기 휘도 픽셀이 임펄스 픽셀이 아닌 경우에는 다음의 수학식 5를 적용한다.

y = μ_local + γ(x -μ_local)

여기서, x는 필터링 전 픽셀을, y는 필터링 후의 픽셀을 나타내고, μ_local 은 x를 중심으로 하여 마스크를 설정했을 때, 마스크 내의 전체 픽셀의 평균을 나타낸다. 그리고, 상기 휘도 픽셀이 임펄스 픽셀인 경우에 y는 제1 임펄스 감지부(131)에서 계산되는(도 5의 S58) Mean_trimmed와 같다. 수학식 5에서 γ는 필터 강도 계산부(136)에서 계산된 값으로서 0에서 1 사이의 값을 갖는다. 특히, γ가 1인 경우 y는 입력 값 x와 동일하게 되고, γ가 0인 경우 y는 μ_local 과 동일하게 된다.

다음으로, 필터 적용부(140)는 색차 픽셀에 대하여는 다음과 같은 필터 규칙을 적용한다. 상기 색차 픽셀이 임펄스 픽셀이 아닌 경우에는 다음의 수학식 6에 따라서 필터링을 수행한다.

If |ξ_local - ν| > β, then y = x

else, y = μ_local

여기서, ξ_local는 x를 중심으로 설정된 마스크 내 관심 픽셀들로부터 계산되는 TSAD를 나타내고, β는 상수로서 AGC와 Exposure의 선형 결합으로 나타나는 값이다. 이 선형 결합에서의 가중치로는 각각 80/96, 및 20/1254를 사용할 수 있다.

그리고, 상기 색차 픽셀이 임펄스 픽셀인 경우에는 도 7에서 설명한 참조 픽셀과 현재 색차 픽셀을 포함하는 5개의 픽셀들에 대하여 중간값 연산을 적용함으로써 y를 구할 수 있다.

이상의 필터 적용 과정은 현재 프레임을 구성하는 전체 픽셀에 대하여 적용된다.

역 색공간 변환부(150)는 필터 적용부(140)에 의하여 필터링된 현재 프레임의 각 픽셀들을 휘도-색차 색공간에서 RGB 색공간으로 변환한다. 이와 같이, RGB로 변환된 이미지는 디스플레이 장치 등에 의하여 사용자에게 표시될 수도 있다.

이상 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 이미지 센서의 잡음 저감 장치(100)의 구성을 설명하였다. 그러나, 도 1의 구성요소가 필수적으로 포함되어야 하는 것은 아니다. 예를 들어, 잡음 추정부(120)에서의 동작 과정은 AGC 및 Exposure 기반으로 잡음 레벨을 계산하는 과정으로 대체될 수가 있다. 또한, 임펄스 감지부(135)는 현재 픽셀이 임펄스 픽셀인지를 판단하는 역할을 하지만 임펄스인지 여부를 판단하지 않고서도 필터 강도 계산부(136) 및 필터 적용부(140)를 동작하는 데는 문제가 없다. 따라서, 임펄스 감지부(135)는 생략될 수도 있다.

또한, 색공간 변환부(110) 및 역 색공간 변환부(150)도 생략될 수 있다. 이 경우 입력되는 RGB 성분 각각에 대하여 상술한 휘도 성분의 잡음 저감 과정을 적용할 수 있다.

또한, 이상에서는 휘도 성분 및 색차 성분 각각을 모두 다른 알고리즘에 의하여 처리하는 것으로 하였지만, 동일한 알고리즘에 의하여 처리하여도 본 발명의 사상을 벗어나지 않는다. 더욱이, 휘도 성분 또는 색차 성분 중 어느 하나에 대해서만 상기 잡음 저감 과정을 적용하여도 무방하다.

본 명세서에 개시된 실시예들과 연관하여 설명된 여러 예시적인 논리 블록들은 본 명세서에서 설명된 기능들을 수행하도록 설계된 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그램가능 논리 장치, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 성분들, 또는 그것들의 임의의 결합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 선택적으로는, 그 프로세서는 임의의 종래 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 장치들의 결합, 예컨대, DSP와 마이크로프로세서의 결합, 복수의 마이크로 프로세서들, DSP 코어와 관련한 하나 이상의 마이크로 프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상술한 바와 같은 본 발명에 의하면, 잡음 특성과 촬영 정보에 기반한 이미지 센서에서 발생되는 잡음을 입력 영상 따라 적응적으로 보정시킬 수 있다.

Claims

소정의 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 잡음 레벨을 구하는 잡음 추정부;

상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀에 해당되는 픽셀을 감지하는 임펄스 감지부;

상기 감지된 픽셀이 임펄스 픽셀인지 여부 및 상기 잡음 레벨에 근거하여 필터 강도를 결정하는 필터 강도 계산부; 및

상기 결정된 필터 강도에 따라서 상기 이미지 프레임을 구성하는 픽셀들을 필터링하는 필터 적용부를 포함하는 잡음 저감 장치.
제1항에 있어서,

상기 색공간은 YCbCr, YUV, 및 YIQ 중 하나인 잡음 저감 장치.
제2항에 있어서,

상기 소정 색공간에서의 성분은 휘도(Y) 성분인 잡음 저감 장치.
제1항에 있어서,

입력되는 RGB 색공간의 성분을 상기 소정의 색공간의 성분으로 변환하는 색공간 변환부; 및

상기 필터링된 결과를 RGB 색공간의 성분으로 변환하는 역 색공간 변환부를 더 포함하는 잡음 저감 장치.
삭제
제1항에 있어서, 상기 잡음 추정부는

상기 이미지 프레임에 대하여, 소정 주파수 및 크기를 갖는 마스크 단위로 Trimmed SAD(Sum of Absolute Difference)를 구하는 잡음 블록 탐색부; 및

상기 Trimmed SAD를 소정의 잡음 문턱값과 비교하여 상기 잡음 문턱값보다 큰 Trimmed SAD의 대표값을 구하는 잡음 레벨 추정부를 포함하는 잡음 저감 장치.
제6항에 있어서, 상기 잡음 문턱값은

AGC(Auto Gain Control) 및 노출값(Exposure)의 선형 결합에 의하여 결정되는 잡음 저감 장치.
제6항에 있어서, 상기 대표값은

평균값 또는 중간값인 잡음 저감 장치.
제1항에 있어서, 상기 임펄스 감지부는

상기 이미지 프레임을 구성하는 휘도 픽셀 중에서 임펄스 픽셀을 감지하는 제1 임펄스 감지부; 및

상기 이미지 프레임을 구성하는 색차 픽셀 중에서 임펄스 픽셀을 감지하는 제2 임펄스 감지부를 포함하는 잡음 저감 장치.
제9항에 있어서, 상기 제1 임펄스 감지부는

현재 휘도 픽셀 값과 소정 크기의 블록 경계 내의 평균 픽셀 값의 차이가 소정의 임펄스 문턱값(T_impulse)보다 큰지를 판단하여, 그러하다면 상기 현재 휘도 픽셀과 상기 블록 경계 내의 주변 픽셀과의 차이가 소정의 문턱값(T_var)보다 작은 개수를 카운트하여, 상기 개수가 소정 개수 미만이면 상기 현재 휘도 픽셀을 임펄스 픽셀로 판정하는 잡음 저감 장치
제10항에 있어서, 상기 T_impulse는

상기 잡음 레벨과 상수의 합으로 계산되는 잡음 저감 장치.
제9항에 있어서, 상기 제2 임펄스 감지부는

현재 색차 픽셀과 공간적으로 소정의 가로 오프셋만큼 떨어져 있는 2개의 참조 픽셀과, 세로 오프셋만큼 떨어져 있는 다른 2개의 참조 픽셀을 결정하고, 상기 총 4개의 참조 픽셀과 현재 색차 픽셀과의 차이 값들을 각각 구한 후, 상기 차이 값들 중 소정의 문턱값을 넘는 것이 소정 개수를 넘는 경우에, 상기 현재 색차 픽셀을 임펄스 픽셀로 판정하는 잡음 저감 장치.
제1항에 있어서, 상기 필터 강도 계산부는

필터 강도(γ)를 수학식
에 의하여 계산하는데, 상기 ξ_local, 상기 ν, 및 상기 η는 소정 마스크에 대한 Trimmed SAD, 잡음 레벨, 및 신호 의존 계수를 각각 나타내는 잡음 저감 장치.
제1항에 있어서, 상기 일 성분이 휘도 성분인 경우에 상기 필터 적용부는,

필터링 전의 픽셀 값(x)로부터 필터링 후의 픽셀 값(y)를 수학식 y = μ_local + γ(x -μ_local)에 의하여 구하는데, 상기 μ_local 은 상기 x를 중심으로 마스크를 설정했을 때 마스크 내의 전체 픽셀의 평균을 나타내고, 상기 γ는 상기 결정된 필터 강도를 나타내는 잡음 저감 장치
제14항에 있어서, 상기 필터링 전의 픽셀이 임펄스 픽셀인 경우에 상기 필터 적용부는,

상기 y를 Mean_trimmed으로 결정하는 잡음 저감 장치.
제1항에 있어서, 상기 일 성분이 색차 성분인 경우에 상기 필터 적용부는,

상기 마스크의 Trimmed SAD와 상기 잡음 레벨의 차이가 소정의 상수보다 큰 경우에는 필터링을 생략하고, 그렇지 않은 경우에 한하여 필터링 후의 픽셀 값(y)를 μ_local로 결정하는 잡음 저감 장치.
제16항에 있어서, 상기 필터링 전의 픽셀이 임펄스 픽셀인 경우에 상기 필터 적용부는,

현재 색차 픽셀과 공간적으로 소정의 가로 오프셋만큼 떨어져 있는 2개의 참조 픽셀과, 세로 오프셋만큼 떨어져 있는 다른 2개의 참조 픽셀을 결정하고, 상기 총 4개의 참조 픽셀과 현재 색차 픽셀에 대한 중간값을 상기 y로 결정하는 잡음 저감 장치.
제1항에 있어서, 상기 이미지 센서는

CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor)로 이루어지는 잡음 저감 장치.
(a) 소정의 색공간에서의 일 성분으로 표현되는 이미지 프레임을 대표하는 잡음 레벨을 구하는 단계;

(b) 상기 이미지 프레임을 구성하는 픽셀들 중 임펄스 픽셀에 해당되는 픽셀을 감지하는 단계;

(c) 상기 감지된 픽셀이 임펄스 픽셀인지 여부 및 상기 잡음 레벨에 근거하여 필터 강도를 결정하는 단계; 및

(d) 상기 결정된 필터 강도에 따라서 상기 이미지 프레임을 구성하는 픽셀들을 필터링하는 단계를 포함하는 잡음 저감 방법.
제19항에 있어서,

상기 색공간은 YCbCr, YUV, 및 YIQ 중 하나인 잡음 저감 방법.
제20항에 있어서,

상기 소정 색공간에서의 성분은 휘도(Y) 성분인 잡음 저감 방법.
제19항에 있어서,

(e) 입력되는 RGB 색공간의 성분을 상기 소정의 색공간의 성분으로 변환하는 단계; 및

(f) 상기 필터링된 결과를 RGB 색공간의 성분으로 변환하는 단계를 더 포함하는 잡음 저감 방법.
삭제
제19항에 있어서, 상기 (a) 단계는

(a1) 상기 이미지 프레임에 대하여, 소정 주파수 및 크기를 갖는 마스크 단위로 Trimmed SAD(Sum of Absolute Difference)를 구하는 단계; 및

(a2) 상기 Trimmed SAD를 소정의 잡음 문턱값과 비교하여 상기 잡음 문턱값보다 큰 Trimmed SAD의 대표값을 구하는 단계를 포함하는 잡음 저감 방법.
제24항에 있어서, 상기 잡음 문턱값은

AGC(Auto Gain Control) 및 노출값(Exposure)의 선형 결합에 의하여 결정되는 잡음 저감 방법.
제24항에 있어서, 상기 대표값은

평균값 또는 중간값인 잡음 저감 방법.
제19항에 있어서, 상기 (b) 단계는

(b1) 상기 이미지 프레임을 구성하는 휘도 픽셀 중에서 임펄스 픽셀을 감지하는 단계; 및

(b2) 상기 이미지 프레임을 구성하는 색차 픽셀 중에서 임펄스 픽셀을 감지하는 단계를 포함하는 잡음 저감 방법.
제27항에 있어서, 상기 (b1) 단계는

현재 휘도 픽셀 값과 소정 크기의 블록 경계 내의 평균 픽셀 값의 차이가 소정의 임펄스 문턱값(T_impulse)보다 큰지를 판단하는 단계;

상기 판단 결과 그러하다면 상기 현재 휘도 픽셀과 상기 블록 경계 내의 주변 픽셀과의 차이가 소정의 문턱값(T_var)보다 작은 개수를 카운트하는 단계; 및

상기 카운트된 개수가 소정 개수 미만이면 상기 현재 휘도 픽셀을 임펄스 픽셀로 판정하는 단계를 포함하는 잡음 저감 방법
제28항에 있어서, 상기 T_impulse는

상기 잡음 레벨과 상수의 합으로 계산되는 잡음 저감 방법.
제27항에 있어서, 상기 (b2) 단계는

현재 색차 픽셀과 공간적으로 소정의 가로 오프셋만큼 떨어져 있는 2개의 참조 픽셀과, 세로 오프셋만큼 떨어져 있는 다른 2개의 참조 픽셀을 결정하는 단계;

상기 총 4개의 참조 픽셀과 현재 색차 픽셀과의 차이 값들을 각각 구하는 단계; 및

상기 차이 값들 중 소정의 문턱값을 넘는 것이 소정 개수를 넘는 경우에 상기 현재 색차 픽셀을 임펄스 픽셀로 판정하는 단계를 포함하는 잡음 저감 방법.
제19항에 있어서, 상기 (c) 단계의 필터 강도(γ)는

수학식
에 의하여 계산하는데, 상기 ξ_local, 상기 ν, 및 상기 η는 소정 마스크에 대한 Trimmed SAD, 잡음 레벨, 및 신호 의존 계수를 각각 나타내는 잡음 저감 방법.
제19항에 있어서, 상기 일 성분이 휘도 성분인 경우에 상기 (d) 단계는,

필터링 전의 픽셀 값(x)로부터 필터링 후의 픽셀 값(y)를 수학식 y = μ_local + γ(x -μ_local)에 의하여 단계를 포함하는데, 상기 μ_local 은 상기 x를 중심으로 마스크를 설정했을 때 마스크 내의 전체 픽셀의 평균을 나타내고, 상기 γ는 상기 결정된 필터 강도를 나타내는 잡음 저감 방법
제32항에 있어서, 상기 필터링 전의 픽셀이 임펄스 픽셀인 경우에 상기 (d) 단계는,

상기 y를 Mean_trimmed으로 결정하는 단계를 포함하는 잡음 저감 방법.
제19항에 있어서, 상기 일 성분이 색차 성분인 경우에 상기 (d) 단계는,

상기 마스크의 Trimmed SAD와 상기 잡음 레벨의 차이가 소정의 상수보다 큰 경우에는 필터링을 생략하고, 그렇지 않은 경우에 한하여 필터링 후의 픽셀 값(y)를 μ_local로 결정하는 단계를 포함하는 잡음 저감 방법.
제34항에 있어서, 상기 필터링 전의 픽셀이 임펄스 픽셀인 경우에 상기 (d) 단계는,

현재 색차 픽셀과 공간적으로 소정의 가로 오프셋만큼 떨어져 있는 2개의 참조 픽셀과, 세로 오프셋만큼 떨어져 있는 다른 2개의 참조 픽셀을 결정하는 단계; 및

상기 총 4개의 참조 픽셀과 현재 색차 픽셀에 대한 중간값을 상기 y로 결정하는 단계를 포함하는 잡음 저감 방법.
제19항에 있어서, 상기 이미지 센서는

CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor)로 이루어지는 잡음 저감 방법.