KR100947486B1

KR100947486B1 - 결함 픽셀 보정 장치 및 방법

Info

Publication number: KR100947486B1
Application number: KR1020090064128A
Authority: KR
Inventors: 김영진
Original assignee: 주식회사 코아로직
Priority date: 2009-07-14
Filing date: 2009-07-14
Publication date: 2010-03-17
Anticipated expiration: 2029-07-14

Abstract

결함 픽셀 보정 장치 및 방법이 개시되어 있다. 결함 픽셀 보정 장치는 이미지 센서의 결함 픽셀의 위치 정보를 저장하는 내용 주소화 메모리(CAM : Content Addressable Memory)부와, 현재 픽셀의 픽셀 값이 수신되면 현재 픽셀의 위치를 산출하여 내용 주소화 메모리부를 검색하고 그 결과에 근거하여 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 결함 픽셀 검출부와, 현재 픽셀이 결함 픽셀일 경우 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고 그 결과에 근거하여 각각의 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 주변 픽셀 결함 검출부 및 주변 픽셀 결함 검출부에 의한 판단에 근거하여 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 결함 픽셀 보정부를 포함할 수 있다. 따라서, 내용 주소화 메모리를 이용하여 현재 픽셀 또는 주변 픽셀의 결함 여부를 신속하게 확인하고 결함이 없는 정상적인 주변 픽셀들의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있다.

이미지 센서, 결함 픽셀, 내용 주소화 메모리, 보정, 평균값

Description

결함 픽셀 보정 장치 및 방법 {Apparatus and Method for Correction Defect Pixel}

본 발명은 결함 픽셀 보정 장치 및 방법에 관한 것으로서, 좀더 상세하게는, 이미지 센서의 결함 픽셀에 의하여 발생할 수 있는 에러를 신속하고 효율적으로 보정할 수 있는 결함 픽셀 보정 기술에 관한 것이다.

일반적으로, 디지털 영상 촬영 장치는 피사체의 영상을 취득하여 정지 또는 동영상 파일 등과 같은 디지털 정보를 생성하는 장치를 의미한다. 예를 들면, 디지털 영상 촬영 장치는 디지털 카메라, 디지털 캠코더 등을 의미할 수 있으며, 최근에는 모바일 단말기 등과 같은 무선 통신 단말기에도 사진 촬영 또는 동영상 촬영 기능이 추가되고 있다.

통상, 이러한 디지털 영상 촬영 장치는 피사체의 이미지를 취득하기 위하여 이미지 센서를 구비할 수 있다. 현재 주로 사용되는 이미지 센서는 CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등이다. 이 중 CCD는 노이즈가 적고 선명한 화질의 표현이 가능한 반면 가격이 비싸고 주변 회로가 복잡하다. CMOS는 CCD에 비하여 저전력으로 구동 가능하며 구동 방식이 간단하고, 신호 처리 회로를 단일 칩에 집적할 수 있어 특히 소형 디지털 영상 촬영 장치에 주로 사용되고 있다.

이러한 CCD 또는 CMOS는 각 픽셀에 대응되는 광전 변환 수단, 예컨대 포토 다이오드 등을 통하여 각 픽셀에서 피사체로부터 입사된 광을 전기적인 신호(즉, 전하)로 축적하고, 이를 디지털 신호로 변환함으로써 이미지 데이터를 취득한다.

그런데 이미지 센서의 제조과정에서는 이물질 또는 제조 공정상의 불안정 요인으로 인하여 특정 픽셀에 결함이 존재할 수 있으며 그 결함 픽셀에 의하여 고정 패턴 노이즈가 발생할 수 있다.

상기 결함 픽셀의 유형은 크게 3가지, 예컨대 스턱 하이(Stuck High) 결함 픽셀, 스턱 로우(Stuck Low) 결함 픽셀 및 비정상 응답(Abnormal Response) 결함 픽셀로 구분될 수 있다.

상기 스턱 하이 결함 픽셀은 특정 조도에 대하여 항상 높은 휘도 값을 나타내는 픽셀로서, 이러한 스턱 하이 결함 픽셀에 의하여 발생하는 노이즈를 화이트 노이즈라 칭한다. 스턱 로우 결함 픽셀은 특정 조도에서 항상 낮은 휘도 값을 나타내는 픽셀로서, 스턱 로우 결함 픽셀에 의하여 발새하는 노이즈를 블랙 노이즈라 칭한다. 한편, 비정상 응답 결함 픽셀은 정상 픽셀에 비하여 상대적인 변화 값을 나타내는 픽셀로서, 예컨대 A의 휘도 값을 나타내는 것이 정상적인 경우 비정상 응답 결함 픽셀은 1.25 x A의 휘도 값을 나타낼 수 있다.

이와 같이, 이미지 센서는 그 제조 과정에서 발생하는 다양한 유형의 결함 픽셀이 존재할 수 있기 때문에, 이미지 센서를 이용한 데이터 처리 프로세스에서는 이미지 센서의 결함 픽셀을 검출하여 그 값을 적절히 보정하는 기술이 요구된다.

본 발명이 해결하고자 하는 기술적인 과제는, 내용 주소화 메모리를 이용하여 현재 픽셀 또는 주변 픽셀의 결함 여부를 신속하게 확인하고, 결함이 없는 정상적인 주변 픽셀들의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있는 결함 픽셀 보정 장치 및 방법을 제공하는데 있다.

이러한 기술적인 과제를 해결하기 위하여, 본 발명은 일 측면(Aspect)에서 결함 픽셀 보정 장치를 제공한다. 상기 결함 픽셀 보정 장치는, 이미지 센서의 결함 픽셀의 위치 정보를 저장하는 내용 주소화 메모리(CAM : Content Addressable Memory)부와; 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 결함 픽셀 검출부와; 상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 각각의 상기 주변 픽 셀이 결함 픽셀인지의 여부를 판단하는 주변 픽셀 결함 검출부; 및 상기 주변 픽셀 결함 검출부에 의한 판단에 근거하여, 상기 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 결함 픽셀 보정부를 포함한다.

상기 결함 픽셀 검출부는 상기 산출되는 현재 픽셀의 위치를 포함한 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송할 수 있다. 이 경우 상기 내용 주소화 메모리부는 상기 저장된 결함 픽셀의 위치 정보에 상기 현재 픽셀의 위치가 존재할 경우 상기 현재 픽셀의 위치가 저장된 메모리 주소 값을 출력할 수 있다. 상기 결함 픽셀 검출부는 상기 1차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 상기 메모리 주소 값이 수신될 경우, 상기 현재 픽셀이 결함 픽셀인 것으로 판단할 수 있다.

상기 주변 픽셀 결함 검출부는 상기 산출되는 다수 개의 주변 픽셀의 위치에 대응되는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송할 수 있다. 이 경우, 상기 내용 주소화 메모리부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀의 위치 정보에 그 위치가 존재하는 주변 픽셀의 위치가 저장된 메모리 주소 값을 출력할 수 있다. 상기 주변 픽셀 결함 검출부는 상기 다수 개의 2차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 메모리 주소 값이 수신되는 주변 픽셀을 결함 픽셀인 것으로 판단할 수 있다.

상기 결함 픽셀 보정 장치는, 상기 이미지 센서로부터 수신되는 각 픽셀 값이 해당 프레임의 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 카운터부를 더 포함할 수도 있다. 상기 결함 픽셀 검출부는 상기 카운터부의 카운트 값을 사용하여 상기 현재 픽셀의 위치를 산출할 수도 있다.

상기 결함 픽셀 보정 장치의 상기 결함 픽셀 보정부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀을 제외한 상기 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출할 수 있다.

한편, 상술한 본 발명의 기술적 과제를 해결하기 위하여 본 발명은 다른 측면에서 결함 픽셀 보정 방법을 제공한다. 상기 결함 픽셀 보정 방법은, 이미지 센서의 결함 픽셀의 위치 정보를 내용 주소화 메모리부에 저장하는 단계와; 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀의 카운트 값을 근거로 하여 상기 현재 픽셀의 위치를 산출하는 단계와; 상기 산출된 현재 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 1차 검색하는 단계와; 상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계와; 상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하는 단계와; 상기 산출된 다수 개의 주변 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 2차 검색하는 단계와; 상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계; 및 상기 각각의 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계에 의하여 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계를 포함할 수 있다.

상기 내용 주소화 메모리부를 1차 검색하는 단계는, 상기 산출된 현재 픽셀의 위치를 포함하는 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하 는 단계; 및 상기 산출된 현재 픽셀의 위치가 상기 내용 주소화 메모리부에 저장되어 있을 경우, 상기 현재 픽셀의 위치가 저장된 메모리 주소를 수신하는 단계를 포함할 수도 있다.

상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는, 상기 현재 픽셀의 위치가 저장된 메모리 주소를 상기 내용 주소화 메모리부로부터 수신할 경우 상기 현재 픽셀을 결함 픽셀로 판단하는 단계를 포함할 수 있다.

상기 다수 개의 주변 픽셀의 위치를 산출하는 단계는, 상기 산출된 현재 픽셀의 위치를 기반으로 하여 상기 다수 개의 주변 픽셀의 위치를 산출하는 단계를 포함할 수 있다.

상기 내용 주소화 메모리부를 2차 검색하는 단계는, 상기 산출된 다수 개의 주변 픽셀의 위치를 포함하는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하는 단계; 및 상기 다수 개의 주변 픽셀 중 상기 내용 주소화 메모리부에 위치 정보가 저장되어 있는 주변 픽셀이 존재할 경우, 그 위치가 저장된 메모리 주소를 수신하는 단계를 포함할 수도 있다.

상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는, 상기 내용 주소화 메모리부로부터 메모리 주소를 수신한 주변 픽셀을 결함 픽셀로 판단하는 단계를 포함할 수 있다.

상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계는, 상기 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출하는 단계를 포함할 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면 내용 주소화 메모리를 이용하여 현재 픽셀 또는 주변 픽셀의 결함 여부를 신속하게 확인하고, 결함이 없는 정상적인 주변 픽셀들의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있다. 따라서, 결함 픽셀의 보정 시 처리 속도 및 신뢰도를 향상시킬 수 있는 장점이 있다.

이하, 본 발명이 속하는 분야에 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 이하에 설명할 본 발명의 바람직한 실시예에서는 내용의 명료성을 위하여 특정한 기술 용어를 사용한다. 하지만 본 발명은 그 선택된 특정 용어에 한정되지는 않으며, 각각의 특정 용어가 유사한 목적을 달성하기 위하여 유사한 방식으로 동작하는 모든 기술 동의어를 포함함을 미리 밝혀둔다.

도 1은 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치를 구비하는 디지털 영상 촬영 장치의 구성을 도시하는 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치(100)는 디지털 영상 촬영 장치(1)에 구비될 수 있다. 이때 디지털 영상 촬 영 장치(1)는 예컨대, 디지털 캠코더, 디지털 카메라 또는 디지털 영상 촬영 기능을 구비하는 모바일 단말기 등일 수 있다.

이러한 디지털 영상 촬영 장치(1)는 이미지 센서부(10), 이미지 신호 프로세서(ISP: Image Signal Processor)부(20), 백엔드칩(Back End Chip)부(30) 및 디스플레이부(40) 등을 포함할 수 있다.

이미지 센서부(10)는 렌즈로부터 입사되는 광으로부터 픽셀 값을 취득하여 출력하는 기능을 수행한다. 예를 들면, 이미지 센서부(10)는 렌즈로부터 입사되는 광에 의하여 형성되는 촬상 신호를 가공되지 않은 베이어 RGB 포맷(Bayer RGB Format)의 픽셀 값으로 출력할 수 있다.

이미지 신호 프로세서부(20)는 상기 이미지 센서부(10)로부터 수신되는 픽셀 값을 수신하여 결함 픽셀의 픽셀 값을 보정한 뒤, 적절한 포맷으로 변환하여 출력하는 기능을 수행한다.

이러한 이미지 신호 프로세서부(20)는 결함 픽셀 보정 장치(100) 및 이미지 처리부(22)를 포함할 수 있다. 결함 픽셀 보정 장치(100)는, 예컨대, 이미지 센서부(10)로부터 베이어 RGB 포맷의 픽셀 값을 수신하고 이미지 센서부(10)의 결함 픽셀들을 확인하여 결함 픽셀의 픽셀 값을 보정한 후 이미지 처리부(22)로 전송하는 기능을 수행할 수 있다. 이미지 처리부(22)는, 예컨대, 베이어 RGB 포맷의 픽셀 값을 RGB 포맷의 데이터로 변환하고 이를 디스플레이부(40)에 요구되는 특정한 포맷의 데이터, 예를 들면, YUV 포맷의 데이터 등으로 변환한 후 출력하는 기능을 수행할 수 있다.

백엔드칩부(30)는 디지털 영상 처리 장치(1)의 동작 및 기능을 전체적으로 제어하는 기능, 상기 이미지 신호 프로세서부(20)로부터 출력되는 특정한 포맷의 데이터, 예컨대 YUV 포맷 데이터를 처리하여 디스플레이부(40)로 전송하는 기능 등을 수행할 수 있다. 이러한 백엔드칩부(30)는 모바일 스위칭 모뎀(MSM : Mobile Switching Modem), 디지털 신호 프로세서(DSP : Digital Signal Processor) 등을 통하여 구현할 수 있다.

디스플레이부(40)는 백엔드칩부(30)로부터 데이터를 수신하여 촬영된 피사체의 이미지를 디스플레이한다. 디스플레이부(40)는 예컨대 LCD(Liquid Crystal Display) 패널 등을 포함할 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치의 구성을 도시하는 블록도로서, 도 1에 도시된 결함 픽셀 보정 장치(100)의 상세 구성을 나타내고 있다.

도 2에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치(100)는 내용 주소화 메모리(CAM : Content Addressable Memory)부(150), 카운터(Counter)부(140), 결함 픽셀 검출부(110), 주변 픽셀 결함 검출부(120) 및 결함 픽셀 보정부(130) 등을 포함할 수 있다. 상기 각부는 상호 간에 통신을 통하여 연동 가능하다.

내용 주소화 메모리부(150)는 이미지 센서부(10)의 결함 픽셀의 위치 정보를 저장하는 기능을 수행한다. 상기 결함 픽셀의 위치 정보는 이미지 센서부(10)의 픽셀들 중 결함이 있는 결함 픽셀들의 위치(예컨대, 이미지 센서부의 픽셀 매트릭스 중 결함 픽셀의 행 및 열 등)를 포함할 수 있다.

상기 내용 주소화 메모리부(150)는 데이터가 저장된 메모리 주소 값을 입력하면 해당 데이터 값을 출력하는 일반적인 메모리와는 달리, 데이터 값을 입력하면 해당 데이터가 저장되어 있는 메모리 주소 값을 출력한다.

예를 들면, 내용 주소화 메모리부(150)는 결함 픽셀 검출부(110)로부터 현재 픽셀의 위치가 포함된 1차 검색 요청 메시지를 수신하면, 기 저장되어 있는 결함 픽셀의 위치 정보에서 상기 현재 픽셀의 위치가 포함되어 있을 경우 상기 현재 픽셀의 위치가 저장되어 있는 메모리 주소 값을 출력할 수 있다. 또한, 내용 주소화 메모리부(150)는 주변 픽셀 결함 검출부(120)로부터 주변 픽셀의 위치가 포함된 2차 검색 요청 메시지를 수신하면, 기 저장되어 있는 결함 픽셀의 위치 정보에서 상기 주변 픽셀의 위치가 포함되어 있을 경우 상기 주변 픽셀의 위치가 저장되어 있는 메모리 주소 값을 출력할 수도 있다.

카운터부(140)는 이미지 센서부(10)로부터 수신되는 픽셀 값이 해당 프레임에서 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 기능을 수행할 수 있다. 즉 카운터부(140)는 이미지 센서부(10)로부터 프레임의 첫 번째 픽셀의 픽셀 값이 수신되면 '1'부터 카운팅하기 시작하여 마지막 픽셀의 픽셀 값이 수신될 때까지 순차적으로 카운팅을 수행하면서, 해당 카운트 값을 출력할 수 있다. 예를 들어, 카운터부(140)는 현재 픽셀이 수신되면, 상기 현재 픽셀이 프레임에서 몇 번째 픽셀인지를 나타내는 카운트 값을 출력할 수 있다.

결함 픽셀 검출부(110)는 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀 의 위치를 산출한 뒤 산출된 현재 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부(150)를 검색하고, 그 결과에 근거하여 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 기능을 수행할 수 있다.

예를 들면, 결함 픽셀 검출부(150)는 현재 픽셀이 수신되면, 카운터부(140)로부터 현재 픽셀에 대응되는 카운트 값을 수신하고 그 카운트 값을 사용하여 현재 픽셀의 위치를 산출할 수 있다. 그리고 결함 픽셀 검출부(110)는 산출된 현재 픽셀의 위치를 포함하는 1 차 검색 요청 메시지를 내용 주소화 메모리부(150)로 전송하고, 내용 주소화 메모리부(150)로부터 상기 현재 픽셀의 위치가 저장된 메모리 주소가 출력될 경우 상기 현재 픽셀을 결함 픽셀로 판단할 수 있다. 또한, 결함 픽셀 검출부(110)는 주변 픽셀 결함 검출부(120)로 현재 픽셀을 보정하는데 필요한 주변 픽셀의 결함 여부를 검출할 것을 요청하는 동작 요청 메시지를 전송할 수도 있다. 한편, 상기 1차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부(150)로부터 응답이 없을 경우, 상기 현재 픽셀이 결함 픽셀이 아닌 것으로 판단하고, 현재 픽셀의 픽셀 값을 이미지 처리부(22)로 출력할 수 있다.

주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)에 의하여 현재 픽셀이 결함 픽셀인 것으로 판단되었을 경우, 상기 내용 주소화 메모리부(150)를 검색하여 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 결함 여부를 검출하고 그 결과 데이터를 결함 픽셀 보정부(130)로 전송하는 기능을 수행할 수 있다.

예를 들면, 주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)로부터 동작 요청 메시지를 수신하면, 현재 픽셀의 위치를 근거로 다수 개의 주변 픽셀 의 위치를 산출하고, 산출된 다수 개의 주변 픽셀의 위치를 포함하는 다수 개의 2차 검색 요청 메시지를 내용 주소화 메모리부(150)로 전송한다. 그리고 상기 2차 검색 요청 메시지에 대응하여, 내용 주소화 메모리부(150)로부터 메모리 주소 값이 수신되는 주변 픽셀은 결함 픽셀로 판단할 수 있다. 한편 주변 픽셀 결함 검출부(120)는 결함 픽셀로 판단된 주변 픽셀의 정보를 결함 픽셀 보정부(130)로 전송할 수 있다.

결함 픽셀 보정부(130)는 상기 주변 픽셀 결함 검출부(120)에 의한 판단에 근거하여 상기 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 기능을 수행할 수 있다. 예를 들면, 결함 픽셀 보정부(130)는 현재 픽셀의 주변 픽셀들 중 결함 픽셀을 제외한 정상 픽셀의 픽셀 값의 평균 값을 현재 픽셀의 보정 픽셀 값으로서 산출할 수 있다.

도 3은 도 2에 도시되어 있는 결함 픽셀 보정 장치(100)의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 방법을 나타내고 있다.

도 3에 도시된 바와 같이, 먼저, 결함 픽셀 보정 장치(100)의 내용 주소화 메모리부(150)는 이미지 센서부(10)의 결함 픽셀의 위치 정보를 저장한다(단계:S1). 예를 들면, 내용 주소화 메모리부(150)는 이미지 센서부(10)의 픽셀들 중 결함이 있는 결함 픽셀들의 위치, 예컨대 해당 픽셀의 행 및 열 등의 정보를 저장할 수 있다. 각 결함 픽셀의 위치는 내용 주소화 메모리부(150)의 해당 메모리 주소에 각각 저장될 수 있다.

이어서, 결함 픽셀 보정 장치(100)는 이미지 센서부(10)로부터 현재 프레임의 첫 번째 픽셀의 픽셀 값부터 수신하기 시작하고 카운터부(140)는 첫 번째 픽셀부터 카운팅하면서 대응된 카운트 값을 출력한다. 예컨대, 결함 픽셀 보정 장치(100)는 이미지 센서부(10)로부터 첫 번째 행의 좌측 첫 번째 픽셀(즉, 현재 프레임의 첫 번째 픽셀)부터 마지막 행의 우측 마지막 픽셀(즉, 현재 프레임의 마지막 픽셀)까지의 픽셀 값들을 순차적으로 수신하고, 초기 카운트 값(예컨대, '1' 등)으로부터 설정된 값(예컨대, '1' 등)씩 증가시키면서 해당 픽셀에 대응되는 카운트 값을 순차적으로 출력할 수 있다.

이미지 센서부(10)로부터 현재 픽셀의 픽셀 값이 수신되면(단계:S2), 결함 픽셀 검출부(110)는 상기 수신되는 현재 픽셀의 위치를 산출한다(단계:S3). 예를 들면, 결함 픽셀 검출부(110)는 카운터부(140)로부터 출력되는 현재 픽셀의 카운트 값을 사용하여 현재 픽셀이 몇 번째 현재 프레임에서 몇 번째 픽셀인지를 확인하고, 이를 토대로 현재 픽셀의 행/열 위치를 산출할 수 있다.

이어서, 결함 픽셀 검출부(110)는 상기 산출된 현재 픽셀의 위치를 사용하여 내용 주소화 메모리부(150)를 검색하고(단계:S4), 그 결과를 토대로 현재 픽셀이 결함 픽셀인지의 여부를 판단한다(단계:S5).

예를 들면, 결함 픽셀 검출부(110)는 상기 산출된 현재 픽셀의 위치를 포함하는 1차 검색 요청 메시지를 내용 주소화 메모리부로 전송하고, 내용 주소화 메모리부(150)는 기 저장된 결함 픽셀의 위치 정보에 상기 현재 픽셀의 위치에 대응하 는 정보가 있을 경우 상기 현재 픽셀의 위치가 저장된 메모리 주소 값을 출력한다. 그러면, 결함 픽셀 검출부(110)는 상기 1차 검색 요청 메시지에 대응하여 내용 주소화 메모리부(150)로부터 메모리 주소 값이 출력되는 경우 현재 픽셀이 결함 픽셀인 것으로 판단한다. 이 경우 결함 픽셀 검출부(110)는 주변 픽셀 결함 검출부(120)로 동작 요청 메시지를 전송할 수도 있다. 반면, 상기 1차 검색 요청 메시지에 대응하여 메모리 주소 값이 출력되지 않으면, 상기 현재 픽셀은 정상 픽셀인 것으로 판단할 수 있다.

다음으로, 주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)에 의하여 상기 현재 픽셀이 결함 픽셀로 판단되었을 경우, 상기 현재 픽셀의 위치 정보를 근거로 하여 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출한다(단계:S6).

도 4는 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 예를 설명하기 위한 예시도이다. 도 4에 도시된 픽셀 PA는 현재 픽셀을 나타내며, 픽셀 N1 내지 N8은 현재 픽셀이 결함 픽셀일 경우 현재 픽셀을 보정하는데 사용할 주변 픽셀을 나타낸다. 도 4에 도시된 바와 같이, 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀은 현재 픽셀에 인접한 8개의 픽셀일 수 있다.

그런데, 이미지 센서부로부터 수신되는 픽셀 값이 베이어 RGB 포맷인 경우 각각의 픽셀 값은 R(Red), G(Green) 또는 B(Blue)의 중 어느 하나의 픽셀 값을 가진다.

도 5는 이미지 센서부로부터 수신되는 픽셀 값이 베이어 RGB 포맷일 경우 RGB 픽셀 배치의 예를 나타내는 예시도이다.

도 5에 도시된 바와 같이, 이미지 센서부의 픽셀은 G 픽셀(예컨대, G11, G13, G22, G24 등), R 픽셀(예컨대, R12, R14, R32, R34 등), B 픽셀(예컨대, B21, B23, B25, B41 등) 등으로 구분된다.

도 6은 도 5에 도시된 예에서 현재 픽셀이 G33 픽셀일 경우 상기 G33 픽셀을 보정하기 위한 주변 픽셀들의 예를 나타내는 예시도이고, 도 7은 도 6에 도시된 주변 픽셀들을 이해가 용이하도록 도 4에 도시된 형태로 표시한 예시도이다.

도 6내지 7에 도시된 바와 같이, 현재 픽셀이 G33일 경우, 현재 픽셀을 보정하는데 필요한 주변 픽셀은 상기 현재 픽셀 G33에 근접한 8개의 G 픽셀들, 예컨대, 픽셀 G22, G13, G24, G31, G35, G42, G44, G53일 수 있다. 이하에서는 상기 8개의 주변 픽셀들 중 G24 및 G53이 결함 픽셀인 것으로 가정하여 설명하기로 한다. 이 경우 상기 G24 및 G53의 위치 정보가 내용 주소화 메모리부에 저장되어 있다. 한편 이러한 주변 픽셀의 예는 실시의 한 예일 뿐 현재 픽셀의 보정을 위한 주변 픽셀의 개수는 실시 환경에 따라 다양하게 설정할 수 있음은 물론이다.

상기 도 6에 도시된 예를 토대로 설명하면, 상기 단계S6에서, 주변 픽셀 결함 검출부(120)는 현재 픽셀인 G33의 위치를 토대로 주변 픽셀인 G22, G13, G24, G31, G35, G42, G44, G53 위치를 산출할 수 있다.

이어서, 주변 픽셀 결함 검출부(120)는 내용 주소화 메모리부(150)에서 주변 픽셀의 결함 여부를 검색할 수 있다(단계:S7). 예를 들면, 주변 픽셀 결함 검출부(120)는 상기 산출된 G22, G13, G24, G31, G35, G42, G44, G53의 위치를 각기 포 함하는 8 개의 2차 검색 요청 메시지를 생성하고, 이를 내용 주소화 메모리부(150)로 전송한다. 그러면, 내용 주소화 메모리부(150)는 상기 각각의 주변 픽셀의 위치에 대응하는 정보가 기 저장된 결함 픽셀의 위치 정보에 포함되어 있을 경우 해당 정보가 저장되어 있는 메모리 주소 값을 출력한다. 예컨대, 주변 픽셀인 G24 및 G53이 결함 픽셀일 경우, 내용 주소화 메모리부(150)는 상기 주변 픽셀 G24 및 G53의 2차 검색 요청 메시지에 응답하여, 상기 주변 픽셀 G24 및 G53의 위치가 저장된 메모리 주소 값을 각각 출력하게 된다. 그러면, 주변 픽셀 결함 검출부(120)는 상기 G24 및 G53이 결함 픽셀인 것을 판단할 수 있다. 그리고, 주변 픽셀 결함 검출부(120)는 상기 G24 및 G53이 결함 픽셀임을 알리는 메시지를 결함 픽셀 보정부(130)로 전송할 수 있다.

이어서, 결함 픽셀 보정부(130)는 상기 주변 픽셀 결함 검출부(120)에 의하여 결함 픽셀로 판단된 주변 픽셀을 제외한 나머지 주변 픽셀들, 즉 정상적인 주변 픽셀의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있다(단계:S8). 즉, 결함 픽셀 보정부(130)는 주변 픽셀들 중 정상 픽셀들의 픽셀 값만을 이용하여 현재 픽셀의 보정 픽셀 값을 산출하는 것이다.

예를 들면, 결함 픽셀 보정부(130)는 정상적인 주변 픽셀들의 픽셀 값의 평균 값을 현재 픽셀의 보정 픽셀 값으로서 산출할 수 있다. 수학식 1은 결함 픽셀 보정부(130)에 의한 보정 값 산출 알고리즘을 나타내고 있다.

상기 수학식 1에서, CA는 현재 픽셀의 보정 값, 'N'은 주변 픽셀의 시리얼 넘버를 의미하며, 'CAM(N)'은 주변 픽셀 N이 결함 픽셀일 경우 '0', 정상 픽셀일 경우 '1'의 값을 가지는 함수이며, PI(N)은 주변 픽셀 N의 픽셀 값을 나타낸다.

수학식 1에 도시된 바와 같이, 현재 픽셀의 보정 값은 주변 픽셀들 중 결함 픽셀을 제외한 정상적인 주변 픽셀의 픽셀 값을 모두 더한 값에서 정상적인 주변 픽셀의 개수를 나눔으로써 산출될 수 있다. 즉, 현재 픽셀의 보정 픽셀 값은 정상적인 주변 픽셀의 픽셀 값의 평균 값을 의미할 수 있다.

예를 들어, 도 6에 도시된 예에서, 현재 픽셀 G33의 보정 픽셀 값은 주변 픽셀인 G22, G13, G24, G31, G35, G42, G44, G53 중 결함 픽셀인 G24 및 G53을 제외한 나머지 주변 픽셀들, 즉 G22, G13, G31, G35, G42, G44의 평균 값일 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면 결함 픽셀의 보정 시에 정상적인 주변 픽셀들만으로 보정 픽셀 값을 산출함으로써 영상의 화질을 개선할 수 있으며, 내용 주소화 메모리의 사용을 통하여 각 픽셀의 결함 여부 판단 시에 신속한 처리가 가능하게 된다.

이상 본 발명에 대하여 그 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

도 2는 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치의 구성을 도시하는 블록도이다.

도 3은 도 2에 도시되어 있는 결함 픽셀 보정 장치의 동작 흐름을 설명하기 위한 흐름도이다.

도 4는 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 예를 설명하기 위한 예시도이다.

도 6은 도 5에 도시된 예에서 현재 픽셀이 G33 픽셀일 경우 상기 G33 픽셀을 보정하기 위한 주변 픽셀들의 예를 나타내는 예시도이다.

도 7은 도 6에 도시된 주변 픽셀들을 이해가 용이하도록 도 4에 도시된 형태로 표시한 예시도이다.

<도면의 주요 부분에 대한 부호 설명>

10 : 이미지 센서부

100 : 결함 픽셀 보정 장치

110 : 결함 픽셀 검출부

120 : 주변 픽셀 결함 검출부

130 : 결함 픽셀 보정부

140 : 카운터부

150 : 내용 주소화 메모리부

Claims

이미지 센서의 결함 픽셀의 위치 정보를 저장하는 내용 주소화 메모리(CAM : Content Addressable Memory)부;

현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 결함 픽셀 검출부;

상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 주변 픽셀 결함 검출부;

상기 주변 픽셀 결함 검출부에 의한 판단에 근거하여, 상기 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 결함 픽셀 보정부; 및

상기 이미지 센서로부터 수신되는 각 픽셀 값이 해당 프레임의 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 카운터부를 포함하는 것을 특징으로 하는 결함 픽셀 보정 장치.
제 1 항에 있어서, 상기 결함 픽셀 검출부는 상기 산출되는 현재 픽셀의 위치를 포함한 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하고, 상기 내용 주소화 메모리부는 상기 저장된 결함 픽셀의 위치 정보에 상기 현재 픽셀의 위치가 존재할 경우 상기 현재 픽셀의 위치가 저장된 메모리 주소 값을 출력하는 것을 특징으로 하는 결함 픽셀 보정 장치.
제 2 항에 있어서, 상기 결함 픽셀 검출부는 상기 1차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 상기 메모리 주소 값이 수신될 경우, 상기 현재 픽셀이 결함 픽셀인 것으로 판단하는 것을 특징으로 하는 결함 픽셀 보정 장치.
제 1 항에 있어서, 상기 주변 픽셀 결함 검출부는 상기 산출되는 다수 개의 주변 픽셀의 위치에 대응되는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하고, 상기 내용 주소화 메모리부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀의 위치 정보에 그 위치가 존재하는 주변 픽셀의 위치가 저장된 메모리 주소 값을 출력하는 것을 특징으로 하는 결함 픽셀 보정 장치.
제 4 항에 있어서, 상기 주변 픽셀 결함 검출부는 상기 다수 개의 2차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 메모리 주소 값이 수신되는 주변 픽셀을 결함 픽셀인 것으로 판단하는 것을 특징으로 하는 결함 픽셀 보 정 장치.
삭제
제 1 항에 있어서, 상기 결함 픽셀 검출부는 상기 카운터부의 카운트 값을 사용하여 상기 현재 픽셀의 위치를 산출하는 것을 특징으로 하는 결함 픽셀 보정 장치.
제 1 항에 있어서, 상기 결함 픽셀 보정부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀을 제외한 상기 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출하는 것을 특징으로 하는 결함 픽셀 보정 장치.
이미지 센서의 결함 픽셀의 위치 정보를 내용 주소화 메모리부에 저장하는 단계;

상기 이미지 센서로부터 수신되는 각 픽셀 값이 해당 프레임의 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 단계;

현재 픽셀의 픽셀 값이 수신되면, 상기 카운트 값을 근거로 하여 상기 현재 픽셀의 위치를 산출하는 단계;

상기 산출된 현재 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 1차 검색하는 단계;

상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계;

상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하는 단계;

상기 산출된 다수 개의 주변 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 2차 검색하는 단계;

상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계; 및

상기 각각의 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계에 의하여 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 9 항에 있어서, 상기 내용 주소화 메모리부를 1차 검색하는 단계는,

상기 산출된 현재 픽셀의 위치를 포함하는 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하는 단계; 및

상기 산출된 현재 픽셀의 위치가 상기 내용 주소화 메모리부에 저장되어 있을 경우, 상기 현재 픽셀의 위치가 저장된 메모리 주소를 수신하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 10 항에 있어서, 상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는,

상기 현재 픽셀의 위치가 저장된 메모리 주소를 상기 내용 주소화 메모리부로부터 수신할 경우 상기 현재 픽셀을 결함 픽셀로 판단하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 9 항에 있어서, 상기 다수 개의 주변 픽셀의 위치를 산출하는 단계는,

상기 산출된 현재 픽셀의 위치를 기반으로 하여 상기 다수 개의 주변 픽셀의 위치를 산출하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 9 항에 있어서, 상기 내용 주소화 메모리부를 2차 검색하는 단계는,

상기 산출된 다수 개의 주변 픽셀의 위치를 포함하는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하는 단계; 및

상기 다수 개의 주변 픽셀 중 상기 내용 주소화 메모리부에 위치 정보가 저장되어 있는 주변 픽셀이 존재할 경우, 그 위치가 저장된 메모리 주소를 수신하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 13 항에 있어서, 상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는,

상기 내용 주소화 메모리부로부터 메모리 주소를 수신한 주변 픽셀을 결함 픽셀로 판단하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.
제 9 항에 있어서, 상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계는,

상기 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출하는 단계를 포함하는 것을 특징으로 하는 결함 픽셀 보정 방법.