[go: up one dir, main page]

KR101517407B1 - 색수차 제거 방법 및 장치 - Google Patents

색수차 제거 방법 및 장치 Download PDF

Info

Publication number
KR101517407B1
KR101517407B1 KR1020080110023A KR20080110023A KR101517407B1 KR 101517407 B1 KR101517407 B1 KR 101517407B1 KR 1020080110023 A KR1020080110023 A KR 1020080110023A KR 20080110023 A KR20080110023 A KR 20080110023A KR 101517407 B1 KR101517407 B1 KR 101517407B1
Authority
KR
South Korea
Prior art keywords
signal
chromatic aberration
sad
pixel
chrominance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080110023A
Other languages
English (en)
Other versions
KR20100050905A (ko
Inventor
강문기
장준영
박종현
강희
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020080110023A priority Critical patent/KR101517407B1/ko
Priority to US12/614,031 priority patent/US8237823B2/en
Publication of KR20100050905A publication Critical patent/KR20100050905A/ko
Priority to US13/542,096 priority patent/US9160998B2/en
Application granted granted Critical
Publication of KR101517407B1 publication Critical patent/KR101517407B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 색수차 제거 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 색수차 제거 방법은 영역 분할한 RGB 신호와 RGB 신호를 변환한 휘도/색도 신호를 입력받아 영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭한 결과를 기초로 색도 신호를 조절함으로써 렌즈 특성에 상관없이 색수차를 제거할 수 있고, 색수차의 제거뿐만 아니라 원본 영상의 해상도도 손상시키지 않는 효과가 있다.
Figure R1020080110023
색수차, 제거, 색도, 휘도

Description

색수차 제거 방법 및 장치{Method and apparatus for canceling an chromatic aberration}
본 발명은 영상 처리에 관한 것으로, 더 상세하게는 색수차 제거 방법 및 장치에 관한 것이다.
색수차(Chromatic Aberration, CA)라는 것은 파장에 따른 굴절률의 차이에 의해 생기는 수차를 의미한다. 이상적인 렌즈의 경우, 렌즈로 입사된 백색광은 렌즈를 통과한 후에 이미지 평면의 한 점에서 초점이 맞아야 한다. 하지만, 실제 렌즈에서는 짧은 파장을 가지는 빛이 긴 파장을 가지는 빛보다 상대적으로 많이 굴절이 되기 때문에 이러한 파장 별 굴절률의 차이로 인해 빛의 파장 별로 초점이 달라진다. 즉, 빛의 색 별로 초점이 달라진다. 컬러 영상을 구성하는 세 가지 색은 R(red), G(green), B(blue)인데 앞서 설명한 바와 같이 일반적으로 R, G, B에 해당하는 빛은 렌즈에 의한 효과로 초점이 전부 다른 곳에 형성되며 영상에서 잘못된 색(false color)을 발생시키게 되며 이를 색수차라고 부른다.
이러한 색수차는 크게 광축 상에서 초점의 차이에 의한 축상색수차(Longitudinal Chromatic Aberration)와 초점 면에서 색깔별 배율의 차이에 의한 배율색수차(Lateral Chromatic Aberration)로 나누어 생각할 수 있다. 축상색수차와 배율색수차는 각각 독립적으로 발생하는 현상은 아니고, 동시에 발생한다.
색수차 현상은 렌즈를 사용하는 광학기기에서 대부분 관찰이 되며, 광학기기에 사용하는 렌즈를 만들 때에는 이를 보정하기 위해 여러 개의 렌즈를 결합하게 된다. 하지만, 여러 개의 렌즈를 결합하게 되더라도 이 색수차를 완벽히 제거할 수는 없으며, 일반인이 사용하는 대부분의 휴대폰 카메라와 일반 콤팩트 카메라의 경우 저가의 렌즈를 사용하기 때문에 색수차 현상이 더욱 눈에 띌 수 있다. 게다가 현재 휴대폰 카메라와 디지털 카메라의 해상도는 빠른 속도로 증가하고 있지만 렌즈의 품질은 가격과 크기의 제한으로 인해 해상도의 증가를 뒷받침하는데 한계가 있다. 즉, 색수차 현상은 대부분의 카메라에서 발생하고 있으며, 각 제조사에서는 색수차를 줄이기 위한 노력을 계속하고 있다.
종래의 색수차 제거 기술은 배율색수차로 인한 색수차를 보상하기 위해서 R, G, B 세 채널의 크기를 맞춰주는 방법을 사용한다. 세 채널의 크기를 맞춰주기 위해서는 R, G, B 채널의 채널별 어긋남을 추정하여야 하며 이 추정된 정보를 통해 영상의 크기의 비율을 구하고 나머지 두 채널을 한 채널의 크기로 바꿔주는 인터폴레이션 과정이 필요하다. 여기서, R, G, B 채널의 시프트 및 스케일링 파라미터는 정합(registration) 알고리즘을 통해서 수행되며, 특정 패턴을 가지는 흑백 영상을 이용하여 수행한다. 즉, 특정 패턴을 가지는 점(corner point)들을 추출하여 각 채널별로 매칭시킨 후 얻은 시프트 정보를 통해 스케일링 정보를 알아내는 방법이다.
이러한 종래기술은 채널의 어긋남 정보를 추정하여 영상의 크기를 맞춰주기 때문에 배율색수차를 효과적으로 제거할 수는 있지만, 이러한 방법들은 특정 패턴을 통해서 미리 각 렌즈별로 정합(registration) 정보를 추정해 놓은 뒤에 이 파라미터들을 이용해서 색수차를 제거해야 한다는 단점(즉, 모든 렌즈에 대해서 사전에 정합 정보를 알아야만 함)과, 정합 알고리즘은 특정 패턴 영상을 이용해서 독립적으로 수행하여야 하기 때문에 파라미터 추출 과정과 색수차 제거 과정이 분리된다는 단점이 있다. 또한, 이러한 방식은 렌즈를 교환하면서 사용하는 DSLR 카메라에는 부적합하며, 축상색수차를 고려하지 않았기 때문에, 축상색수차와 배율색수차가 동시에 발생하는 색수차를 보정하는 데는 한계가 있다.
또한, 도 1a에 도시된 것처럼, 일반적인 영상의 초점은 황색의 초점 부근에 맞게 된다. 즉, 렌즈를 통과하여 상이 맺히는 결상면(image plane)의 위치가 G의 초점과 R의 초점 사이에 존재하게 된다. 이러한 경우, 도 1b에 도시된 것처럼, B 신호 초점은 결상면에서 먼 곳에서 형성되기 때문에 B 채널의 영상은 R과 G 채널에 비해서 더 블러링(blurring)이 되며 푸른색 색수차가 더욱 눈에 띄게 된다.
또한, 색수차가 있는 영상을 분석해 보면, 특히 배율색수차로 인해 영상의 위치에 따라 색수차가 일어나는 방향성이 있는 것을 확인할 수 있다. 즉, 영상의 영역에 따라 현재 처리하는 픽셀에서 색수차의 방향성을 알 수 있으므로 이를 이용해 색수차가 일어나는 방향으로 비대칭적인 영역에 대해서 필터링을 수행한다면 효과적으로 색수차를 제거할 수 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로, 렌즈별 사전 정보 없이 입력 영상만을 가지고 색수차를 제거할 수 있으며, 색수차 발생의 특성을 반영하여 색수차를 제거할 수 있는 색수차 제거 방법 및 장치는 제공하는 데 목적이 있다.
상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 색수차 제거 방법은 영역 분할한 RGB 신호 및 상기 RGB 신호를 변환한 휘도/색도 신호를 입력받는 단계; 영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭하는 단계; 및 상기 블록 매칭 결과를 기초로 상기 색도 신호를 조절하는 단계를 포함한다.
바람직하게, 상기 휘도/색도 신호는 YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 한다.
바람직하게, 상기 매칭 단계는 색수차 발생 특성을 기초로 상기 영역별로 다른 후보 픽셀들을 결정하는 단계; 및 상기 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 상기 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산하는 단계를 포함하고,
상기 조절 단계는 상기 계산한 SAD 값들의 비율에 따라 상기 색도 신호 중 U 신호를 조절하는 것을 특징으로 한다.
바람직하게, 상기 계산 단계는 제1 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제1 SAD를 계산하는 단계; 및 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제2 SAD를 계산하는 단계를 포함하고,
상기 조절 단계는 상기 제1 SAD와 상기 제2 SAD의 비율에 따라 상기 U 신호를 조절하는 것을 특징으로 한다.
바람직하게, 상기 제1 후보 픽셀은 현재 처리 픽셀인 것을 특징으로 한다.
바람직하게, 상기 방법은 상기 조절한 U 신호와 상기 휘도 신호(Y)/색도 신호(V)를 이용하여 RGB 변환하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 B 신호 간의 제3 SAD를 계산하는 단계를 더 포함하고,
상기 조절한 U 신호와 상기 제1 내지 제3 SAD 값을 기초로 U 신호를 조절하는 것을 특징으로 한다.
바람직하게, 상기 U 신호는 영역 분할한 RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 영역별로 크기가 다른 비대칭 마스크를 이용하여 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 필터링한 색수차 보정용 색도 신호(U)인 것을 특징으로 한다.
바람직하게, 상기 U 신호는 상기 색수차 발생 정도를 기초로 결정된 가중치에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합한 신호인 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 색수차 제거 장치는 영역 분할한 RGB 신호를 입력받아 상기 RGB 신호를 휘도/색도 신호로 변환하는 휘도/색도 변환부; 및 영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭하고, 상기 블록 매칭 결과를 기초로 상기 색도 신호를 조절하는 블록 매칭부를 포함한다.
바람직하게, 상기 휘도/색도 신호 변환부는 YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호로 변환하는 것을 특징으로 한다.
바람직하게, 상기 블록 매칭부는 색수차 발생 특성을 기초로 상기 영역별로 다른 후보 픽셀들을 결정하는 영역별 후보 픽셀 결정부; 상기 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 상기 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산하는 SAD 계산부; 및 상기 계산한 SAD 값들의 비율에 따라 상기 색도 신호 중 U 신호를 조절하는 색도 신호 조절부를 포함한다.
바람직하게, 상기 SAD 계산부는 제1 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제1 SAD 및 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제2 SAD를 계산하고,
상기 색도 신호 조절부는 상기 제1 SAD와 상기 제2 SAD의 비율에 따라 상기 U 신호를 조절하는 것을 특징으로 한다.
바람직하게, 상기 제1 후보 픽셀은 현재 처리 픽셀인 것을 특징으로 한다.
바람직하게, 상기 조절한 U 신호와 상기 휘도 신호(Y)/색도 신호(V)를 이용하여 RGB 변환하는 RGB변환부를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 SAD 계산부는 상기 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 B 신호 간의 제3 SAD를 계산하고,
상기 색도 신호 조절부는 상기 조절한 U 신호와 상기 제1 내지 제3 SAD 값을 기초로 U 신호를 조절하는 것을 특징으로 한다.
바람직하게, 상기 장치는 영역 분할한 RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 영역별로 크기가 다른 비대칭 마스크를 이용하여 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 필터링한 색수차 보정용 색도 신호(U)를 생성하는 색도 신호 생성부를 더 포함하고,
상기 U 신호는 색수차 보정용 색도 신호인 것을 특징으로 한다.
바람직하게, 상기 U 신호는 상기 색수차 발생 정도를 기초로 결정된 가중치에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합한 신호인 것을 특징으로 한다.
바람직하게, 상기 비대칭 마스크는 색수차 발생의 방향성에 따라 크기가 결정되는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위한, 상기 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
본 발명의 일 실시 예에 따라 본 발명의 일 실시 예에 따른 색수차 제거 방 법은 영역 분할한 RGB 신호와 RGB 신호를 변환한 휘도/색도 신호를 입력받아 영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭한 결과를 기초로 색도 신호를 조절함으로써 렌즈 특성에 상관없이 색수차를 제거할 수 있고, 색수차의 제거뿐만 아니라 원본 영상의 해상도도 손상시키지 않는 효과가 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.
또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 2는 본 발명의 일 실시 예에 따른 색수차 제거 장치(100)의 개략적인 블록도이다.
도 2를 참조하면, 색수차 제거 장치(100)는 영역 분할부(110), YUV 변환부(120), 블록 매칭부(130) 및 RGB 변환부(140)를 포함한다.
영역 분할부(110)는 입력 RGB 영상을 소정 개수의 영역으로 분할한다. 여기서, 영역 분할의 개수는 임의로 결정할 수 있다.
YUV변환부(120)는 YUV 변환부(110)는 RGB 신호를 입력받아 YUV 신호로 변환 한다. 본 발명의 바람직한 실시 예에서는 RGB 신호를 YUV 신호로 변환하는 것을 설명하고 있지만, YUV 변환 좌표뿐만 아니라, 다른 색 공간 좌표, 예를 들면 YCrCb, Lab, YCC 등의 다른 휘도/색도 좌표계에도 적용할 수 있음은 물론이다.
YUV 변환부(120)는 다음 수학식 1을 이용하여 RGB 신호를 YUV 신호로 변환한다.
Figure 112008077057277-pat00001
여기서 [Ri Gi Bi]T는 입력 영상의 R, G, B 값을 의미하며 여기서 Ri은 빨간색 채널의 신호이고 Gi는 녹색 채널의 신호이며 Bi는 파란색 채널의 신호를 의미한다. [Yi Ui Vi]는 입력 R, G, B 값을 Y, U, V 값으로 변환시킨 값을 의미하며 Yi는 휘도 신호이며 Ui, Vi는 색도 신호를 의미한다.
블록 매칭부(130)는 영역 분할부(110)로부터 입력된 G 신호 및 B신호를 영역별로 블록 매칭하고, 매칭 결과를 기초로 YUV 변환부(120)로부터 입력된 U 신호를 조절한다. 영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭하고, 블록 매칭 결과를 기초로 색도 신호를 조절한다. 구체적으로, 색수차 발생 특성, 즉 배율색수차와 축상색수차가 결합돼서 나타나는 푸른색의 색수차 는 영상의 중심부에서 주변부 쪽으로 번지는 특성을 기초로 영역별로 다른 후보 픽셀들을 결정한다. 색수차 발생 특성에 따른 영역별 후보 픽셀 결정에 관하여는 도 4를 참조하여 후술한다.
그리고, 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산하고, SAD 값들의 비율에 따라 상기 색도 신호 중 U 신호를 조절한다. SAD 계산과 색도 신호 조절에 관하여는 도 5를 참조하여 후술한다.
여기서, U 신호는 B 신호에 의해 발생한 색수차에 영향을 많이 받는 신호이다. 따라서, 초점이 맞은 상태인 G 신호와 색수차가 발생한 B 신호 간의 블록 매칭을 통해 B 신호에 의해 발생한 색수차를 보정할 수 있는 정보를 추출하고, 이를 U 신호에 적용함으로써 B 신호에 의해 발생한 색수차를 제거한다. 본 발명의 바람직한 실시 예에서는 B 채널 신호에 의해 발생한 색수차만을 고려하였으나, 다른 채널 신호에 의해 발생하는 색수차도 동일한 방식으로 적용가능하다. 예를 들면 R 채널 신호에 의해 발생하는 색수차를 제거하고자 할 경우, G 신호와 R 신호 간에 블록 매칭을 하고, 그 결과를 V 신호에 적용함으로써 R 채널에 의해 발생한 색수차를 제거할 수 있다.
RGB 변환부(140)는 YUV 변환부(120)로부터 입력된 Y,V 신호와 블록 매칭부(130)를 통해 조절된 Uo 신호를 이용하여 RGB 신호로 변환하여 출력한다. 결과 RGB 신호는 B 채널에 의해 발생한 색수차가 제거된 RGB 영상이다.
도 3은 도 2에 도시된 블록 매칭부(130)의 구체적인 구성을 도시한 블록도이다.
도 3을 참조하면, 블록 매칭부(130)는 영역별 후보 픽셀 결정부(131), SAD 계산부(132) 및 색도 신호 조절부(133)를 포함한다.
영역별 후보 픽셀 결정부(131)는 색수차 발생 특성을 기초로 영역별로 다른 후보 픽셀들을 결정한다. 예를 들면 입력 영상을 4구역으로 나누어서 각각의 사분면별로 다른 후보 픽셀들을 결정한다.
도 4는 제1 내지 제4 사분면으로 영역 분할하고, 각각의 영역별로 후보 픽셀들을 결정하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, 제1 사분면에서는 중앙부에 픽셀과 좌상부에 픽셀을 후보 픽셀들로 선택하고, 제2 사분면에서는 중앙부의 픽셀과 우상부의 픽셀을 후보 픽셀들로 선택하고, 제3 사분면에서는 중앙부의 픽셀과 좌하부의 픽셀을 후보 픽셀들로 선택하고, 제4 사분면에서는 중앙부의 픽셀과 우하부의 픽셀을 후보 픽셀들로 선택하고 있다. 본 발명의 바람직한 실시 예에서는 각각의 사분면별로 2개의 후보 픽셀들을 선택하고 있지만, 이에 한정되지 않고 그 이상으로 선택할 수 있음은 물론이다.
축상색수차와 배율색수차가 일어난 정도에 따라 후보 픽셀들의 위치를 정할 수 있다. 본 발명의 바람직한 실시 예에서는 후보 픽셀로 현재 처리하는 픽셀과 사분면에 따라 현재 처리하는 픽셀과 상하로 2 픽셀, 좌우로 2 픽셀 차이가 나는 위치의 픽셀을 선택한다. 즉, 현재 처리하는 픽셀의 좌표가 (i,j)일 때, 제1 사분 면에서는 (i,j) 과 (i-2,j-2) 좌표의 후보 픽셀이 사용되며 제2 사분면에서는 (i,j)과 (i-2,j+2)의 후보 픽셀, 제3 사분면에서는 (i,j)과 (i+2,j-2)의 후보 픽셀, 제4 사분면에서는 (i,j)과 (i+2,j+2)의 후보 픽셀을 사용한다.
SAD 계산부(132)는 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산한다. 구체적으로 SAD 계산부(132)는 제1 후보 픽셀을 포함하는 블록의 B 신호와 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제1 SAD를 계산하고, 제2 후보 픽셀을 포함하는 블록의 B 신호와 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제2 SAD를 계산한다. 여기서, 블록은 후보 픽셀을 포함하는 일정 범위의 마스크 영역을 의미한다. 예를 들면 소정의 후보 픽셀을 포함하는 3×3 픽셀 영역이다.
도 5는 도 4에 도시된 제1 사분면에 대한 SAD 계산을 설명하기 위한 도면이다. 상술한 바와 같이, 제1 사분면에 대해서는 현재 처리 픽셀(i,j)과 좌상방향으로 2 픽셀만큼 이동한 픽셀(i-2,j-2)을 후보 픽셀로 선택한다. 도면에 도시된 것처럼, 제1 SAD는 현재 처리 픽셀을 포함하는 블록의 G 신호와 B 신호의 차이의 절대값의 합으로 정의하고, 제2 SAD는 현재 처리 픽셀을 포함하는 블록의 G 신호와 현재 처리 픽셀(i,j)로부터 2 픽셀만큼 이동한 픽셀(i-2,j-2)을 포함하는 블록의 B 신호의 차이의 절대값의 합으로 정의한다. 이를 수식으로 표현하면 다음 수학식 2와 같다.
Figure 112008077057277-pat00002
블록 매칭을 사용하기 위하여 현재 처리하는 픽셀의 위치(i,j)의 G 신호의 값과 B 신호의 값을 중심으로 하여 SAD를 구하여 SAD1으로 정의한다. 상기 수학식 2에서 k1,k2는 SAD를 구하기 위한 마스크의 범위에 대한 계수로 본 발명의 바람직한 실시 예에서는 3×3 마스크에서 SAD를 구했기 때문에 두 값은 1로 정의할 수 있다. 마찬가지로 (i,j) 위치의 (i-2,j-2) 떨어진 B 신호의 값을 중심으로 SAD를 구하여 SAD2로 정의한다. 예를 들면 SAD2가 SAD1보다 작다면 (i-2,j-2) 지점의 B 신호의 값이 B 채널의 번짐 효과를 개선할 수 있는 픽셀 값이라고 생각할 수 있다. 그리고 (i,j)위치의 B 신호의 값과 (i-2,j-2) 값의 B 신호의 값에 대한 SAD를 구하여 SAD3로 정의한다. 여기서, SAD3는 B 채널 신호의 고주파 성분이 어느 정도 있는지를 확인할 수 있는 항목이다.
색도 신호 조절부(133)는 SAD 계산부(132)에서 계산한 SAD 값들의 비율에 따라 색도 신호 중 U 신호를 조절한다. 본 발명의 바람직한 실시 예에서는 현재 픽셀만을 처리하여 B 채널의 추가 개선을 하기 위해서 (i-2,j-2) 지점의 B 값을 사용하지는 않고 SAD2와 SAD1의 비율을 사용하여 U 채널 신호에 적용한다. 즉, B 채널 의 번짐 현상이 발생하였을 경우, (i-2,j-2) 지점의 B 신호 값과 (i,j) 지점의 G 신호 값이 (i,j) 지점의 B 신호 값과 (i,j) 지점의 G 신호 값보다 컬러 차이가 작게 될 것이므로 SAD2가 SAD1 보다 작은 값을 가지게 될 것이다. 따라서 이 비율을 사용하여 다음과 같이 색도 신호 중 U 신호 값을 다시 한번 조절한다. 여기서, U 신호만을 고려하는 것은 B 신호에 의해 영향을 많이 받는 신호이기 때문이다. U 신호의 조절은 다음 수학식 3를 이용하여 계산한다.
Uo=(SAD2/SAD1)*U
도 6은 본 발명의 다른 실시 예에 따른 색수차 제거 장치(200)의 개략적인 블록도이다.
도 6을 참조하면, 색수차 제거 장치(200)는 영역 분할부(110), YUV변환부(120), 색도 신호 생성부(130), 색수차 발생 정도 결정부(140), 색도 신호 결합부(150), 블록 매칭부(160) 및 RGB 변환부(170)를 포함한다.
영역 분할부(110)는 입력 RGB 영상을 소정 개수의 영역으로 분할한다. 이는 색수차의 발생 영역의 방향성을 고려하여 각각의 영역별로 색수차 보정을 위한 마스크의 크기를 다르게 하여 필터링을 수행하기 위함이다. 바람직하게, 입력 영상을 4개의 영역으로 분할하고, 각각의 사분면의 영역별로 다른 비대칭 마스크를 사용한다. 여기서, 비대칭 마스크는 색수차 발생의 방향성에 따라 크기가 결정된다. 비대칭 마스크에 대해서는 도 7을 참조하여 후술한다.
YUV 변환부(110)는 RGB 신호를 입력받아 YUV 신호로 변환한다. 본 발명의 바람직한 실시 예에서는 RGB 신호를 YUV 신호로 변환하는 것을 설명하고 있지만, YUV 변환 좌표뿐만 아니라, 다른 색 공간 좌표, 예를 들면 YCrCb, Lab, YCC 등의 다른 휘도/색도 좌표계에도 적용할 수 있음은 물론이다.
색도 신호 생성부(130)는 RGB 신호와, YUV 변환부(110)로부터 RGB 신호를 변환한 휘도/색도 신호(YUV 신호)를 입력받는다. 색도 신호 생성부(130)는 RGB 신호를 이용하여 RGB 그래디언트를 계산한다. 또한, 휘도/색도 신호를 이용하여 휘도/색도 차이를 계산하고, 계산한 RGB 그래디언트와 휘도/색도 차이를 반영하여 색도 신호(UV)를 필터링하여 색수차 보정용 색도 신호를 생성한다. 요약하면, 본 발명의 바람직한 실시 예에 따른 색수차 제거는 입력 RGB 값과 RGB 값을 YUV 변환 한 YUV 신호를 모두 사용하여 색수차를 제거한다. 실제 필터링이 수행되는 도메인은 YUV의 U, V 도메인으로서 RGB값과 YUV값을 모두 사용하여 설계된 공간 적응적 가중치를 이용하여 U, V 도메인에서 색수차를 제거한다.
본 발명의 바람직한 실시 예에 따른 색수차 제거 방법의 다음 수학식 4와 같다.
Figure 112008077057277-pat00003
여기서 (i,j)는 영상의 수직, 수평 좌표를 나타낸다.
Figure 112008077057277-pat00004
(i,j),
Figure 112008077057277-pat00005
(i,j) 신호 는 각각 U, V 신호에 해당하는 색수차 보정용 색도 신호를 의미하고, aU(i,j), aV(i,j)는 입력 색도 신호와 색수차 보정용 색도 신호의 결합을 위한 공간 적응적 가중치로써 색수차 발생 정도에 의해 결정된다. 이하, 설명에서는 수식 정리의 편의를 위해서 U와 V를 색도 신호(chrominance)를 의미하는 변수인 C를 사용한다. 변수 C를 이용하여 위의 수학식 4를 다시 쓰면 다음 수학식 7와 같다.
Figure 112008077057277-pat00006
여기서 C는 U, V를 의미한다.
색도 신호 생성부(130)는 색수차 보정용 색도 신호를 생성하기 위해, 색도 신호를 영역별로 비대칭 마스크를 사용하여 필터링한다. 여기서, 마스크 상의 값들을 공간 적응적인 가중치를 주어 보정용 색도 신호를 구하게 되는데, 일반적인 대칭 마스크, 즉 현재 처리 픽셀이 마스크의 중심에 위치하는 마스크를 사용하여 색수차 보정용 색도 신호를 구하게 될 경우에는 색수차가 일어나는 영역이 마스크 크기 전체에 걸쳐서 일어났을 경우에는 색수차를 충분히 제거되지 못하고, 마스크의 크기를 크게 할 경우에는 비용이 증가하여 하드웨어로 구현하기에 비효율적이다. 따라서, 색수차 발생의 방향성을 고려하여 영역별로 다른 비대칭 마스크를 사용하여 효율적인 색수차 제거가 가능하다.
현재 픽셀의 색수차 보정용 색도 신호는 RGB 신호를 변환한 휘도/색도 신호 로부터, 현재 픽셀과 인접한 픽셀들의 색도 신호들을 소정의 가중치로 가중 평균하여 계산한다. 여기서, 가중치는 인접한 픽셀들의 RGB 그래디언트와 컬러 차이 및 현재 픽셀과 인접한 픽셀들의 휘도/색도 차이로부터 계산할 수 있다.
도 7은 영역별로 다른 비대칭 마스크를 사용하는 것을 설명하기 위한 도면이다.
도 7에는 각각 다른 비대칭 마스크를 사용하는 4 구역과 이에 해당하는 마스크가 도시되어 있다. 여기서는 7×11(세로×가로) 마스크를 사용할 때의 비대칭 마스크의 모양을 도시한 것이다. 하지만 전체적으로 색수차가 일어나는 정도와 주어진 라인 메모리의 크기가 다를 때에는 유동적으로 비대칭 마스크의 모양을 변화시킬 수 있다. 본 발명의 바람직한 실시 예에서는 비대칭 마스크를 사용함으로써 색수차가 일어나는 영역을 효율적으로 처리함으로써 색수차를 효율적으로 제거할 수 있다.
도 7를 참조하면, 제1 사분면(710)에서 현재 처리 픽셀(711)과, 상기 픽셀(711)의 색수차 보정용 색도 신호를 생성하기 위한 세로 마스크(712)와 가로 마스크(713)가 각각 도시되어 있다. 여기서, 세로 마스크(712)와 가로 마스크(713)는 7×11의 비대칭 마스크이다. 제2 사분면(720)에서 현재 처리 픽셀(721)과, 상기 픽셀(721)의 색수차 보정용 색도 신호를 생성하기 위한 세로 마스크(722)와 가로 마스크(723)가 각각 도시되어 있다. 여기서, 세로 마스크(722)와 가로 마스크(723)는 7×11의 비대칭 마스크이다. 제3 사분면(730)에서 현재 처리 픽셀(731)과, 상기 픽셀(731)의 색수차 보정용 색도 신호를 생성하기 위한 세로 마스크(732) 와 가로 마스크(733)가 각각 도시되어 있다. 여기서, 세로 마스크(732)와 가로 마스크(733)는 7×11의 비대칭 마스크이다. 제4 사분면(740)에서 현재 처리 픽셀(741)과, 상기 픽셀(741)의 색수차 보정용 색도 신호를 생성하기 위한 세로 마스크(742)와 가로 마스크(743)가 각각 도시되어 있다. 여기서, 세로 마스크(722)와 가로 마스크(723)는 7×11의 비대칭 마스크이다. 전술한 바와 같이 마스크의 크기를 영역별로 다르게 적용함으로써 영상의 중심에서 멀어질수록 R,G,B 채널별로 크기의 차이가 많이 생기는 특성을 반영해 줄 수 있다. 이상 각각의 영역 분할한 사분면에 대한 마스크의 크기가 비대칭, 즉 7×11의 크기를 갖는 것으로 설명하였지만, 색수차 발생 정도와 라인 메모리의 크기에 따라 크기를 다르게 설정하여 사용할 수 있음은 물론이다.
구체적으로, 색수차 보정용 색도 신호를 생성하기 위하여 색도 신호를 필터링을 하는데, 바람직하게, 계산량을 줄이기 위해서 색도 신호의 필터링을 수직 방향과 수평 방향으로 1차원적으로 수행하며 두 가지 방향에서 구한 색수차 보정용 색도 신호 중에서 더욱 무채색에 가까운 방향의 필터링 결과를 최종 색수차 보정용 신호로 사용한다.
다음 수학식 6은 색도 신호 C를 수평 및 수직 방향으로 필터링하는 것을 의미한다.
Figure 112008077057277-pat00007
여기서 (i,j)는 현재 처리하는 픽셀의 위치를 나타내기 위한 변수이며 l은 필터링에 사용될 수평 방향으로 위치한 이웃 픽셀들의 주소를 가리키기 위한 변수이고, m은 필터링에 사용될 수직 방향으로 위치한 이웃 픽셀들의 주소를 가리키기 위한 변수이다. l은 -L2≤l≤L1의 범위를 가지게 되며(L1,L2는 양수), m은 -M2≤m≤M1(M1,M2는 양수)의 범위를 가진다. 도 7을 참조하여 설명한 7×11의 비대칭 마스크를 사용하는 경우, 각각 사분면별로 L1,L2과 M1,M2 는 다음과 같은 값을 갖는다. 제1 사분면에서는, L1=3, L2=7, M1=1, M2=5이고, 제2 사분면에서는, L1=7, L2=3, M1=1, M2=5이고, 제3 사분면에서는, L1=3, L2=7, M1=5, M2=1이고, 제4 사분면에서는, L1=7, L2=3, M1=5, M2=1이다.
Figure 112008077057277-pat00008
는 색도 신호를 수평 방향으로 필터링하여 얻은 색수차 보정용 색도 신호이고,
Figure 112008077057277-pat00009
는 색도 신호를 수직 방향으로 필터링하여 얻은 색수차 보정용 색 도 신호를 나타낸다. 위의 결과 식을 보면 결국
Figure 112008077057277-pat00010
h(i,j), 즉 색도 신호를 수평 방향으로 필터링하여 얻은 색수차 보정용 색도 신호는 인접 픽셀과의 가중 합(weighted sum)으로 구해지는 것을 알 수 있다. 즉, SC(i,j+l)*wC(i,j+l)의 가중치로 인접 픽셀의 값인 Ci(i,j+l)에 곱하여 평균하는 것이다. 마찬가지로,
Figure 112008077057277-pat00011
, 즉 색도 신호를 수직 방향으로 필터링하여 얻은 색수차 보정용 색도 신호는 인접 픽셀과의 가중합으로 구해지며, SC(i+m,j)*wC(i+m,j)의 가중치로 인접 픽셀의 값인 Ci(i+m,j)에 곱하여 평균하는 것이다. 여기서 SC(i,j+l) 및 SC(i+m,j)은 인접 픽셀과 평균을 하는 과정에서 색이 다른 부분을 평균하지 않도록 해주는 스위치 함수이다. SC(i,j+l) 및 Sc(i+m,j)는 다음 수학식 7와 같이 구할 수 있다.
Figure 112008077057277-pat00012
여기서 sign{x}는 x값의 부호를 뽑아내는 함수로써 Ci(i,j+l)값이 센터 픽셀 값인 Ci(i,j)와 부호가 같을 경우에 “1”을 리턴하여 필터링에 사용하도록 해 준다. 그 이외에도 Ci(i,j+l) 값이 어느 정도 무채색에 가까운 색, 예를 들면 │ Ci(i,j)│< T 일 때도 마찬가지로 “1”을 반환하여 필터링에 사용하도록 한다. 본 발명의 바람직한 실시 예에서는 무채색에 가까운 정도를 판별하는 문턱값으로 T를 사용하며, 이값은 임의로 설정할 수 있으며, 예를 들면 10으로 설정할 수 있다. 이상 두 가지 경우를 제외하고는 색이 센터 픽셀 값과 많이 다른 부분이라고 생각되기 때문에 SC(i,j+l)이 “0”을 반환하여 필터링에 사용하지 않도록 한다. 즉, SC(i,j+l)는 색이 전혀 다른 부분을 필터링에서 제외시킴으로써 입력 영상의 색상이 바뀌게 되는 것을 막아준다. Sc(i+m,j)도 전술한 설명과 마찬가지이다.
wC(i,j+l) 및 wC(i+m,j)는 색수차가 발생한 곳의 특성을 고려하여 색수차가 발생한 픽셀 값에서는 wC(i,j+l) 및 wC(i+m,j)값을 작게 하여 가중 합에서 제외시키는 방향으로 동작하지만, 반면에 입력 영상의 색상이 손상되는 것도 방지하기 위한 부분도 wC(i,j+l) 및 wC(i+m,j)에 고려되어 있다. wC(i,j+l) 및 wC(i+m,j)는 다음 수학식 8과 같이 결정된다.
Figure 112008077057277-pat00013
wC(i,j+l)에서 아래 첨자 C는 U 채널인가 V 채널인가를 구분하는 변수이다. C가 U와 V일 때, wC(i,j+l)는 상기 수학식 8과 같이 결정된다. 여기서, DG(i,j+l), DB(i,j+l), DR(i,j+l)은 색수차를 제거하도록 동작하는 부분이다. 그리고 DY(i,j+l)는 입력 영상의 색상을 유지하도록 해주는 부분이다. 앞에서 설명한 바와 같이 색수차 현상은 색수차가 발생된 영역에서는 채널별 그래디언트(gradient) 값이 커지게 된다. 따라서 채널별 그래디언트 값이 커진 부분의 색도 신호는 잘못된 색을 유발하게 되는 값이기 때문에, 가중 합에서 제외시키는 방향으로 진행한다. U 채널의 경우 G 채널과 B 채널의 영향을 크게 받는 채널이기 때문에 G 채널과 B 채널의 그래디언트 값을 사용하고 V 채널의 경우 G 채널과 R 채널의 영향을 크게 받는 채널이기 때문에 G 채널과 R 채널의 그래디언트 값을 사용한다.
또한, 색수차 발생 영역에서는 잘못된 색이 발생하기 때문에 컬러 차이(color difference)가 커지게 되는 현상이 발생한다. 따라서 컬러 차이가 큰 부분도 색수차일 가능성이 있다. 따라서, 이러한 부분에서도 가중 합에서 제외시키는 방향으로 동작한다.
상기 수학식 8에서, DG(i,j+l), DB(i,j+l), DR(i,j+l), DY(i,j+l)는 휘도/색도 차이를 나타내는 DY(i,j+l)는 중심 픽셀과 마스크 영역 안에 존재하는 픽셀들과의 휘도 차이 값 및 색도 신호의 차이 값이며, DB(i,j+l), DR(i,j+l), DY(i,j+l)는 R,G,B 채널의 그래디언트 값과 컬러 차이이다.
색수차 발생 정도 결정부(140)는 YUV변환부(120)로부터 입력된 휘도 신호(Y)를 이용하여 색수차 발생 정도를 결정한다. 즉, 색수차 정도를 측정하기 위하여 휘도 신호를 사용한다. 휘도 성분은 영상의 밝기 정보를 나타내며 색수차는 밝기 차이가 큰 영역에서 더욱 눈에 잘 보인다. 즉, 색수차의 정도는 휘도 신호의 콘트라스트 정보를 이용하여 측정될 수 있다. 따라서 영상의 콘트라스트를 구해 색수차의 발생 정도를 측정하기 위해 수직 수평 방향으로 각각 휘도 신호의 국부 최소값과 최대값의 위치를 찾아서, 최소값과 최대값을 이용해서 색수차 발생 정도를 결정한다.
색도 신호 결합부(150)는 색수차 발생 정도 결정부(140)로부터 출력된 색수차 발생 정도에 관한 정보와, 색도 신호 생성부(130)로부터 출력된 색수차 보정용 색도 신호(
Figure 112008077057277-pat00014
(i,j))와 입력 색도 신호(C(i,j))를 결합한다. 여기서, 색수차 발생 정도에 관한 정보는 소정의 가중치로 계산되며, 이 가중치에 따라 색수차 보정용 색도 신호와 입력 색도 신호의 결합 비율이 결정된다.
블록 매칭부(160)는 영역 분할부(110)로부터 입력된 G 신호와 B 신호의 블록 매칭을 수행한다. 여기서, 블록 매칭의 과정은 도 4 및 5를 참조하여 설명한 것과 동일하다. 즉, 색수차 발생 특성, 즉 배율색수차와 축상색수차가 결합돼서 나타나는 푸른색의 색수차는 영상의 중심부에서 주변부 쪽으로 번지는 특성을 기초로 영역별로 다른 후보 픽셀들을 결정하고, 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산한다. 색도 신호(U)를 조절하는 과정이 도 2를 참조하 여 설명한 블록 매칭과 차이점이 있다.
먼저, 다음 수학식 9에 따라 Ut 를 정의한다.
Figure 112008077057277-pat00015
Ut=(Uo/U)*
여기서, U는 YUV 변환부(120)로부터 출력된 신호이고, Uo 는 색도 신호 결합부(150)로부터 출력된 신호이고,
Figure 112008077057277-pat00016
는 색도 신호 생성부(130)로부터 출력된 신호이다.
그리고, 상기 수학식 9에 따라 계산한 Ut 와 상기 수학식 2에 따라 계산한 SAD1, SAD2, SAD3를 이용해서 Uo' 신호를 계산한다.
Figure 112008077057277-pat00017
상기 수학식 10을 통해 계산된 Uo'는 B 채널로 인해 발생한 색수차를 더 많이 줄여줄 수 있다. 또한, 색수차 제거 과정을 통해 B 채널의 원본 색이 감소하는 것을 줄여줄 수 있다.
RGB변환부(170)는 색도 신호 결합부(150)로부터 출력된 색도 신호(Vo)와 YUV 변환부(120)로부터 출력된 휘도 신호(Y), 및 블록 매칭부(160)로부터 출력된 색도 신호(Uo')를 이용하여 RGB 신호로 변환한다. 따라서, 최종 RGB 신호는 색수차 현상, 즉 B 채널의 영향으로 발생한 색수차가 제거된 영상이 출력된다.
본 발명의 바람직한 실시 예에서는 색수차 제거 장치(100 및 200)가 RGB 변환부를 포함하는 것으로 구성하였지만, 다양한 응용이 가능하다. 예를 들면 영상 압축이나 세부 강조(Detail Enhancement)의 경우 보통 RGB 신호를 휘도/색도 좌표계로 변환시킨 후 처리하게 되는데, 휘도/색도 좌표계를 이용한 후, 보정된 휘도/색도 신호를 출력으로 내보내기 때문에 출력된 휘도/색도 신호를 압축이나 DE 모듈에 입력으로 바로 넣어서 처리할 수 있다.
본 발명의 변형 실시 예에서는, 색수차 제거 장치(100)의 끝단에, 압축 모듈이나 DE 모듈이 연결될 수 있다. 또한, 다른 변형 실시 예에서는 디지털 촬영 장치에서 컬러를 제어하게 되는 화이트 밸런스(WB), 컬러 보정(Color Calibration) 뒷 단에 적용할 수 있다. 또한, 잡음 제거 뒷 단에 적용하여 잡음에 의한 효과를 제거하고 색수차를 제거할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 색수차 제거 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 단계 800에서, RGB 신호를 소정 개수의 영역으로 분할한다. 단계 802에서, RGB 신호를 휘도/색도 신호로 변환한다. 본 발명의 바람직한 실시 예에서는 YUV 색좌표를 사용하여 Y,U,V신호로 변환하지만 다른 색좌표를 사용하여 변환할 수 있다. 단계 804에서, 색수차 발생 특성을 기초로 영역별 후보 픽셀들을 결정한다. 즉, 색수차가 중심부에서 주변부로 갈수록 색수차가 더 발생하는 특성을 이용해서 각각의 영역별로 다른 후보 픽셀들을 결정한다. 단계 806에서, 후보 픽셀들을 포함하는 블록들 간에 SAD를 계산한다. 단계 808에서, 계산한 SAD값들의 비율에 따라 색도 신호를 조절한다. 단계 810에서, 휘도 신호와 조절한 색도 신호를 이용해 다시 RGB 신호로 변환하고, 단계 812에서, 색수차가 제거된 RGB 영상을 출력한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이 다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
도 1a 및 1b는 색수차 발생 특성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 색수차 제거 장치(100)의 개략적인 블록도이다.
도 3은 도 2에 도시된 블록 매칭부(130)의 개략적인 구성을 도시한 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 영역별 후보 픽셀을 설명하기 위한 도면이다.
도 5는 본 발명의 또 다른 실시 예에 따른 후보 픽셀들을 포함하는 블록들 간의 SAD계산을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 색수차 제거 장치(200)의 개략적인 블록도이다.
도 7은 본 발명의 또 다른 실시 예에 따른 영역별 다른 비대칭 마스크를 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 색수차 제거 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100,200: 색수차 제거 장치 110: 영역 분할부
120: YUV변환부 130: 색도 신호 생성부 140: 색수차 발생 정도 결정부 150: 색도 신호 결합부 160: 블록 매칭부 170: RGB 변환부

Claims (20)

  1. 영역 분할한 RGB 신호 및 상기 RGB 신호를 변환한 휘도/색도 신호를 입력받는 단계;
    영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭하는 단계; 및
    상기 블록 매칭 결과를 기초로 상기 색도 신호를 조절하는 단계를 포함하는 색수차 제거 방법.
  2. 제 1 항에 있어서,
    상기 휘도/색도 신호는,
    YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호인 것을 특징으로 하는 색수차 제거 방법.
  3. 제 1 항에 있어서,
    상기 매칭 단계는,
    색수차 발생 특성을 기초로 상기 영역별로 다른 후보 픽셀들을 결정하는 단계;
    상기 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 상기 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산 하는 단계를 포함하고,
    상기 조절 단계는,
    상기 계산한 SAD 값들의 비율에 따라 상기 색도 신호 중 U 신호를 조절하는 것을 특징으로 하는 색수차 제거 방법.
  4. 제 3 항에 있어서,
    상기 계산 단계는,
    제1 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제1 SAD를 계산하는 단계; 및
    제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제2 SAD를 계산하는 단계를 포함하고,
    상기 조절 단계는,
    상기 제1 SAD와 상기 제2 SAD의 비율에 따라 상기 U 신호를 조절하는 것을 특징으로 하는 색수차 제거 방법.
  5. 제 4 항에 있어서,
    상기 제1 후보 픽셀은 현재 처리 픽셀인 것을 특징으로 하는 색수차 제거 방법.
  6. 제 4 항에 있어서,
    상기 조절한 U 신호와 상기 휘도 신호(Y)/색도 신호(V)를 이용하여 RGB 변환하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
  7. 제 4 항에 있어서,
    상기 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 B 신호 간의 제3 SAD를 계산하는 단계를 더 포함하고,
    상기 조절한 U 신호와 상기 제1 내지 제3 SAD 값을 기초로 U 신호를 조절하는 것을 특징으로 하는 색수차 제거 방법.
  8. 제 3 항에 있어서,
    상기 U 신호는,
    영역 분할한 RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 영역별로 크기가 다른 비대칭 마스크를 이용하여 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 필터링한 색수차 보정용 색도 신호(U)인 것을 특징으로 하는 색수차 제거 방법.
  9. 제 8 항에 있어서,
    상기 U 신호는,
    상기 색수차 발생 정도를 기초로 결정된 가중치에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합한 신호인 것을 특징으로 하는 색수차 제 거 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  11. 영역 분할한 RGB 신호를 입력받아 상기 RGB 신호를 휘도/색도 신호로 변환하는 휘도/색도 변환부; 및
    영역별 후보 픽셀을 포함하는 블록과 현재 처리 픽셀을 포함하는 블록을 매칭하고, 상기 블록 매칭 결과를 기초로 상기 색도 신호를 조절하는 블록 매칭부를 포함하는 색수차 제거 장치.
  12. 제 11 항에 있어서,
    상기 휘도/색도 신호 변환부는,
    YUV, YCbCr, Lab 및 YCC 중 하나를 포함하는 색 공간 좌표계의 휘도/색도 신호로 변환하는 것을 특징으로 하는 색수차 제거 장치.
  13. 제 11 항에 있어서,
    상기 블록 매칭부는,
    색수차 발생 특성을 기초로 상기 영역별로 다른 후보 픽셀들을 결정하는 영역별 후보 픽셀 결정부;
    상기 결정한 후보 픽셀들을 포함하는 블록들의 B 신호들과 상기 현재 처리 픽셀들을 포함하는 블록들의 G 신호들 간의 SAD(Sum of Absolute Distance)를 계산하는 SAD 계산부; 및
    상기 계산한 SAD 값들의 비율에 따라 상기 색도 신호 중 U 신호를 조절하는 색도 신호 조절부를 포함하는 것을 특징으로 하는 색수차 제거 장치.
  14. 제 13 항에 있어서,
    상기 SAD 계산부는,
    제1 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제1 SAD 및 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 G 신호 간의 제2 SAD를 계산하고,
    상기 색도 신호 조절부는,
    상기 제1 SAD와 상기 제2 SAD의 비율에 따라 상기 U 신호를 조절하는 것을 특징으로 하는 색수차 제거 장치.
  15. 제 14 항에 있어서,
    상기 제1 후보 픽셀은 현재 처리 픽셀인 것을 특징으로 하는 색수차 제거 장치.
  16. 제 14 항에 있어서,
    상기 조절한 U 신호와 상기 휘도 신호(Y)/색도 신호(V)를 이용하여 RGB 변환하는 RGB변환부를 더 포함하는 것을 특징으로 하는 색수차 제거 장치.
  17. 제 14 항에 있어서,
    상기 SAD 계산부는,
    상기 제2 후보 픽셀을 포함하는 블록의 B 신호와 상기 현재 처리 픽셀을 포함하는 블록의 B 신호 간의 제3 SAD를 계산하고,
    상기 색도 신호 조절부는,
    상기 조절한 U 신호와 상기 제1 내지 제3 SAD 값을 기초로 U 신호를 조절하는 것을 특징으로 하는 색수차 제거 장치.
  18. 제 14 항에 있어서,
    영역 분할한 RGB 신호 및 상기 RGB신호를 변환한 휘도/색도 신호를 입력받아, 영역별로 크기가 다른 비대칭 마스크를 이용하여 계산한 RGB 그래디언트 및 상기 휘도/색도 차이를 반영하여 필터링한 색수차 보정용 색도 신호(U)를 생성하는 색도 신호 생성부를 더 포함하고,
    상기 U 신호는,
    색수차 보정용 색도 신호인 것을 특징으로 하는 색수차 제거 장치.
  19. 제 18 항에 있어서,
    상기 U 신호는,
    상기 색수차 발생 정도를 기초로 결정된 가중치에 따라, 상기 색수차 보정용 색도 신호와 상기 입력 색도 신호를 결합한 신호인 것을 특징으로 하는 색수차 제거 장치.
  20. 제 18 항에 있어서,
    상기 비대칭 마스크는,
    색수차 발생의 방향성에 따라 크기가 결정되는 것을 특징으로 하는 색수차 제거 장치.
KR1020080110023A 2008-11-06 2008-11-06 색수차 제거 방법 및 장치 Expired - Fee Related KR101517407B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080110023A KR101517407B1 (ko) 2008-11-06 2008-11-06 색수차 제거 방법 및 장치
US12/614,031 US8237823B2 (en) 2008-11-06 2009-11-06 Method and apparatus for canceling chromatic aberration
US13/542,096 US9160998B2 (en) 2008-11-06 2012-07-05 Method and apparatus for canceling chromatic aberration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080110023A KR101517407B1 (ko) 2008-11-06 2008-11-06 색수차 제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100050905A KR20100050905A (ko) 2010-05-14
KR101517407B1 true KR101517407B1 (ko) 2015-05-06

Family

ID=42276840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080110023A Expired - Fee Related KR101517407B1 (ko) 2008-11-06 2008-11-06 색수차 제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101517407B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257946B1 (ko) 2011-08-08 2013-04-23 연세대학교 산학협력단 영상의 색수차를 제거하는 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101854A1 (ja) 2004-04-12 2005-10-27 Nikon Corporation 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
KR100818479B1 (ko) 2007-03-07 2008-04-02 삼성전기주식회사 선명도 향상을 위한 이미지 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101854A1 (ja) 2004-04-12 2005-10-27 Nikon Corporation 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
KR100818479B1 (ko) 2007-03-07 2008-04-02 삼성전기주식회사 선명도 향상을 위한 이미지 처리 방법

Also Published As

Publication number Publication date
KR20100050905A (ko) 2010-05-14

Similar Documents

Publication Publication Date Title
KR101460610B1 (ko) 색수차 제거 방법 및 장치
CN100380915C (zh) 图像处理装置及图像处理方法
US8237823B2 (en) Method and apparatus for canceling chromatic aberration
EP2938058B1 (en) Image processing apparatus that performs image restoration processing and image processing method
US8805070B2 (en) Image processing apparatus and image processing method
JP4986965B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
EP1528793B1 (en) Image processing apparatus, image-taking system and image processing method
US7697044B2 (en) Image processing apparatus and image processing method
JP2010252231A (ja) 画像処理装置、その制御方法、及びプログラム
KR101257946B1 (ko) 영상의 색수차를 제거하는 장치 및 그 방법
US8818128B2 (en) Image processing apparatus, image processing method, and program
KR101517407B1 (ko) 색수차 제거 방법 및 장치
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US9160989B2 (en) Image processing apparatus, image processing method, and storage medium for increasing pixels
KR101532605B1 (ko) 색수차 제거 방법 및 장치
US8804025B2 (en) Signal processing device and imaging device
KR101874538B1 (ko) 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치
JP2005354585A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5147577B2 (ja) 画像処理装置およびその方法
CN118379377A (zh) 一种rgb图像生成方法与装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081106

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20090413

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20100423

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20131106

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20081106

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150217

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150428

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150429

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180329

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200209