KR101699318B1

KR101699318B1 - 화상처리장치 및 그 제어방법

Info

Publication number: KR101699318B1
Application number: KR1020140108777A
Authority: KR
Inventors: 마사토 우치하라
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-08-26
Filing date: 2014-08-21
Publication date: 2017-01-24
Anticipated expiration: 2034-08-21
Also published as: JP5961149B2; JP2015043541A; US9843703B2; CN104427321B; KR20150024269A; CN104427321A; US20150055863A1

Abstract

화상 회복 처리에 있어서의 틴트 현상을 억제할 수 있는 화상처리장치 및 그 제어 방법이 개시된다. 상기 화상처리장치는 화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 수단과, 상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 포화 화소가 포함되는지 아닌지를 판정하는 판정 수단과, 상기 판정 수단이 취득한 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 두 개의 색 성분을 조정하는 조정 수단을 구비하고, 상기 판정 수단이 포화 화소가 상기 참조 영역에 포함된다고 판정하는 경우에, 상기 조정 수단은 상기 두 개의 색 성분의 각각에 대하여, 상기 화상 회복 처리 후의 상기 색 성분의 값에 가중 가산을 행함으로써 상기 화상 회복 처리 후의 상기 색 성분, 및 상기 색 성분 간의 색차가 상기 화상 회복 처리 전후에 유지되도록 조정된 값을 조정한다.

Description

화상처리장치 및 그 제어방법{IMAGE PROCESSING APPARATUS AND METHOD OF CONTROLLING THE SAME}

본 발명은, 화상처리장치 및 그 제어 방법에 관한 것으로, 특히 화상보정기술에 관한 것이다.

촬상 광학계의 수차나 회절 현상에 의해 발생한 화상 열화를 보정하기 위해서, 촬상 광학계의 광학 전달함수(OTF)에 관한 정보를 이용해서 화상의 열화를 보정하는 처리(화상 회복 처리)가 알려져 있다(일본국 공개특허공보 특개2013-51599호의 단락 0008∼0013 참조). 또한, 열화한 화상을 g(x, y), 원래의 화상을 f(x, y)라고 했을 때, 이하의 식에 있어서의 R(x, y)을 화상 회복 필터라고 부른다.

g(x,y)*R(x,y)=f(x,y)

또한, 상기 식에 있어서의 연산자 "*"은 콘볼루션(곱-합 연산)을 나타내고, (x,y)은 화상에 있어서의 좌표를 나타낸다.

화상 회복 필터는, 촬상 광학계의 광학 전달함수를 H(u, v)로 하면, 1/H를 역푸리에 변환을 산출함으로써 취득된다. 또한, (u,v)은 2차원 주파수면에서의 좌표, 즉 주파수를 나타낸다. 2차원 화상에 적용하는 화상 회복 필터는 일반적으로, 화상의 각 화소에 대응하는 탭(셀)을 가지는 2차원 필터이다.

촬상 광학계의 수차나 빛의 회절에 의한 화상 열화의 정도는, 수차나 회절의 영향이 입사광의 파장에 따라 다르고, 즉 색 성분마다 다르기 때문에, 색 성분마다 다른 특성의 회복 필터가 적용된다. 일반적으로, 화소 사이즈가 대략 수 ㎛정도의 촬상소자에 의해 취득된 화상에서는, 수차와 회절의 영향은 수십 화소에 미치기 때문에, 회복 필터도 광범위한 화소를 참조할 수 있도록 많은 탭을 가진 필터가 필요가 된다.

광범위한 화소를 참조하는 필터 처리에서는, 입력 화상의 포화부 주변에 있어서 옳은 신호 값을 취득할 수 없는 것에 의한 화질에의 악영향이 발생하기 쉽다. 색 성분마다 다른 특성의 필터를 적용하는 화상 회복 처리에서는, 색 성분의 밸런스가 무너지는 것에 의한 틴팅(tinting)이 발생하기 쉽다.

이러한 영향을 억제하는 방법의 한 예로서, 일본국 특허 제4599398호에는, 필터가 참조하고 있는 화상 영역의 밝기에 따라 필터 처리의 효과를 억제하는 기술이 개시되어 있다.

그렇지만, 일본국 공개특허공보 특개2013-51599호 및 특허 제4599398호에 개시된 종래기술에서는, 복수의 필터 중에서 출력값의 밸런스를 유지하는 것이 고려되지 않고 있다. 그 때문에, 화상 회복 처리와 같이 화상 신호의 성분마다 개별의 필터를 적용하는 처리에서 발생하는, 틴팅과 같은 문제에는 대응할 수 없었다.

본 발명의 목적은, 화상 회복 처리에 있어서의 틴트(tint) 현상을 억제가능한 화상처리장치 및 그 제어방법을 제공하는 것이다.

본 발명의 일 국면에 의하면, 화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 수단과, 상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 포화 화소가 포함되는지 아닌지를 판정하는 판정 수단과, 상기 판정 수단이 취득한 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 두 개의 색 성분을 조정하는 조정 수단을 구비하고, 상기 판정 수단이 포화 화소가 상기 참조 영역에 포함된다고 판정하는 경우에, 상기 조정 수단은 상기 두 개의 색 성분의 각각에 대하여, 상기 화상 회복 처리 후의 상기 색 성분의 값에 가중 가산을 행함으로써 상기 화상 회복 처리 후의 상기 색 성분, 및 상기 색 성분 간의 색차가 상기 화상 회복 처리 전후에 유지되도록 조정된 값을 조정하는, 화상처리장치가 제공된다.

본 발명의 다른 국면에 의하면, 화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 수단과, 상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 그 값이 미리 정해진 스레숄드 값 이상인 화소가 포함되어 있는지 아닌지를 판정하는 판정 수단과, 상기 판정 수단의 판정 결과에 따라, 상기 화상 회복 처리 후의 색 성분들 중의 하나의 색 설분을 조정하는 조정 수단을 구비하는, 화상처리장치가 제공된다.

본 발명의 또 다른 국면에 의하면, 화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 단계와, 상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 포화 화소가 포함되어 있는지 아닌지를 판정하는 판정 단계와, 상기 판정 단계에서 취득된 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 두 개의 색 성분을 조정하는 조정 단계를 포함하고, 상기 판정 단계에서 포화 화소가 상기 참조 영역에 포함된다고 판정하는 경우에, 상기 조정 단계에서 상기 두 개의 색 성분의 각각에 대하여, 상기 화상 회복 처리 후의 상기 색 성분의 값에 가중 가산을 행함으로써 상기 화상 회복 처리 후의 상기 색 성분, 및 상기 색 성분 간의 색차가 상기 화상 회복 처리 전후에 유지되도록 조정된 값을 조정하는, 화상처리장치의 제어방법이 제공된다.

본 발명의 또 다른 국면에 의하면, 화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 단계와, 상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 그 값이 미리 정해진 스레숄드값 이상인 화소가 포함되어 있는지 아닌지를 판정하는 판정 단계와, 상기 판정 단계에서 취득된 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 하나의 색 성분을 조정하는 조정 단계를 포함하는, 화상처리장치의 제어방법이 제공된다.

본 발명의 그 외의 특징들은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 밝혀질 것이다.

도 1은, 일 실시예에 따른 화상처리 전체의 흐름을 모식적으로 나타낸 도면이다.
도 2는, 일 실시예에 따른 화상처리장치의 기능 구성 예를 나타내는 블럭도이다.
도 3은, 일 실시예에서 사용하는 색차 조정 값의 생성 방법을 설명하기 위한 플로차트이다.
도 4a 내지 도 4c는, 일 실시예에 있어서의 보간 처리를 설명하기 위한 도면이다.
도 5a 내지 도 5c는, 제1 실시예에 의해 취득되는 효과를 설명하기 위한 도면이다.
도 6a 내지 도 6d는, 제2 실시예에 의해 취득되는 효과를 설명하기 위한 도면이다.
도 7은, 화상 회복 처리를 행하는 화상처리장치의 기본적인 기능 구성 예를 나타내는 블럭도이다.
도 8a 내지 도 8d는, 화상 회복 처리에 있어서의 필터 처리의 개요를 설명하기 위한 도면이다.
도 9a 내지 도 9d는, 화상 회복 처리에서 발생하는 틴트 현상을 설명하기 위한 도면이다.

이하, 첨부도면을 참조하여 본 발명의 예시적인 실시예에 대해서 상세히 설명할 것이다. 우선, 기본적인 화상회복 처리와 거기에서 발생하는 문제점에 관하여 설명한다. 도 7은 화상 회복 처리를 행하는 화상처리장치(400)의 기본적인 기능 구성 예를 나타내는 블럭도다.

화상 데이터 취득부(401)는, 처리 대상의 화상 데이터로부터, 도 8a에 있어서의 501로 나타나 있는 바와 같은 부분 영역에 대응하는 화상 데이터를 판독한다. 이 부분 영역은, 후단의 제1∼제4 필터 처리부 402∼405가 행하는 한 번의 화상 회복 처리에서 참조하는 화소로 이루어지는 영역이므로, 이하에서는 "참조 영역"이라고 부른다.

여기에서는, 예를 들면, 제1∼제4 필터 처리부 402∼405의 각각을, 도 8b에 나타나 있는 바와 같이 3×3의 2차원 공간 필터(즉, 한 번의 화상 회복 처리에서 3×3×4의 화상 데이터를 참조하는 필터)라고 한다. 이 경우, 참조 영역 501은 도 8c에 나타나 있는 바와 같이 6×6 화소의 크기이다. 화상 데이터 취득부(401)는, 참조 영역 501에 대응하는 화상 데이터를 판독한 후에, 도 8d에 나타낸 바와 같이 색 성분 G1， G2, R, B으로 분리하고, 그 색 성분을 대응하는 제1~제4 필터 처리부 402~405에 출력한다. 여기에서, 색마다 분리된 화상 데이터의 중앙에 위치하는 화소 701∼704(도 8c에 있어서 분리 전의 화소 601∼604에 대응한다)가, 화상 회복 처리의 대상이 되는 화소이며, "주목 화소"라고 부른다. 즉, 1회의 화상 회복 처리에서, 베이어(Bayer) 배열의 1단위분의 4화소가 처리된다.

색 성분마다 1개씩 설정된 4개의 제1∼제4 필터 처리부 402∼405는, 입력된 단색 성분의 화상 데이터에 대하여 화상 회복 처리를 행하는 회복 필터이다. 촬상 광학계의 초점 거리나 조리개 등의 촬영 조건에 의존해서 수차 및 빛의 회절의 영향이 다르기 때문에, 제1~제4 필터 처리부 402~405의 3×3 필터 계수의 값은, 촬영 조건에 따라 설정된다. 공간 필터 처리는 3×3 화소 위치에 있어서의 색 성분 값과 대응하는 필터와의 곱-합 연산에 의해 행해진다. 예를 들면, 도 8d에 있어서의 화소 701에 대한 회복 필터 처리에서는, 화소 701의 색 성분 값과 필터 계수 K22와의 적을 취득하고, 이렇게 해서 필터 계수 K11∼ K33과 대응하는 위치의 값과의 적을 취득하며, 그 적의 합계를 처리 결과라고 한다. 또한, 여기에서는 설명을 간략화하기 위해서 3×3의 2차원 공간필터를 예로 들어 설명했지만, 실제로는 30×30 계수 혹은 그 이상의 조합을 갖는 2차원 공간필터를 사용하는 것이 바람직하다.

도 7로 되돌아가서, 제1∼제4필터 처리부 402∼405에 의해 출력되는 화상 회복 처리의 결과인 화상 데이터 R', G1', G2', B'은 도 8c에 나타낸 베이어 배열로 복귀되어 회복 데이터 출력부(406)에 의해 출력된다.

이러한 처리를, 화상 중의 모든 화소를 주목 화소로서 처리하도록, 참조 영역에서의 화상 데이터의 판독, 화상 회복 처리의 실행, 및 처리 결과의 출력을 반복한다.

여기에서, 화상 회복 처리에서 발생하는 틴트 현상에 관하여 설명한다. 도 9a는 무채색 에지를 포함하는 화상의 예이며, 도 9b는 도 9a의 화상의 에지 부분에 대응하는 화소 라인의 화소값을 색 성분별로 X방향으로 플롯(plot)한 도면이다. 도 9b에 있어서, 횡축은 X방향의 화소 위치를 나타내고, 종축은 색 성분 값을 나타내며, Th는 처리 대상의 화상 데이터를 생성한 촬상소자에 있어서의 색 성분값의 포화 레벨을 나타내는 값이다.

도 9b는 화상 회복 처리 전의 G성분의 화소값과 R성분의 화소값을 나타낸다. 이들 값은, 촬상소자로부터 판독한 색성분값에 대하여 화이트 밸런스 처리(촬상소자의 분광 감도와 광원의 색 온도를 고려한 게인 조정)을 실행한 후의 값이다. 또한, 여기에서는, 화이트 밸런스 처리 전에는, G성분은 포화되어 있지만 R성분은 포화되어 있지 않고, 화이트 밸런스 처리에 의해, G의 성분의 값은 변화되어 있지 않으며, R성분의 값은 증폭되어 있다고 가정한다. G성분에 관해서는, 화소 위치 X1, X2의 값이 화이트 밸런스 처리 전에 포화되어 있고, 화이트 밸런스 처리 후에도 본래의 값이 손실되어 있다는 것을 알 수 있다. 한편, R성분에 관해서는, 화이트 밸런스 처리 전의 값이 포화 레벨에 도달하지 않기 때문에, 그 값은 화이트 밸런스 처리에서 게인 조정의 양에 대응하는 양만큼 증폭된다. 그 결과, R성분에 관해서는, 화소 위치 X1, X2의 값이 포화 성분보다도 큰 값이 된다. 또한, (도면에 나타내지 않은) B성분의 화소값은, R성분의 화소값과 같다고 가정한다.

이러한 도 9b의 각 화소에 대해서, 회절에 의한 콘트라스트의 저하를 개선하기 위해서, 도 9c에 나타낸 것과 같은 색 신호별로 각기 다른 특성을 갖는 에지 강조 필터를 적용해서 화상 회복 처리를 행했다고 가정한다. 또한, 여기에서는 설명 및 이해를 쉽게 하기 위해서, X방향으로 1차원의 필터를 적용한 것으로 한다.

도 9d는, 화상 회복 처리 후의 성분 값을 나타낸다. R성분(및 B성분)에 대해서는, 모든 화소에 대한 필터 처리를, 포화되어 있지 않은 성분값만을 사용해서 행할 수 있기 때문에, 본래의 에지 강조 효과를 취득할 수 있다. 한편, G성분에 관해서는, 화소 위치 X3을 주목 화소라고 한 필터 처리에서는, 포화 화소 X2(또는 포화 화소 X2 및 X1)을 참조하기 때문에, 필터 처리 후의 값이 올바른 값이 아니다. 이 예에서는, 화상 회복 처리 후의 화소 위치 X3에 있어서, G성분이 R성분(및 B성분)보다 크고, 결과적으로, 화소 위치 X3 근방에서는 녹색의 틴팅(tinting)이 관측된다.

한편, 화소 위치 X1, X2에 있어서는 R성분(및 B성분)이 G성분보다 크지만, 포화 레벨(Th)을 넘는 값은, 후단의 현상 처리에 있어서 클립 처리를 통해서 포화 레벨로 감소될 것이다. 그 때문에, 이들 색 성분이 포화 레벨로 감소되고, 무채색(블로운 아웃 하이라이트(blown-out highlights)로서 표시된다.

이렇게, 필터 처리를 사용하는 화상 회복 처리에서 포화된 화소를 참조하면 올바른 필터 결과가 취득되지 않고, 포화부의 주변영역에 틴팅이 발생한다. 특히 여기에서 예시한 무채색의 에지 영역에서는, 촬상소자의 분광 감도가 높은 G성분이 R 및 B 성분보다 포화하기 쉽기 때문에, G성분의 회복량이 R 및 B 성분보다 낮고, 결과적으로 녹색의 틴팅이 쉽게 발생하는 경향이 있다.

(제1의 실시예)

다음에, 본 발명의 예시적인 실시예에 관하여 설명한다.

도 1은, 화상 회복 처리를 포함하는 화상처리 전체의 흐름을 모식적으로 나타낸 것이다. 여기에서는, RAW 데이터에 대해서 행해진 화상 처리에 관하여 설명한다. 본 실시예에서도 RAW 데이터는 도 8c에 나타낸 베이어 배열을 갖는 것으로 한다.

우선, 입력 화상 데이터(RAW 데이터)에 대하여, 광원의 색 온도와 센서의 분광 감도를 고려한 색 성분별의 게인 조정 처리(화이트 밸런스(WB) 처리)(201)를 적용한다.

다음에, 게인 조정된 화상 데이터에 대하여 화상 회복 처리(202)를 적용한다. 화상 회복 처리의 상세에 관해서는 후술한다. 화상 회복 처리 후의 출력은, 입력 화상 데이터와 마찬가지로 베이어 배열을 갖는다.

다음에, 화상 회복 처리 후의 화상 데이터에 대하여, 색 보간(디모자이크(demosaic)) 처리, 노이즈 저감 및 샤프니스 처리, 및 감마 처리 등의 현상 처리(203)를 적용한다. 현상 처리 후의 화상 데이터에, RGB 형식으로부터 YUV 형식으로 변환하는 YUV 변환 처리(204)를 적용함으로써, 일련의 화상 처리가 완료한다.

또한, 본 실시예에서는, 기능 블록과 공정 사이에 있어서의 화상 데이터 교환은, 메모리를 통해서 행해지는 것을 상정하고 있다. 다만, 각 기능 블록과 공정의 처리를 전용의 하드웨어 모듈을 사용해서 실행할 경우, 데이터 교환은 그들 하드웨어 모듈 사이에서 직접 행해져도 된다. 물론, 이것은 각 하드웨어 모듈이 데이터를 보존하기 위한 충분한 버퍼 메모리를 가지고 있다는 전제에 근거를 둔다.

도 2는, 도 1에 나타낸 화상 회복 처리(202)를 실행하기 위한 본 발명의 실시예에 따른 화상처리장치(100)의 기능 구성 예를 나타내는 블럭도다.

화상 데이터 취득부(101)는, 도 7의 화상 데이터 취득부(401)와 같이, 제1~제4 필터 처리부(102∼105)가 사용하는 공간 필터의 크기에 대응하는 참조 영역에 대응한 화상 데이터를 판독한다. 그리고나서, 화상 데이터 취득부(101)는, 참조 영역에 대응한 화상 데이터를 포화 판정부(106)에 그대로 출력하고, 또한 제1∼제4 필터 처리부(102∼105)에는 그것을 색 성분별로 분리해서 출력한다.

포화 판정부(106)는 참조 영역에 대응한 화상 데이터를 참조하고, 미리 설정된 스레숄드값(포화 레벨) 이상의 화소가 하나라도 존재하는지 아닌지를 판정하고, 판정의 결과를 R성분 출력 조정부(113) 및 B성분 출력 조정부(114)에 출력한다. 참조 영역 내에 포화 화소가 있으면, 주목 화소에 적용된 화상 회복 처리에 있어서, 회복 필터가 포화 화소를 참조한다고 판정된다.

제1~제4 필터 처리부(102∼105)는, 도 7을 사용하여 설명한 것 같이, 색 성분마다 화상 회복 처리를 행하고, 화상 회복 처리 후의 색 성분값 R', G1', G2'， B'을 각각 출력한다.

R성분 출력 조정부(113)는, 포화 판정부(106)의 판정 결과에 따라, 제3 필터 처리부(104)로부터의 출력값 R' 혹은 후술하는 틴트 보정값(색차 조정값 R")의 어느 한쪽을 회복 데이터 출력부(115)에 출력한다. 마찬가지로, B성분 출력 조정부(114)는, 포화 판정부(106)의 판정 결과에 따라, 제4 필터 처리부(105)로부터의 출력값 B'과 후술하는 틴트 보정값(색차 조정값 B")의 어느 한쪽을 회복 데이터 출력부(115)에 출력한다.

회복 데이터 출력부(115)는 도 7의 회복 데이터 출력부(406)와 마찬가지로, 색성분마다 입력되는 화상 회복 처리 후의 화상 데이터를 베이어 배열로 되돌아가서 출력한다.

계속해서, 색차 조정값 R", B"의 생성 방법을 도 3의 플로차트를 사용하여 설명한다.

우선, 스텝 S1101에서, 제1 보간 처리부(107)는, 베이어 배열에 있어서의 R, B 위치에서의 G성분값 Gr, Gb을, 화상 회복 처리 전의 G1, G2 성분값에 근거해 보간을 행함으로써 생성한다. 예를 들면, Gr은 도 4a에 나타낸 주목 화소인 R 화소(1202)의 상하좌우의 G1, G2 화소를 잘라낸 영역(도 4b)의 중앙 화소 위치의 값이며, Gr은 이들 G1 및 G2 화소 1201, 1203, 1204, 1205의 평균치로서 산출될 수 있다. 또한, Gb는 도 4a에 나타낸 주목 화소인 B화소(1206)의 상하좌우의 G1, G2 화소를 잘라낸 영역(도 4c)의 중앙 화소 위치의 값이며, Gb는 G1 및 G2 화소 1204, 1205, 1207, 1208의 평균치로서 산출될 수 있다. 또한, 이들의 산출 방법은 단순한 예시이며, 보간에 사용하는 화소의 수나 위치가 다른 방법을 사용해도 된다.

스텝 S1102에서, 도 2의 연산기 109, 110은 화상 회복 처리 전의 대응하는 위치에서 R, B 성분의 값으로부터, 제1 보간 처리부(107)에 의해서 산출된 Gr, Gb의 값을 감산하여 차분값(R-Gr, B-Gb)을 각각 산출하고, 그 차분값을 연산기 111, 112에 각각 출력한다.

스텝 S1103에서, 제2 보간 처리부(108)는 제1 보간 처리부(107)와 마찬가지로, 화상 회복 처리 후의 G1'，G2 성분의 값을 사용하여, 베이어 배열에 있어서의 R, B 위치에서의 G성분 Gr'，Gb'을 산출하고, 그 G성분 Gr'，Gb'을 연산기 111, 112에 출력한다.

스텝 S1104에서, 연산기 111, 112는, 연산기 109, 110에 의해서 산출된 차분값 R-Gr, B-Gb을, 대응하는 R, B 위치에 대해서 제2 보간 처리부(108)에 의해서 산출된 G성분값 Gr', Gb'에 각각 가산한다. 이렇게 함으로써, 연산기 111, 112는, 색차 조정값 R" 및 B"을 생성한다. 즉, 색차 조정값 R" 및 B"은, 이하의 식(1) 및 식(2)에 의해 생성된다.

R" = R - Gr + Gr' (1)

B" = B - Gb + Gb' (2)

이렇게, 색차 조정값 R", B"은, 화상 회복 처리 전의 색 성분값 R, B에 대하여, 같은 화소 위치에 있어서의 G성분의 화상 회복 처리 전후의 차(변화량) Gr'-Gr, Gb'-Gb을 첨가한 값이다.

식(1), (2)로부터 이하의 식을 얻는다.

R" - Gr' = R - Gr (3)

B" - Gb' = B - Bb (4)

색차 조정값 R", B"을 화상 회복 처리 후의 R, B값으로서 사용했을 경우, 화상회복 처리 전의 화소값에 있어서의 색차 R-G 및 색차 B-G와 같은 색차가, 화상 회복 처리 후의 화소값에서도 유지된다는 것을 알 수 있다.

상술한 바와 같이, 본 실시예의 화상처리장치(100)는, R 및 B 화소의 각각에 대해서 색차 조정값 R" 및 B"을 취득하고, 그것을 R성분 출력 조정부(113) 및 B성분 출력 조정부(114)에 공급한다. 또한, 포화 판정부(106)에 의해 참조 영역 내에 포화 화소가 포함되어 있다고 판정되었을 경우에는, R성분 출력 조정부(113)가, 화상 회복 처리 후의 R성분 R_rec으로서, 제3 필터 처리부(104)가 출력하는 R' 대신에, 색차 조정값 R"을 출력한다. 또한, B성분 출력 조정부(114)가 화상 회복 처리 후의 B성분 B_rec으로서, 제4 필터 처리부(105)가 출력하는 B'대신에, 색차 조정값 B"을 출력한다. 그 때문에, 포화 화소를 참조하는 필터 처리가 행해진 경우에도, 화상 회복 처리 전후의 화소값의 색차를 유지할 수 있고, 틴팅을 억제할 수 있다.

또한, 주목 화소(색 성분값)가 포화하고 있는(포화 레벨을 넘고 있는) 경우에는, 회복 필터가 포화 화소를 참조하는 경우에도 화상 회복 처리 후의 값을 교체하지 않는 구성이 가능하다는 점에 유념해야 한다. 예를 들면, 화소 위치 X1, X2에 대해서는, 화상회복 처리 후의 값 R'을 그대로 사용해도 된다. 이 경우, 포화 판정부(106)는, 주목 화소가 포화 화소이면, 참조 영역 내에 또 다른 포화 화소가 포함되어 있는지 아닌지 여부에 관계없이, 포화 화소가 포함되어 있다(필터가 포화 화소를 참조한다)고 판정을 행하지 않도록 하면 된다.

다음에, 본 실시예의 화상처리장치(100)에 의한 효과를, 도 5a 내지 도 5c을 참조하여 설명한다.

도 5a는 도 9b와 같은 방법으로, 포화부 주변의 에지 부분에 대응하는 화소 라인의 화소 값이, 색 성분별로 X방향으로 플롯(plot)된다. 다만, 도 5a에는, R성분과, 보간에 의해 취득되는, 대응하는 화소 위치에 있어서의 G성분(Gr)의 값을 나타낸다는 점에 유념한다. 도 9b에서 설명한 바와 같이, 모든 값은 화이트 밸런스 처리 후의 값이며, 도 5a는 화소 위치 X1, X2에서 G성분값이 포화에 의해 손실되어 있는 상태를 나타낸다. 또한, 이 예에서는, G성분값 중에 포화에 의해 손실되었던 값이 포함되어 있으면, 화이트 밸런스 처리 후의 G성분값과 R성분값이 같다고 가정한다. 또한, 파선(R- Gr)은, R성분과 G성분(Gr)의 차분값(색차 R-Gr)을 나타낸다.

이러한 값을 갖는 R성분 및 Gr성분에 대해서 도 9c에 나타낸 색 성분별의 각기 다른 특성을 갖는 회복 필터를 사용해서 화상 회복 처리를 행한 결과를 도 5b에 나타낸다. 도 9d와 마찬가지로, G성분에 대해서 행해진 화상 회복 처리에서는, 포화의 영향에 의해 본래의 값을 참조할 수 없다. 그 때문에, 화상 회복 처리 후의 G성분 G1' 및 G2'에 의거한 보간에 의해 취득되는 화소 위치 X3, X4에 있어서의 G성분 Gr'은, 포화의 영향을 받지 않는 화상 회복 처리 후의 R성분 R'보다도 크며, 이것은 녹색의 틴팅의 원인이 된다. 또한, 화소 위치 X1, X2에 있어서는, 각 성분이 포화 레벨을 넘고, 그들 모두는 후단의 현상 처리에서 클립(clip) 처리를 통해서 포화 레벨로 감소될 것이므로, 값의 차는 틴팅의 원인이 되지 않는다.

한편, 회복 필터가 포화 화소 X1, X2을 참조하는 화상 회복 처리에 있어서, 화상 회복 처리 후의 R성분 R'을, 화상 회복 처리 후의 G성분 Gr'에 화상 회복 처리 전의 색차 R-Gr를 가산해서 얻은 색차 조정값 R"으로 교체한 결과를 도 5c에 나타낸다. 또한, 상기한 바와 같이, 회복 필터가 포화 화소 X1 및 X2을 참조하는 화소 위치 X1 내지 X4 중에서, 주목 화소가 포화하고 있는 화소 위치 X1, X2에 대해서는, 교체를 행하지 않고, 대신 화상 회복 처리 후의 값 R'을 그대로 사용한다는 점에 유념해야 한다.

위치 X3, X4에 있어서 R'을 R"과 교체함으로써, 위치 X2, X3에 있어서의 값들 간의 차와 화소 위치 X3, X4에 있어서의 값들 간의 차가 작아져서, 에지 강조의 효과는 저하한다. 그러나, 이들 화소 위치에 있어서의 색차 R"-Gr'이 화상 회복 처리 전의 색차 R-Gr와 같기 때문에, 화상 회복 처리에 의해 발생하는 G성분과 R성분 간의 차가 억제되어, 틴팅이 억제된다.

대표적인 예로서 R성분에 대해서 설명했지만, B성분에 관해서도 마찬가지로, 회복 필터가 포화 화소를 참조하는 주목 화소의 위치에 있어서의 B성분값을, 화상 회복 처리 후의 G성분 Gb'에 화상 회복 처리 전의 색차 B-Gb을 가산함으로써 취득되는 색차 조정값 B"으로 교체하면 된다. 이에 따라, 화상 회복 처리 전의 색차 B-Gb이 화상 회복 처리 후에도 유지된다.

이렇게, 본 실시예에서는, 포화부 주변, 더 구체적으로는, 회복 필터 처리에 있어서 포화 화소를 참조하는 경우에, 주목 화소의 화상 회복 처리 전후의 색차를 유지하기 위한 색 성분값(색차 조정값)을 화상 회복 처리 후의 색 성분값으로서 사용한다. 그 때문에, 공간 필터를 사용하는 화상 회복 처리 전후의 색 성분 간의 밸런스가 무너지는 것에 의한, 포화부 부근의 틴팅을 억제할 수 있다.

(제2의 실시예)

제1의 실시예에서는, 회복 필터가 참조하는 참조 영역에 포화 화소가 포함되어 있는지 아닌지에 의존해서, 화상 회복 처리 후의 신호값을 전환하는 것으로 포화부 주변의 틴팅이 억제된다.

그렇지만, 단순하게 출력 신호를 전환하는 방법에서는, 전환이 발생하는 경계 부근에서 유사 윤곽이 생길 우려가 있다. 그 때문에, 본 실시예에서는 회복 필터가 참조하는 참조 영역에 차지하는 포화 화소의 퍼센티지에 따라 화상 회복 처리 후의 신호 값을 가중 가산함으로써, 유사 윤곽의 발생을 억제하는 구성을 갖는 것을 특징으로 한다.

본 실시예도, 제1의 실시예에서 도 2를 참조하여 설명한 기능 구성의 화상처리장치에 의해 실현될 수 있기 때문에, 이하에서는 제1의 실시예와 다른 처리에 관하여 설명한다.

도 6a는 도 5a와 마찬가지로, 포화부 주변의 에지 부분에 대응하는 화소 라인의 R성분의 값과, 보간에 의해 취득되었던 대응하는 화소 위치에 있어서의 G성분(Gr)의 값을 X방향으로 플롯한다. 이들 값 모두는 화이트 밸런스 처리 후의 값이며, 도 6a는 화소 위치 X1, X2에서 G성분값이 포화에 의해 손실되어 있는 상태를 나타낸다. 또한, 파선(R-Gr)은, R성분과 G성분(Gr) 간의 차분값(색차 R-Gr)을 나타낸다. 도 6a에 나타낸 에지 부분에서는, 회절의 영향에 의해 R성분이 G성분보다도 크고, 그것에 의해 틴팅이 발생했다.

도 6b는 이러한 값을 갖는 R성분 및 Gr성분에 대해서 도 9c에 나타낸 색 성분마다 각기 다른 특성을 갖는 회복 필터를 사용해서 화상 회복 처리를 행한 결과를 나타낸다. 도 5b와 마찬가지로, 화소 위치 X3, X4에 있어서의 G성분 Gr'은, 포화의 영향을 받지 않는 화상 회복 처리 후의 R성분 R'보다도 큰 값을 갖고, 이것은 녹색의 틴팅의 원인이 된다.

도 6c는 제1 실시예의 방법에 따라, 회복 필터가 포화 화소를 참조하는 화소 위치 X1∼X4 중에서, 주목 화소가 포화하고 있지 않은 화소 위치 X3, X4에 있어서의 R성분의 값 R'을 색차 조정값 R"로 교체해 놓은 결과를 나타낸다. 이들 화소 위치에 있어서는, 화상 회복 처리 전후에 색차가 유지되기 때문에(R-Gr=R"-Gr'), 틴팅은 억제되지만, R성분에 대한 회복 효과는 저감된다. 또한, 출력값이 전환되는 화소 위치 X4에 있어서의 R성분값과, 출력값이 전환되지 않는 화소 위치 X5에 있어서의 R성분값과의 사이에 단차가 생기기 때문에, 현상 처리 후에 취득되는 화상에서 유사 윤곽이 발생할 우려가 있다.

본 실시예에 있어서는, 이러한 유사 윤곽의 발생을 억제하기 위해서, 포화 판정부(106)는, 참조 영역이 포화 화소를 포함하고 있는지 아닌지를 판정하는 것보다는 오히려, 참조 영역 내의 전체 화소 수에 대한 포화 화소의 퍼센티지를 얻는다(즉, 포화도를 얻는다). 또한, R성분 출력 조정부(113)는, 포화도가 높을수록, 색차 조정값 R"의 웨이트(weight)가 커지도록, 화상 회복 처리 후의 R성분값 R'에 대해서 가중 가산을 행한 결과를 출력한다. B성분 출력 조정부(114)는, B성분에 대해서 같은 처리를 행한다. R성분 출력 조정부(113) 및 B성분 출력 조정부(114)에 의해서 행해지는 가중 가산은 이하의 식(5) 및 (6)으로 표현된다.

R_rec = (1-α)× R' + α× R" (5)

B_rec = (1-α)× B' + α× B" (6)

여기에서, a는 제3 및 제4 필터 처리부(104, 105)에 대응하는 회복 필터가 참조하는 참조 영역 내의 포화 화소의 퍼센티지이며(즉, 포화도), α는 0~1의 값을 취한다.

α = Ns/Nf (7)

Nf: 참조 영역의 총 화소 수

Ns: 참조 영역 중의 포화 화소 수

도 6a 내지 도 6d에 나타낸 예에서는, 도 9c에 나타낸 5탭의 1차원 필터를 사용하고 있기 때문에, X3을 주목 화소라고 했을 경우에, 참조하는 포화 화소는 X1, X2이며, 포화 화소 수 Ns는 2이다. 마찬가지로, X4을 주목 화소라고 했을 경우에, 참조하는 포화 화소는 X2이며, 포화 화소 수 Ns는 1이다. 따라서, 필터가 참조하는 참조 영역의 총 화소 수 Nf=5에 대한 포화도 α는, 화소 위치 X3에서는 0.4이고, X4에서는 0.2이다.

도 6d는 화소 위치 X3, X4의 R성분값이 R'을 반영한 가중 가산 값이 되는 화상 회복 처리 후의 신호 값 R'_rec을 나타낸다. 이 도면에 나타낸 바와 같이, 화소 위치 X4로부터 화소 위치 X5에 있어서의 화상 회복 처리 후의 R신호의 단차가 저감된다. 화소 위치 X2, X3에 있어서도, 색 성분 간의 밸런스가 일반적인 화상 회복 처리 결과(도 6b)보다도 화상 회복 처리 전의 밸런스에 더 가깝고, 취득한 회복 효과는 제1 실시예의 방법을 채용한 결과(도 6c)보다도 더 좋다.

이렇게, 본 실시예에서는, 회복 필터 처리에 있어서 포화 화소를 참조하는 경우에, 회복 필터가 참조하는 참조 영역 내의 포화 화소의 퍼센티지에 따라 화상 회복 처리 후의 신호 값을 반영시킨 색차 조정값을, 화상 회복 처리 후의 색 성분값으로서 사용한다. 그 때문에, 색차 조정값을 그대로 화상 회복 처리 후의 색 성분값으로서 사용하는 경우에 발생하는 의사 윤곽의 발생을 억제하면서, 포화부 주변의 틴팅을 억제하는 효과를 실현할 수 있다. 또한, 색차 조정값에는 포함되지 않는 화상 회복 처리 후의 색 성분이 반영되기 때문에, 화소 화상 회복 처리의 효과를 향상시킬 수 있다.

(그 외의 실시예)

상기의 실시예에서는 현재의 일반적인 촬상소자의 원색 필터를 투과한 색 성분 중에서, G성분에 대하여 가장 감도가 높고, G성분과 함께 포화가 가장 쉽게 발생한다는 것을 전제로 하여, R성분 및 B성분을 보정하는 구성에 관하여 설명했다. 특히, 제1 실시예에서는 회복 필터가 포화 화소를 참조하는 경우에, 휘도 성분(G성분)에만 화상회복 처리를 적용하고, R 및 B성분을 화상 회복 처리 전의 G성분과의 색차를 유지하는 값으로 조정하는 구성을 설명했다.

그렇지만, 본 발명의 기본적인 기술사상은, 화상 회복 처리 전후에 있어서의 색 성분 간의 밸런스(색 성분값 간의 차분)가 무너지지 않도록, 화상 회복 처리 후의 일부의 색 성분을 보정하는 것이다. 따라서, 본 발명은 R성분 및 B성분의 보정에는 반드시 한정되지 않는다. 예를 들면, 상기에 설명한 G성분을 포화하기 쉬운 또 다른 색 성분으로 교체함으로써, 각기 다른 감도 특성을 갖는 촬상소자나, RGB 이외의 색 성분으로 이루어지거나 RGB 이외의 색 성분을 갖는 컬러 필터를 구비하는 촬상소자에 의해서 취득되는 화상에 대해서 행해진 회복 처리에도 본 발명을 적용할 수 있다. 또한, 회복 처리 전후의 색차가 완전히 서로 일치하지 않아도, 회복 처리 전후의 변화가 미리 정해진 범위 내이면 본 발명의 효과를 취득할 수 있다.

본 발명의 실시예들은, 상술한 본 발명의 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, 비일시 컴퓨터 판독가능한 기억매체) 상에 기록된 컴퓨터 실행가능한 명령들을 판독 및 실행하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행가능한 명령들을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)TM 등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims

화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 수단과,
상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 포화 화소가 포함되는지 아닌지를 판정하는 판정 수단과,
상기 판정 수단이 취득한 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 두 개의 색 성분을 조정하는 조정 수단을 구비하고,
상기 판정 수단이 포화 화소가 상기 참조 영역에 포함된다고 판정하는 경우에, 상기 조정 수단은 상기 두 개의 색 성분의 각각에 대하여, 상기 화상 회복 처리 후의 상기 색 성분의 값에 가중 가산을 행함으로써 상기 화상 회복 처리 후의 상기 색 성분, 및 상기 색 성분 간의 색차가 상기 화상 회복 처리 전후에 유지되도록 조정된 값을 조정하는, 화상처리장치.
삭제
삭제
제 1 항에 있어서,
상기 화상 회복 처리를 적용하는 화소 위치에 포함되지 않은 또 다른 색 성분에 대해서, 상기 화소 위치의 주변의 다른 색 성분의 값에 의거해 보간을 행해서 상기 색차를 산출하는, 화상처리장치.
제 1 항에 있어서,
상기 색 성분은 R성분, G성분, 및 B성분을 포함하고, 상기 조정 수단은, 상기 G성분과의 색차가 상기 화상 회복 처리 전후에 유지되도록 상기 R성분과 상기 B성분을 조정하는, 화상처리장치.
삭제
삭제
제 1 항에 있어서,
상기 조정 수단은, 상기 가중 가산을 행할 때, 상기 참조 영역에 있어서의 포화 화소의 퍼센티지가 증가할수록 상기 화상 회복 처리 후의 색 성분의 값에 더 높은 웨이트(weight)를 주는, 화상처리장치.
제 1 항에 있어서,
상기 조정 수단은, 상기 화상 회복 처리를 적용하는 화소 위치에서 색 성분값이 포화하고 있는 경우에는, 상기 조정을 행하지 않는, 화상처리장치.
제 1 항에 있어서,
상기 판정 수단은, 화소의 값이 미리 정해진 스레숄드값 이상이면 화소를 포화 화소라고 판정하는, 화상처리장치.
삭제
화상의 색 성분마다 공간 필터를 적용해서 화상 회복 처리를 행하는 필터 단계와,
상기 공간 필터가 참조하는 화소의 영역인 참조 영역에, 포화 화소가 포함되어 있는지 아닌지를 판정하는 판정 단계와,
상기 판정 단계에서 취득된 판정 결과에 따라 상기 화상 회복 처리 후의 색 성분들 중의 두 개의 색 성분을 조정하는 조정 단계를 포함하고,
상기 판정 단계에서 포화 화소가 상기 참조 영역에 포함된다고 판정하는 경우에, 상기 조정 단계에서 상기 두 개의 색 성분의 각각에 대하여, 상기 화상 회복 처리 후의 상기 색 성분의 값에 가중 가산을 행함으로써 상기 화상 회복 처리 후의 상기 색 성분, 및 상기 색 성분 간의 색차가 상기 화상 회복 처리 전후에 유지되도록 조정된 값을 조정하는, 화상처리장치의 제어방법.
삭제
컴퓨터를, 청구항 1, 4, 5, 8, 9 및 10 중 어느 한 항에 따른 화상처리장치로서 기능시키기 위해, 매체 상에 저장된 컴퓨터 프로그램.