KR101639664B1 - 촬상장치 및 촬상방법 - Google Patents

Abstract

셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있는 촬상장치 및 촬상방법을 제공하는 것으로, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 산출된 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 생성된 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 수단과, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 생성된 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 수단과, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 수단과, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 수단을 포함하는 것을 특징으로 한다.

Description

촬상장치 및 촬상방법{Photographing apparatus and photographing method}

본 발명은 촬상장치 및 촬상방법에 관한 것이다.

디지털 스틸 카메라 등의 전자적 촬상장치에서는 피사체 주변 환경의 광원색과 상관없이 흰 피사체가 희게 촬영되도록 화이트 밸런스 보정을 하는 처리가 추가되어 있다. 화이트 밸런스 보정은 디지털 화상을 여러 개의 블럭으로 분할하여 얻어지는 RGB블럭 통계값에 기초하여 어떤 광원인지 여부 등을 판단하고 화이트 밸런스 게인을 산출한다. 그리고 산출된 화이트 밸런스 게인을 화상에 적용함으로써 화질이 보정된다. 상술한 디지털 화상은 렌즈 등의 광학계를 통해 얻어지는 피사체상을 CCD이미지 센서 등의 촬상소자로 광전 변환함으로써 얻어진다.

또 화이트 밸런스의 문제와 상관없이 전자적 촬상장치에서는 렌즈 결상 광학계 자체 특성 등의 영향에 의해 주변 광량이 감쇠되는 현상이 발생하는 경우가 있다. 실제로는 빛의 삼원색의 색마다 휘도 분포 특성이 다르다. 따라서 색마다의 휘도 분포 특성의 차이에 기인하여 촬상 화상이 부자연스럽게 착색된다. 이 현상은 색 셰이딩(shading)이라고 불린다.

그런데 색 셰이딩이 발생하면 화이트 밸런스의 보정에 사용되는 디지털 화상에 영향을 미치기 때문에 화이트 밸런스 정밀도가 나빠진다는 문제가 발생한다.

따라서 특허문헌 1에는 RGB블럭 통계값이 색 셰이딩의 영향을 받지 않도록, 화이트 밸런스의 평가로서 사용할 수 있는 영역을 문턱값을 사용하여 판정하여 화상 주변부는 평가하지 않고 화상 중앙부를 평가하는 기술이 개시되어 있다.

또 특허문헌 2에는 셰이딩 보정전에 화이트 밸런스를 위한 평가를 실시하여 광원을 판정하고 광원의 종류에 따라 셰이딩 계수를 적응적으로 변화시키는 방법이 개시되어 있다.

특허문헌 1: 일본특허공개 2007-325222호 공보

특허문헌 2: 일본특허공개 2008-85388호 명세서

그러나 특허문헌 1에서는 셰이딩의 영향을 받지 않도록 화상 중심을 평가 대상으로 하지만 화상 주변부에 광원색의 피사체가 존재하는 씬도 많이 있다. 따라서 화이트 밸런스 게인 산출에서는 화상 중앙부만 평가하는 것이 아니라 화상 전체를 평가하지 않으면 광원을 효과적으로 검출할 수 없다는 문제가 있다.

또 특허문헌 2에 기재된 기술은 색 셰이딩이 피사체의 촬영 환경광의 영향을 받아 변화되는 것을 고려하여 전자적 촬상장치의 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 방법이다. 그러나 화이트 밸런스 게인 산출을 위한 광원 판정시에는 셰이딩 보정을 일절 하지 않기 때문에 광원 판정시에 셰이딩의 영향을 받는다. 따라서 화상 주변부에서의 색평가 오차가 커진다는 문제가 있다.

또한 특허문헌 2에서는 셰이딩을 보정하지 않고 광원을 판정하고 화이트 밸런스 게인은 셰이딩 보정 후에 적용한다. 따라서 최적의 화이트 밸런스 게인의 산출을 위해 수속점(收束点)을 조정할 필요가 있어 일련의 처리가 복잡해진다는 문제가 있다.

그런데 화이트 밸런스 게인 산출을 위한 광원 판정 처리의 전단(前段)에서 셰이딩 보정을 수행하는 방법을 생각할 수 있다.

그러나 셰이딩은 줌이나 조리개라는 렌즈의 광학적 요소뿐만 아니라 촬영 환경광의 영향을 받아 변화된다. 따라서 셰이딩 보정을 위해서는 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 것이 바람직하다. 그런데 셰이딩 보정 계수를 동적으로 변화시키면 광원 판정을 위한 입력값인 RGB블럭 통계값이 동적으로 변화되는 셰이딩 보정의 영향을 받는다. 따라서 올바른 광원 판정을 할 수 없다는 문제가 발생한다.

본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 목적으로 하는 것은 화상의 화이트 밸런스 평가 영역을 화상의 일부로 한정하지 않고 화상 전체를 평가할 수 있으며, 셰이딩 보정 후의 화이트 밸런스 보정 평가가 가능해짐으로써 셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있는 신규 및 개량된 촬상장치 및 촬상방법을 제공하는 데 있다.

상기 과제를 해결하기 위해 본 발명의 실시예에 따른 일 관점에 의하면, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 현재 셰이딩 계수 산출부와, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 제1 셰이딩 보정부와, 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 제1 RGB블럭 통계부와, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 제2 셰이딩 보정부와, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 제2 RGB블럭 통계부와, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 광원 추정부와, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부와, 화이트 밸런스 게인을 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 화이트 밸런스 처리부를 포함하는 것을 특징으로 하는 촬상장치가 제공된다.

이 구성에 의해 화이트 밸런스 게인은 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 산출되고, 화이트 밸런스 게인이 제1 셰이딩 보정 완료 화상에 적용됨으로써 화이트 밸런스 보정이 이루어진다. 여기에서 현재의 광원 추정값을 산출하려면, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하고, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출한다. 그리고 현재의 광원 추정값은 제2 RGB블럭 통계값에 기초하여 산출된다. 또 제1 RGB블럭 통계값을 산출하려면, 우선 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하고, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성한다. 그리고 제1 RGB블럭 통계값이 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 산출된다. 촬상시의 촬영 설정 정보는, 예를 들면 줌 위치, 조리개, 감도 등의 정보이다.

상기 제2 RGB블럭 통계부는 디폴트 셰이딩 계수와 현재 셰이딩 계수의 차분을 산출하고 제1 RGB블럭 통계값에 곱함으로써 제2 RGB블럭 통계값을 산출한다. 이 구성에 의해 제2 RGB블럭 통계값은 제1 RGB블럭 통계값을 사용하여 산출할 수 있으며 실질적인 통계 처리는 제1 RGB블럭 통계값의 산출시만으로 충분하다.

상기 디폴트 셰이딩 계수는 광원색에 의해 변화하는 셰이딩에 기초하여 산출한 평균적인 단일 계수이다. 이 구성에 의해 제2 셰이딩 보정 완료 화상은 하나로 결정되어 있는 디폴트 셰이딩 계수가 사용되어 촬상 화상을 셰이딩 보정하여 생성된다.

상기 디폴트 셰이딩 계수는 촬상시의 촬영 설정 조건별로 여러 개 준비되어 있다. 이 구성에 의해 제2 셰이딩 보정 완료 화상은, 촬상시의 촬영 설정 조건별로 여러 개 준비된 디폴트 셰이딩 계수 중 하나가 사용되어 촬상 화상을 셰이딩 보정하여 생성된다. 촬영 설정 조건은, 예를 들면 조리개 등 렌즈의 서로 다른 상태별 조건이다.

상기 디폴트 셰이딩 계수를 적용하여 촬상된 광원색 데이터에 기초하여 조정된 화이트 밸런스 설계 조정값과, 제2 RGB블럭 통계값에 기초하여 블럭의 색평가를 하여 블럭마다 블럭 가중치를 산출하고, 광원 추정부는 블럭 가중치와 제2 RGB블럭 통계값에 기초하여 광원 추정값을 산출한다. 이 구성에 의하면 화이트 밸런스 설계 조정값은 디폴트 셰이딩 계수를 적용하여 촬상된 광원색 데이터에 기초하여 조정된 값으로서, 블럭의 색평가가 화이트 밸런스 설계 조정값과 제2 RGB블럭 통계값에 기초하여 이루어져 블럭마다 블럭 가중치가 산출된다. 그리고 광원 추정값이 블럭 가중치와 제2 RGB블럭 통계값에 기초하여 산출된다.

상기 광원 추정부는, 제2 RGB블럭 통계값에 기초하여 산출한 색좌표와 블럭 가중치에 기초하여 가중 평균함으로써 광원 추정값을 산출한다. 이 구성에 의하면, 색좌표가 제2 RGB블럭 통계값에 기초하여 산출되고 광원 추정값은 색좌표와 색평가 결과를 반영한 블럭별 블럭 가중치에 기초하여 가중 평균함으로써 산출된다.

상기 화이트 밸런스 게인 산출부는, 블럭 가중치를 사용하여 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출한다. 이 구성에 의하면, 화이트 밸런스 게인은 색평가 결과를 반영한 블럭별 블럭 가중치를 이용하여 현재 셰이딩 보정 계수에 적합한 제1 RGB블럭 통계값에 기초하여 산출된다.

상기 블럭 가중치는 광원 추정값과 촬영 설정 정보로부터 산출되는 피사체 휘도에 의해 변화되도록 산출된다. 이 구성에서, 촬영 설정 정보는 셔터 속도, 조리개, 감도 등의 정보이고, 블럭 가중치는 광원 추정값이나 피사체 휘도(예를 들면 환경광의 명도(BV값)에 따라 변화된다.

또 상기 과제를 해결하기 위해 본 발명의 실시예에 따른 다른 관점에 의하면, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 단계와, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 단계와, 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 단계와, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 단계와, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 단계와, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 단계와, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 단계와, 화이트 밸런스 게인을 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 단계를 포함하는 것을 특징으로 하는 촬상방법이 제공된다.

본 발명의 실시예들에 따르면, 화상의 화이트 밸런스 평가 영역을 화상의 일부로 한정하지 않고 화상 전체를 평가할 수 있으며, 셰이딩 보정 후의 화이트 밸런스 보정 평가가 가능해짐으로써 셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있다.

도 1은 본 발명의 일 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110)를 도시한 블럭도이다.
도 2는 동 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110), 셰이딩 테이블 산출부(120) 및 화이트 밸런스 게인 산출부(130)를 도시한 블럭도이다.
도 3은 동 실시형태에 따른 촬상장치의 개략적인 동작을 도시한 흐름도이다.
도 4는 동 실시형태의 셰이딩 보정 동작을 도시한 흐름도이다.
도 5는 동 실시형태의 화이트 밸런스 게인 산출 동작을 도시한 흐름도이다.
도 6은 조리개에 의한 셰이딩과 광원에 의한 셰이딩을 분리하는 경우의 실시형태를 도시한 설명도이다.
도 7은 화상 영역의 블럭 분할을 도시한 개념도이다.
도 8은 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 9는 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 10은 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 11은 디폴트 셰이딩 보정 계수를 도시한 단면도이다.
도 12는 촬영시에 적용되는 현재 셰이딩 보정 계수를 도시한 단면도이다.
도 13은 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 도시한 단면도이다.

이하 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.

<본 발명의 일 실시형태>

본 발명의 일 실시형태에 따른 디지털 스틸 카메라(촬상장치)는 촬상 화상에 발생하는 셰이딩을 보정하는 셰이딩 보정부(106)와, 촬상 화상의 화이트 밸런스 보정을 수행하는 화이트 밸런스 처리부(108)를 포함하는 것을 특징으로 한다. 그리고 광원 추정 결과 등에 기초하여 셰이딩 보정 계수를 적응적으로 동적으로 변화시킨 경우라 해도 셰이딩 보정 계수 변화의 영향을 받지 않고 화상 전체를 평가하여 최적의 화이트 밸런스 보정을 수행할 수 있다.

도 1은, 본 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110)를 도시한 블럭도이다. 도 2는, 본 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110), 셰이딩 테이블 산출부(120) 및 화이트 밸런스 게인 산출부(130)를 도시한 블럭도이다. 도 3은, 본 실시형태에 따른 촬상장치의 개략적인 동작을 도시한 흐름도이다.

화상 처리부(110)(Image pipe line)는, 예를 들면 CCD이미지 센서 또는 CMOS이미지 센서(102)와, 화상 전처리부(104)와, 셰이딩 보정부(106)와, 화이트 밸런스 처리부(108)와, 디모자이킹(demosaic) 처리부(112)와, 색보정부(114)와, 감마 처리부(116) 등으로 이루어진다.

우선 RGB화상 신호(RAW데이터)가, 도 1의 CCD이미지 센서 또는 CMOS이미지 센서(102) 등의 촬상소자를 포함한 아날로그 프론트 엔드(AFE)에서 얻어진다(단계 S101). RGB화상 신호는 결함 화소 보정, 검정 레벨 보정 등의 화상 전처리가 이루어진다. 그리고 셰이딩 보정 처리, 화이트 밸런스 보정 처리, 베이어 색보간(디모자이킹) 처리, 색보정 처리, 감마 보정 처리 등 여러가지 전자적 처리가 이루어져 화상 기록이 이루어진다.

본 실시형태에서는 셰이딩 보정 처리가 화이트 밸런스 게인 산출부(130)의 전단에서 실시되는 것을 특징으로 한다(단계 S102, 단계 S105).

촬상된 RGB화상 신호에 화상 전처리를 한 후 셰이딩 보정이 이루어진다. 셰이딩 보정은 렌즈 결상 광학계 자체의 특성 등의 영향에 의해 주변 광량이 감쇠되는 현상(셰이딩)을 보정하는 처리이다. 셰이딩은, 실제로는 광학계 특성의 영향뿐만 아니라 피사체 주변 환경의 광원에 의해서도 셰이딩의 발생 정도가 변화된다.

도 8, 도 9, 도 10은 광원별 셰이딩 발생 상황을 도시한 단면도로서, 각각의 차이를 예시한 것이다. 도 8은 태양광 하에서 발생한 셰이딩의 상황을 도시하고, 도 9는 형광등 하에서 발생한 셰이딩의 상황을 도시하고, 도 10은 백열등 하에서 발생한 셰이딩의 상황을 도시한다.

이들 현상은 빛의 3원색인 RGB마다 서로 다른 셰이딩이 발생하기 때문에 색 셰이딩이라고 불린다. 그리고 색 RGB 각각에 대해서 화상 픽셀 좌표에 따른 보정 계수를 설정한다.

셰이딩 테이블 산출부(120)는 조리개, 줌 등의 카메라 설정 정보와 화이트 밸런스 처리의 광원 추정 결과(Light source estimation)에 따라 최적의 셰이딩 보정 계수를 산출한다.

산출한 셰이딩 보정 계수는, 도 1에 도시한 화상 처리부(110)의 셰이딩 보정부(106)에서 사용된다. 이 셰이딩 보정 후의 화상 데이터는 화이트 밸런스 게인 산출부(130)에 입력된다.

도 2에 도시한 블럭 통계 처리부(132)는 이미 셰이딩 보정 완료된 화상을 블럭 분할하고 블록마다 RGB화소의 통계값을 취득한다(단계 S103). 이 RGB통계값은 AWB처리부(136)에 입력된다. 단, 화상에 적용되어 있는 셰이딩 보정 계수(현재 셰이딩 테이블)와, 화이트 밸런스 게인 산출부(130)가 광원 추정에 사용하는 셰이딩 보정 계수(디폴트 셰이딩 테이블)와의 차분을 곱한 후 입력한다(단계 S104).

[셰이딩 보정]

도 4는, 본 실시형태의 셰이딩 보정 동작을 도시한 흐름도이다.

셰이딩은 줌, 조리개 등의 렌즈의 광학적 요소나 촬영 환경 광원에 관계되어 변화한다. 따라서 도 4에 도시한 것처럼 셰이딩 보정 계수가 동적으로 산출된다.

우선 셰이딩 보정부(106)에서 AV(조리개값), TV(셔터 속도), SV(촬상 감도), 줌 등의 촬영 설정 조건이나 직전의 프레임 화상에서 산출된 광원 추정값 등 촬영 정보가 취득된다(단계S111).

그리고 취득된 촬영 설정 정보나 광원 추정값, 셰이딩 데이터 기억부에 사전에 기억해 놓은 셰이딩 정보에 기초하여 최적의 현재(current) 셰이딩 보정 계수를 산출한다(단계S112).

아울러 상기에 나타낸 셰이딩을 변화시키는 요인은 여러 요인 중 일례이다. 따라서 셰이딩 보정 계수의 산출 방법은 본 명세서에 기재한 예로 한정되지 않는다. 즉, 다른 요인으로 동적으로 셰이딩 보정 계수를 바꾼 경우라 해도 후술하는 것처럼 적절한 화이트 밸런스를 제공할 수 있는 것이 중요하다.

다음으로 단계S112에서 산출된 현재 셰이딩 보정 계수는 RGB화상 신호(화상 데이터)에 적용되어 화상 데이터는 셰이딩 보정이 이루어진다(단계S113).

셰이딩 보정된 화상 데이터는 RGB블럭 통계 처리에 사용된다(단계S114).

[화이트 밸런스 게인 산출]

도 5는, 본 실시형태의 화이트 밸런스 게인 산출 동작을 도시한 흐름도이다.

(제1 RGB블럭 통계값에 대해서)

화이트 밸런스 게인 산출부(130)는 셰이딩 보정을 적용한 화상 데이터의 화상 영역을, 예를 들면 도 7에 도시한 것처럼 N×M의 블럭으로 분할한다. 도 7은, 화상 영역의 블럭 분할을 도시한 개념도이다. 분할 블록내에는 여러 개의 화소가 포함되어 있다. 그리고 블럭별 RGB화소의 통계값이 제1 RGB블럭 통계값으로서 산출된다.

(화이트 밸런스 설계 조정값에 대해서)

그런데 광원 판정이나 동작 추종 범위를 결정하기 위한 파라미터군(이하, 「화이트 밸런스 설계 조정값」이라고도 한다.)은 화이트 밸런스 게인 산출에서 사용되며 화이트 밸런스 설계 조정값 기억부에 사전에 저장해 놓는다. 화이트 밸런스 설계 조정값은 사전에 전자적 촬상장치의 설계자가 화이트 밸런스 설계 조정 처리를 실시함으로써 산출된다.

화이트 밸런스 설계 조정 처리는 편입 대상으로 하는 전자적 촬상장치를 사용한다. 그리고 각종 광원하에서 그레이 차트나 컬러 차트를 촬영하여 광원색 데이터를 취득한다. 아울러 이 때 적용하는 셰이딩 보정 계수는 단일의 대표적인 셰이딩 보정 계수(디폴트 셰이딩 보정 계수)이다.

전자적 촬상장치의 설계자는 화이트 밸런스 설계 조정 처리로 얻어진 광원색 데이터에 기초하여 화이트 밸런스 게인 산출에서 사용되는 색평가 판정 문턱값이나 화이트 밸런스 추종 범위 등의 화이트 밸런스 설계 조정값을 결정한다.

(색평가 처리에 대해서)

상술한 것처럼 화이트 밸런스 설계 조정값은 디폴트 셰이딩 보정 계수를 적용하여 셰이딩 보정된 화상 데이터에 최적화되어 있다. 따라서 촬상된 화상에 대해 RGB블럭 색평가를 할 때, 만일 셰이딩 보정 계수를 동적으로 변경하여 얻어진 제1 RGB블럭 통계값을 사용하면 올바르게 색평가를 할 수 없다는 문제가 있다. 현재 셰이딩 보정 계수와 디폴트 셰이딩 보정 계수간 차이의 영향을 받기 때문이다.

그래서 본 실시형태에서는 현재 적용되고 있는 현재 셰이딩 보정 계수와 디폴트 셰이딩 보정 계수간의 차분을 고려한 색평가 처리를 수행한다.

도 11은 디폴트 셰이딩 보정 계수를 도시한 단면도이다. R, G, B마다 서로 다른 계수를 설정함으로써 색 셰이딩을 보정할 수 있다. 셰이딩 보정 계수는 픽셀 단위로 계수를 곱하기 때문에 수학식 1에 나타난 것처럼 평균 곱셈 계수를 구하며, 이것을 Def_RAve, Def_GAve, Def_BAve로 한다.

수학식 1에서 h는 화상의 폭, v는 화상의 높이, DefRCoeff, DefGCoeff, DefBCoeff는 RGB 각각의 디폴트 셰이딩 보정 계수를 나타낸다.

촬상시에는 촬영 설정 정보 등에 적합한 셰이딩 보정 계수(현재 셰이딩 보정 계수)가 적용된다. 도 12는 촬영시에 적용되는 현재 셰이딩 보정 계수를 도시한 단면도이다. 도 12에 도시한 예에서는, 도 11에 도시한 디폴트 셰이딩 계수보다도 큰 계수가 적용되어 있다.

디폴트 셰이딩 보정 계수와 마찬가지로, 수학식 2에 나타나는 것처럼 평균 곱셈 계수를 구하며, 이것을 Cur_RAve, Cur_GAve, Cur_BAve로 한다. 수학식 2에서, h는 화상의 폭, v는 화상의 높이, CurRCoeff, CurGCoeff, CurBCoeff는 RGB 각각의 현재 셰이딩 보정 계수를 나타낸다.

화이트 밸런스 설계 조정값은 디폴트 셰이딩 보정 계수를 적용한 상태에서 올바르게 광원 추정을 할 수 있도록 촬상장치에 편입되어 있다. 따라서 RGB블럭 색평가 처리를 수행할 때, 도 13에 도시된 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 사용한다. 도 13은, 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 도시한 단면도이다.

이미 산출되어 있는 디폴트 셰이딩 보정 계수의 평균 곱셈 계수와 현재 셰이딩 보정 계수의 평균 곱셈 계수에 기초하여 수학식 3을 사용하여 변환 계수 Delta_RAve, Delta_GAve, Delta_BAve를 구한다.

셰이딩 차분 보정부(134)가 산출된 변환 계수 Delta_RAve, Delta_GAve, Delta_BAve를, 화이트 밸런스 게인을 산출할 때에 사용되는 제1 RGB블럭 통계값에 곱하고 그 결과를 제2 RGB블럭 통계값(R', G', B')으로 한다.

그리고 광원 평가를 할 때, 제2 RGB블럭 통계값(R’, G’, B’)을 사용한다. 이로써 셰이딩 보정을 적용한 화상 데이터의 화상 영역에 대해 화이트 밸런스 설계 조정 처리에 사용한 디폴트 셰이딩 보정 계수를 적용한 경우에 상당하는 광원 평가를 수행할 수 있다.

다음으로 본 실시형태의 색평가 처리 순서에 대해서 설명하기로 한다.

예를 들면, 제2 RGB블럭 통계값에 기초하여 블럭별 색좌표를 산출한다. 이 때의 색좌표는, 수학식 4에 나타나는 것처럼 R/G비 및 B/G비인 좌표계여도 좋고, 다른 색채의 규격값으로 변환된 좌표여도 좋다.

RGB블럭 색평가에서는 색좌표(x,y)의 좌표값이나 휘도값 등에 의해 블럭별 평가 가중치 계수w(RGB블럭 가중치)가 결정된다.

(광원 추정 처리)

그리고 수학식 5를 사용하여 RGB블럭 가중치 w와 블럭별 색좌표를 가중 평균하여 광원 추정 좌표(Cx,Cy)를 산출한다. 수학식 5에서, Bh 및 Bv는 화상을 복수의 블럭으로 분할한 경우에 있어서 가로방향 및 세로방향을 각각 나타낸다.

산출된 광원 추정 좌표(Cx,Cy)는 다음 프레임 화상 처리에서 셰이딩 보정 계수를 산출할 때 셰이딩 보정 계수를 결정하기 위한 광원 정보로서 이용된다.

(화이트 밸런스 게인 산출)

화이트 밸런스 게인(Kr,Kg,Kb)은 제1 RGB블럭 통계값(R,G,B)과, RGB블럭 가중치 w를 이용하여 수학식 6에 나타난 것처럼 가중 평균을 내어 구해진다. 아울러 RGB블럭 가중치 w는 광원 추정 좌표(Cx,Cy)의 값이나 환경광의 명도(BV값)에 따라 변화시켜도 좋다.

상술한 화이트 밸런스 게인의 산출 방법의 설명은 본 발명의 일례를 나타낸 것으로서, 블럭별 평가 가중치의 산출 방법이나 색좌표로의 변환 방법을 한정하지는 않는다.

이상에 의해 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 제1 RGB블럭 통계값에 곱하고, 그 결과로서 얻어진 제2 RGB블럭 통계값을 사용하여 RGB블럭 색평가가 이루어진다. 그 결과, 현재 셰이딩 보정 계수의 영향을 받지 않고 디폴트 셰이딩 보정 계수를 적용한 경우에 상당하는 광원 평가를 할 수 있게 된다.

또 화이트 밸런스 게인 산출부(130)는 디폴트 셰이딩 보정 계수의 결과를 반영한 RGB블럭 가중치와, 화상 데이터에 셰이딩 보정 계수를 적용하여 얻어지는 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출한다.

산출된 화이트 밸런스 게인(Kr,Kg,Kb)은 화이트 밸런스 처리부(108)에서, 도 1에 도시된 것처럼 화상 처리부(110)에 적용된다.

이상, 제2 RGB블럭 통계값을 단일의 디폴트 셰이딩 계수로 하는 구성으로 설명하였다.

<본 발명의 다른 실시형태>

본 발명의 다른 실시형태로서, 셰이딩 보정 계수가 셰이딩 발생 요인별로 저장되도록 구성해도 좋다. 도 6은, 조리개에 의한 셰이딩과 광원에 의한 셰이딩을 분리하는 경우의 실시형태를 도시한 설명도이다.

도 6은, 조리개가 개방 상태와 좁혀진 상태의 2단계로 한 경우의 예시이다. 그리고 도 6에 도시한 것처럼 디폴트 셰이딩 보정 계수가 조리개의 상태에 따라, 즉 개방 상태용과 좁혀진 상태용의 2종류가 디폴트 셰이딩 테이블에 준비된다. 디폴트 셰이딩 보정 계수는 현재 조리개의 상태에 따라 선택된다. 이로써 제2 RGB블럭 통계값은 조리개에 의한 변화분을 보정한 통계값으로 할 수 있다. 또 화이트 밸런스 설계 조정값에 대해서도 개방 상태용과 좁혀진 상태용의 2종류를 준비한다.

그리고 RGB블럭 색평가에서는 조리개의 상태에 따라 2개의 디폴트 셰이딩 보정 계수 중 한쪽의 디폴트 셰이딩 보정 계수와 2개의 화이트 밸런스 설계 조정값 중 한쪽의 화이트 밸런스 설계 조정값이 선택된다. 다음으로, 선택된 디폴트 셰이딩 보정 계수를 사용하여 제2 RGB블럭 통계값을 산출하고, 산출된 제2 RGB블럭 통계값과 선택된 화이트 밸런스 설계 조정값을 사용함으로써 보다 올바르게 광원 추정을 할 수 있다.

광원 추정 결과에 의해 사전에 광원 종류별로 준비된 셰이딩 보정 차분 계수 중 하나가 선택된다. 또는 셰이딩 보정 차분 계수는 여러 개의 광원 종류별 셰이딩 보정 차분 계수에 기초하여 보간 처리 등에 의해 산출된다. 이미 구해진 디폴트 셰이딩 보정 계수와, 선택 또는 산출된 셰이딩 보정 차분 계수의 곱셈에 의해 현재 셰이딩 보정 계수가 구해진다.

이와 같이 디폴트 셰이딩 보정 계수를 여러 개 준비함으로써 보다 고정밀도의 광원 추정을 할 수 있게 된다.

<본 발명의 일 또는 다른 실시형태의 효과>

(1)화이트 밸런스 게인 산출시에 화상 전체를 평가하는 것, (2)화이트 밸런스 게인 산출을 위한 색평가시에 셰이딩의 영향을 억제하는 것, (3)화이트 밸런스 게인 수속점을 조정할 필요 없이 간단히 화이트 밸런스 게인을 산출하는 것,의 요구를 충족시키기 위해 화이트 밸런스 게인 산출을 위한 광원 판정 처리의 전단에서 셰이딩 보정을 수행하는 방법을 생각할 수 있다.

그러나 셰이딩은 줌이나 조리개라는 렌즈의 광학적 요소뿐만 아니라 촬영 환경광의 영향을 받아 변화된다. 따라서 셰이딩 보정을 위해서는 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 것이 바람직하다. 그런데 셰이딩 보정 계수를 동적으로 변화시키면 광원 판정을 위한 입력값인 RGB블럭 통계값이 동적으로 변화되는 셰이딩 보정의 영향을 받는다. 따라서 올바른 광원 판정을 할 수 없다는 문제가 발생한다.

한편, 이상 상세히 설명한 것처럼 본 실시형태는 화이트 밸런스 게인 산출부(130)의 입력값에 디폴트 셰이딩 보정 계수를 적용함으로써 셰이딩의 영향을 억제하여 화상 전체에서 광원을 추정할 수 있다. 또 줌 위치나 조리개, 광원 추정 결과에 기초하여 동적으로 셰이딩 보정을 적용하는 경우라 해도 셰이딩 보정 계수의 변화분을 역보정함으로써 광원 추정에 영향을 주지 않도록 할 수 있다.

화이트 밸런스 게인은, 출력 화상의 화상 처리부(110)에 적용되는 셰이딩 보정 계수가 반영된 제1 RGB블럭 통계값으로부터 산출되기 때문에 화이트 밸런스의 수속점을 조정하는 등 복잡한 처리를 필요로 하지 않는다. 이상에 의해 셰이딩 보정 최적화와 화이트 밸런스 보정 최적화를 양립시킬 수 있게 되어 양호한 화질을 제공할 수 있다.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

예를 들면, 상술한 실시형태에서는 제1 RGB블럭 통계값에 변환 계수를 곱함으로써 제2 RGB블럭 통계값을 취득한다고 하였으나, 본 발명은 이 예로 한정되지 않는다. 예를 들면 제2 RGB블럭 통계값은 입력된 화상 데이터에 대해 디폴트 셰이딩 계수를 곱해 RGB블럭 통계값을 취득하는 것으로 해도 좋다.

110 화상 처리부
102 이미지 센서
104 화상 전처리부
106 셰이딩 보정부
108 화이트 밸런스 처리부
112 디모자이킹 처리부
114 색보정부
116 감마 처리부

Claims (9)

1. 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 현재 셰이딩 계수 산출부;
   상기 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 제1 셰이딩 보정부;
   상기 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 제1 RGB블럭 통계부;
   사전에 정해진 디폴트 셰이딩 계수에 기초하여 상기 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 제2 셰이딩 보정부;
   상기 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 제2 RGB블럭 통계부;
   상기 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 광원 추정부;
   상기 현재의 광원 추정값과 상기 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부; 및
   상기 화이트 밸런스 게인을 상기 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 화이트 밸런스 처리부;
   를 포함하는 것을 특징으로 하는 촬상장치.
2. 제1항에 있어서,
   상기 제2 RGB블럭 통계부는, 상기 디폴트 셰이딩 계수와 상기 현재 셰이딩 계수의 차분을 산출하고 상기 제1 RGB블럭 통계값에 곱함으로써 상기 제2 RGB블럭 통계값을 산출하는 것을 특징으로 하는 촬상장치.
3. 제1항에 있어서,
   상기 디폴트 셰이딩 계수는 광원색에 의해 변화하는 셰이딩에 기초하여 산출한 평균적인 단일 계수인 것을 특징으로 하는 촬상장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images