KR101229600B1

KR101229600B1 - 촬상 장치, 손떨림 보정 방법 및 기록 매체

Info

Publication number: KR101229600B1
Application number: KR1020110044592A
Authority: KR
Inventors: 아키라 하마다
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2010-05-14
Filing date: 2011-05-12
Publication date: 2013-02-04
Anticipated expiration: 2031-05-12
Also published as: EP2387229B1; CN102244730B; KR20110126053A; EP2387229A2; EP2387229A3; US20110279693A1; US8581992B2; CN102244730A

Abstract

피사체를 촬상하는 촬상 수단과, 촬상 수단에 의해서 촬영시의 동일 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키고, 또한 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 촬상 제어 수단과, 복수의 제 1 색성분의 분할 노광한 화상의 하나를 기준 화상으로 하고, 해당 기준 화상의 피사체에 대한 다른 분할 노광한 화상의 피사체의 변위 정보를 취득하는 변위 정보 취득 수단과, 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여, 분할 노광으로 촬상된 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 화상 가산 수단과, 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여 점확산 함수를 연산하는 연산 수단과, 연산 수단에 의해 연산된 점확산 함수를 이용한 화상 복원 연산에 의해서, 일괄 노광으로 촬상된 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 보정 수단과, 화상 가산 수단에 의해 생성된 제 1 색성분의 가산 화상과 보정 수단에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 합성하는 합성 수단을 구비한 촬상 장치를 제공한다.

Description

촬상 장치, 손떨림 보정 방법 및 기록 매체{IMAGE CAPTURING APPARATUS AND CAMERA SHAKE CORRECTION METHOD, AND COMPUTER-READABLE MEDIUM}

본 발명은 디지털 스틸 카메라 등의 촬상 장치에 이용하여 바람직한 손떨림 보정 기술에 관한 것이다.

종래, 디지털 스틸 카메라에 있어서, 어두운 곳 촬영 등의 장시간 노광시의 손떨림을 보정하기 위한 방법으로서 화상 신호 처리 기술을 이용한 것이 알려져 있다.

예를 들면, 하기 특허문헌 1(일본국 특허공개공보 평성11-252445호)에는 촬영시의 노광시간내에 시분할로 복수개의 화상을 취득하고, 화상에 대해 시간적으로 1개전의 화상에 대한 움직임 벡터를 검출하고, 검출한 움직임 벡터에 의거하여, 각 화상간을, 각 화상간의 위치 어긋남을 부정하도록 위치를 중첩해서 가산하는 방법이 기재되어 있다.

상기의 방법에 의하면, 촬영시의 손떨림에 기인한 피사체의 흔들림이 저감 된 화상을 얻을 수 있다. 이하, 상기의 손떨림 보정 방법을 연사 화상의 중첩 합성법으로 부르는 것으로 한다.

그러나, 상기의 연사 화상의 중첩 합성 방법에 있어서는 연사한 화상마다의 노광 시간이 짧아지고, 피사체의 광량이 충분히 없는 경우에 촬상 소자로부터 읽어내어진 촬상 신호에 포함되는 노이즈의 비율이 많아진다. 그 때문에, 촬영 화상에 있어서의 피사체 흔들림을 저감할 수 있지만, 통상의 일괄 노광에 의한 촬영된 화상에 비해 노이즈의 총량이 증가하고 S/N비가 저하하는 것에 의해, 특히 어두운 부분의 화질이 저하한다고 하는 문제가 있었다.

또, 어두운 부분의 화질 저하를 방지하기 위해서는 시분할로 취득하는 화상의 개수를 줄이고, 분할된 노광 시간을 길게 하면 좋지만, 그러면 연사한 화상마다 피사체의 흔들림이 생겨 버린다. 또한, 피사체의 흔들림이 생긴 경우에는 연사한 복수의 화상을 중첩해서 가산할 때의 위치 맞춤 정밀도도 저하한다. 따라서, 충분한 손떨림 보정을 실행할 수 없게 된다고 하는 문제가 있었다.

본 발명은 종래의 과제를 감안해서 이루어진 것으로서, 어두운 부분의 촬영 화상의 화질 향상과 고정밀도의 손떨림 보정을 동시에 실현하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 촬상 제어 수단과, 상기 촬상 제어 수단에 의한 제어에 수반하여 상기 촬상 수단에 의해 분할 노광으로 촬상된 복수의 제 1 색성분 화상 중의 하나를 기준 화상으로 하고, 해당 기준 화상 이외의 제 1 색성분 화상의 각각에 있어서의 피사체의 기준 화상의 피사체에 대한 위치의 변위 정보를 취득하는 변위 정보 취득 수단과, 상기 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여, 상기 촬상 제어 수단에 의한 제어에 수반하여 상기 촬상 수단에 의해 분할 노광으로 촬상된 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 화상 가산 수단과, 상기 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여 점확산 함수를 연산하는 연산 수단과, 상기 연산 수단에 의해 연산된 점확산 함수를 이용한 화상 복원 연산에 의해서, 상기 촬상 제어 수단에 의한 제어에 수반하여 상기 촬상 수단에 의해 촬상된 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 보정 수단과, 상기 화상 가산 수단에 의해 생성된 제 1 색성분의 가산 화상과 상기 보정 수단에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 합성하는 합성 수단을 구비한 것을 특징으로 하는 촬상 장치이다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 촬상 제어 수단과, 상기 촬상 제어 수단에 의한 제어에 수반하여 상기 촬상 수단에 의해 촬상된 복수의 제 1 색성분 화상의 각각에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을, 추정한 점확산 함수를 이용하는 화상 복원 연산에 의해 각각 보정하는 제 1 보정 수단과, 상기 제 1 보정 수단에 의한 보정 후의 복수의 제 1 색성분 화상을 대상으로 하여, 분할 노광에 의해 서로 전후해서 촬상된 제 1 색성분 화상간에 있어서의 피사체의 위치의 변위 정보를 취득하는 변위 정보 취득 수단과, 상기 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여, 상기 제 1 보정 수단에 의해 보정된 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 화상 가산 수단과, 상기 변위 정보 취득 수단에 의해 취득된 변위 정보와, 상기 제 1 보정 수단의 화상 복원 연산에 의한 보정시에 복수의 제 1 색성분 화상마다 추정된 점확산 함수에 의거하여, 상기 촬영시의 제 2 색성분 화상과 제 3 색성분 화상의 노광 시간내에 있어서의 촬상시의 손떨림에 의한 피사체 흔들림의 궤적을 나타내는 새로운 점확산 함수를 연산하는 연산 수단과, 상기 연산 수단에 의해 연산된 새로운 점확산 함수를 이용한 화상 복원 연산에 의해서, 상기 촬상 제어 수단에 의한 제어에 수반하여 상기 촬상 수단에 의해 촬상된 제 2 색성분 화상과 제 3 색성분 화상에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을 보정하는 제 2 보정 수단과, 상기 화상 가산 수단에 의해 생성된 가산 화상과 상기 제 2 보정 수단에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 합성하는 합성 수단을 구비한 것을 특징으로 하는 촬상 장치이다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 공정과, 상기 촬상 수단에 의해 분할 노광으로 촬상된 복수의 제 1 색성분 화상 중의 하나를 기준 화상으로 하고, 해당 기준 화상 이외의 제 1 색성분 화상의 각각에 있어서의 피사체의 기준 화상의 피사체에 대한 위치의 변위 정보를 취득하는 공정과, 취득한 변위 정보에 의거하여, 상기 촬상 수단에 분할 노광으로 촬상시킨 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 공정과, 상기 변위 정보에 의거하여 점확산 함수를 연산하는 공정과, 연산한 점확산 함수를 이용한 화상 복원 연산에 의해서 상기 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 공정과, 상기 제 1 색성분의 가산 화상과 상기 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 공정을 포함하는 것을 특징으로 하는 손떨림 보정 방법이다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 공정과, 상기 촬상 수단에 촬상시킨 복수의 제 1 색성분 화상의 각각에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을, 추정한 점확산 함수를 이용하는 화상 복원 연산에 의해 각각 보정하는 공정과, 보정 후의 복수의 제 1 색성분 화상을 대상으로 하여, 분할 노광에 의해 서로 전후해서 촬상된 제 1 색성분 화상간에 있어서의 피사체의 위치의 변위 정보를 취득하는 공정과, 취득한 분할 노광 시간마다의 변위 정보에 의거하여, 상기 화상 복원 연산에 의한 보정 후의 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 공정과, 상기 분할 노광 시간마다의 변위 정보와, 상기 화상 복원 연산에 의한 보정시에 복수의 제 1 색성분 화상마다 추정한 점확산 함수에 의거하여, 제 2 색성분 화상과 제 3 색성분 화상의 상기 노광 시간내에 있어서의 촬상시의 손떨림에 의한 피사체 흔들림의 궤적을 나타내는 새로운 점확산 함수를 연산하는 공정과, 연산한 새로운 점확산 함수를 이용한 화상 복원 연산에 의해서 상기 제 2 색성분 화상과 제 3 색성분 화상에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을 보정하는 공정과, 상기 가산 화상과 상기 화상 복원 연산에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 공정을 포함하는 것을 특징으로 하는 손떨림 보정 방법이다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 촬상 장치가 갖는 컴퓨터에,　피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 목수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 처리와, 상기 촬상 수단에 의해 분할 노광으로 촬상된 복수의 제 1 색성분 화상 중의 하나를 기준 화상으로 하는 해당 기준 화상 이외의 제 1 색성분 화상의 각각에 있어서의 피사체의 기준 화상의 피사체에 대한 위치의 변위 정보를 취득하는 처리와, 취득한 변위 정보에 의거하여, 상기 촬상 수단에 분할 노광으로 촬상시킨 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 처리와, 상기 변위 정보에 의거하여 점확산 함수를 연산하는 처리와, 연산한 점확산 함수를 이용한 화상 복원 연산에 의해서 상기 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 처리와, 상기 제 1 색성분의 가산 화상과 상기 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 처리를 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체이다.

상기 목적을 달성하기 위해, 본 발명의 하나의 양태는 촬상 장치가 갖는 컴퓨터에, 피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 동시에, 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 처리와, 상기 촬상 수단에 촬상시킨 복수의 제 1 색성분 화상의 각각에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을, 추정한 점확산 함수를 이용하는 화상 복원 연산에 의해 각각 보정하는 처리와, 보정 후의 복수의 제 1 색성분 화상을 대상으로 하여, 분할 노광에 의해 서로 전후해서 촬상된 제 1 색성분 화상간에 있어서의 피사체의 위치의 변위 정보를 취득하는 처리와, 취득한 분할 노광 시간마다의 변위 정보에 의거하여, 상기 화상 복원 연산에 의한 보정 후의 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 처리와, 상기 분할 노광 시간마다의 변위 정보와, 상기 화상 복원 연산에 의한 보정시에 복수의 제 1 색성분 화상마다 추정한 점확산 함수에 의거하여, 제 2 색성분 화상과 제 3 색성분 화상의 상기 노광 시간내에 있어서의 촬상시의 손떨림에 의한 피사체 흔들림의 궤적을 나타내는 새로운 점확산 함수를 연산하는 처리와, 연산한 새로운 점확산 함수를 이용한 화상 복원 연산에 의해서 상기 제 2 색성분 화상과 제 3 색성분 화상에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림을 보정하는 처리와, 상기 가산 화상과 상기 화상 복원 연산에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 처리를 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체이다.

본 발명에 따르면, 어두운 부분의 촬영 화상의 화질 향상과 고정밀도의 손떨림 보정을 동시에 실현하는 것이 가능하게 된다.

도 1은 본 발명에 관한 디지털 스틸 카메라의 전기적 구성을 나타내는 블럭도.
도 2는 손 떨림에 의한 피사체 흔들림을 보정하는 모드가 설정되어 있을 때의 CPU의 처리 내용을 나타내는 흐름도.
도 3은 CPU에 의한 촬상 처리의 내용을 나타내는 흐름도.
도 4는 CPU에 의한 화상 재구성 처리의 내용을 나타내는 흐름도.
도 5는 프레임 전체의 움직임 벡터와 PSF(Point Spread Function：점확산 함수)를 나타내는 설명도.
도 6은 화상 재구성 처리의 내용을 나타내는 설명도.
도 7은 CPU에 의한 화상 재구성 처리의 내용을 나타낸 흐름도.
도 8의 (a)는 분할색의 화소 데이터마다 추정한 PSF(Point Spread Function：점확산 함수)를 나타내는 개념도, (b)는 분할 노광 시간마다의 움직임 벡터를 나타내는 개념도, (c)는 프레임 전체의 PSF(Point Spread Function：점확산 함수)를 나타내는 개념도.
도 9는 화상 재구성 처리의 내용을 나타내는 설명도.

이하, 본 발명의 제 1 실시형태에 대해 설명한다.

도 1은 본 발명에 관한 디지털 스틸 카메라(1)의 전기적 구성의 개략을 나타내는 블럭도이다.

디지털 스틸 카메라(1)는 렌즈 블록(2)과 촬상 소자(3)를 갖고 있다.

렌즈 블록(2)은 포커스 렌즈를 포함하는 렌즈군과, 조리개와, 렌즈군을 구동하는 렌즈 모터, 조리개를 개폐 구동하는 액츄에이터를 포함하고 있다.

렌즈 모터나 액츄에이터가 광학계 구동부(4)에 의해서 구동되는 것에 의해, 초점 위치나 촬상 소자(3)의 수광량이 조정된다.

촬상 소자(3)는 감광면에 바이엘(Bayer) 배열의 컬러 필터가 설치된 CMOS(Complementary Meta1 Oxide Semiconductor) 센서이다.

즉, 촬상 소자(3)는 필요에 따라 R(Red), G(Green), B(Blue)의 3원색의 각 색성분의 화소 신호를 색성분마다 독립적으로 읽어낼 수 있는 구성을 갖는 고체 촬상 소자이다.

동시에, 촬상 소자(3)의 1군의 광전 변환 소자(이하, 화소라 함)에는 특정 색의 컬러 필터가 설치되어 있다.

촬상 소자(3)는 구동 회로(5)에 의해서 구동되고 피사체의 광학상을 광전 변환하며, 변환 후의 광학상에 따른 전기 신호 즉 촬상 신호를 AFE(Analog Front End)(6)로 출력한다.

AFE(6)는 CDS(Correlated Double Sampling) 회로나, PGA(Programmable Gain Amp), ADC(Analog-to-Digital Converter) 등에 의해서 구성된다.

AFE(6)는 촬상 소자(3)가 출력한 촬상 신호에 소정의 아날로그 처리를 실행하고, 아날로그 처리 후의 촬상 신호를 디지탈 신호로 변환한 후, 변환 후의 화상의 화소 데이터를 화상 처리부(7)에 출력한다.

화상 처리부(7)는 AFE(6)로부터 입력한 화소 데이터를 일시 기록하는 버퍼용의 메모리(7a)를 갖고 있다.

메모리(7a)에 일시 기록되는 화소 데이터는 각 화소가 컬러 필터의 색배열에 따른 색성분을 갖는 바이엘 배열의 화소 데이터이다.

또, 상기 메모리(7a)에는 필요에 따라 RGB의 색성분마다의 화상의 화소 데이터도 일시 기록된다.

메모리(7a)에 일시 기록된 RGB의 색성분마다의 화상의 화소 데이터는 CPU(8)에 의해서 바이엘 배열의 화소 데이터로서 결합된 후, 재차 메모리(7a)에 일시 기록된다.

또한, 메모리(7a)에는 복수 프레임분의 화소 데이터를 기억할 수 있는 메모리 용량이 확보되어 있다.

화상 처리부(7)는 메모리(7a)에 일시 기억된 화상 데이터(바이엘 배열의 화소 데이터)에 대해, 촬상 소자(3)에 의해서 촬상된 화상의 기록을 지향한 각종 화상 처리를 실행한다.

화상 처리부(7)가 실행하는 화상 처리는 감마 보정이나, 화이트 밸런스 조정, 화소마다의 R, G, B의 색성분 데이터의 생성, 생성한 RGB 데이터로부터 YUV 데이터를 생성하는 YUV 변환 등이다.

또, 화상 처리부(7)는 생성한 1프레임분의 YUV 데이터를, 촬영 대기 상태에 있는 동안에는 CPU(8)에 공급하고, 또한 촬영시에는 CODEC(Coder & Decoder：부호기/복호기)(9)에 공급한다.

촬영 대기 상태에 있어서 CPU(8)에 공급된 YUV 데이터는 표시부(10)에 공급되고, 표시부(10)에 있어서 라이브뷰 화상으로서 표시된다.

표시부(10)는 라이브뷰 화상 등을 표시하는 액정 표시기와, 액정 표시기를 구동하는 구동 회로 등으로 구성된다.

CODEC(9)은 촬영시에 화상 처리부(7)로부터 공급된 화상 데이터(YUV 데이터)를 JPEG 방식에 의한 부호화를 실행하고, 또 부호화되어 있는 임의의 화상 데이터의 복호를 실행한다.

도시하지 않지만, CODEC(9)은 화상 데이터의 부호화 및 복호화를 실행하기 위한 직교변환 회로, 양자화 회로, 움직임 검출 회로, 순방향 예측 회로, 부호화 회로, 복호화 회로, 역직교 변환 회로, 프레임메모리 등으로 구성된다.

촬영시에 CODEC(9)에 있어서 JPEG 방식으로 압축 부호화된 화상 데이터는 CPU(8)에 의해서 일자 정보나 화상 사이즈 등의 각종 촬영 정보를 부가받은 후, 정지화상 데이터(정지화상 파일)로서 화상 메모리(11)에 기록된다.

화상 메모리(11)는 예를 들면 카메라 본체에 내장된 플래시 메모리나, 카메라 본체에 착탈 가능한 각종 메모리 카드이다.

화상 메모리(11)에 기록된 정지화상 데이터는 재생시에 있어서 CPU(8)에 의해 적절히 읽어내어지고, CODEC(9)에 있어서 복호화된 후, 표시부(10)에 보내져 정지화상으로서 재생된다.

또, CPU(8)에는 조작부(12), RAM(Random Access memory)(13), 프로그램 메모리(14)가 접속되어 있다.

RAM(13)은 CPU(8)의 워킹메모리이다.

조작부(12)는 전원 키나, 셔터 키, 모드 전환 키, MENU 키, 방향(화살표) 키 등의 도시하지 않은 복수 키를 포함한다.

모드 전환 키는 디지털 스틸 카메라(1)의 기본의 동작 모드인 촬영 모드와 기록화상의 표시용의 재생 모드의 전환을 실행한다.

MENU 키는 촬영 모드의 하위 모드의 설정 등의 각종 설정 작업에 사용된다.

조작부(12)에 있어서의 각 키는 CPU(8)에 의해서 조작 상태를 수시로 스캔한다.

셔터 키는 반누름 조작과 완전누름 조작의 2단계 조작이 가능한 소위 하프 셔터 기능을 갖는 구성이다.

셔터 키의 반누름 조작은 AE(Auto Exposure) 동작 및 AF(Auto Focus) 동작의 개시 지시 등에 사용되며, 셔터 키의 완전누름 조작은 촬영 지시에 사용된다.

프로그램 메모리(14)는 예를 들면 기억 데이터가 리라이트 가능한 EEPROM(Electric Erasable Programmable Read Only Memory)인 플래시 메모리에 기억되어 있다.

프로그램 메모리(14)에는 CPU(8)에 디지털 스틸 카메라(1)의 전체의 동작을 제어시키기 위한 제어 프로그램이나 각종 데이터가 기억되어 있다.

프로그램 메모리(14)에 기억되어 있는 제어 프로그램에는 CPU(8)에 AE 제어, AF 제어, AWB(Auto white balance) 제어를 실행시키기 위한 프로그램이 포함된다.

또, 프로그램 메모리(14)에 기억되어 있는 각종 데이터에는 촬영시의 적정한 노출에 대응하는 조리개값과 셔터 스피드의 조합을 나타내는 프로그램 선도를 구성하는 프로그램 AE 데이터 등이 포함된다.

CPU(8)는 프로그램 메모리(14)에 기억되어 있는 제어 프로그램에 따라 RAM(13)을 작업 메모리로서 동작하는 것에 의해, 디지털 스틸 카메라(1)의 각 부를 제어한다.

또, CPU(8)는 후술하는 손떨림에 의한 피사체 흔들림을 보정하는 모드가 설정되어 있을 때는 본 발명의 촬상 제어 수단, 변위 정보 취득 수단, 화상 가산 수단, 연산 수단, 보정 수단, 합성 수단, 색정보 취득 수단, 설정 수단, 판단 수단으로서 기능한다.

다음에, 이상의 구성으로 이루어지는 디지털 스틸 카메라(1)의 본 발명에 관한 동작에 대해 설명한다.

디지털 스틸 카메라(1)에는 촬영 모드의 하위 모드로서 손떨림에 의한 피사체 흔들림을 보정하는 모드가 설치되어 있다.

손떨림에 의한 피사체 흔들림을 보정하는 모드는 촬영시의 손떨림에 기인한 촬영 화상에 있어서의 피사체 흔들림을 저감하는 것을 목적으로 하여 디지털 스틸 카메라(1)에 미리 준비되어 있는 촬영 모드이다.

디지털 스틸 카메라(1)에 있어서는 촬영 모드가 설정되어 있는 동안, CPU(8)가 소정의 프레임 레이트로 촬상 소자(3)를 구동시킨다.

CPU(8)는 촬상 소자(3)에 의해서 촬상된 피사체의 화상을 라이브 뷰 화상으로서 표시부(10)에 순차 표시시킨다.

도 2는 손떨림에 의한 피사체 흔들림을 보정하는 모드가 설정되어 있을 때, CPU(8)가 프로그램 메모리(14)에 기억되어 있는 제어 프로그램에 따라 실행하는 처리의 내용을 나타낸 흐름도이다.

CPU(8)는 표시부(10)에 스루 화상을 표시시키고 있는 동안, 유저에 의한 셔터 키의 반누름 조작의 유무를 순차 검출하고 있다.

CPU(8)는 셔터 키의 반누름 조작을 검출하면(스텝 S1：YES), AE 제어에 의해서 촬영시에 있어서의 조리개값 및 노광 시간(셔터 스피드)을 결정한다(스텝 S2).

또한, CPU(8)는 AF 제어에 의해서 주된 피사체에의 핀트 맞춤을 실행한다(스텝 S3).

또한, CPU(8)에 의한 AF 제어는 공지의 콘트라스트 검출 방식이다.

다음에, CPU(8)는 화이트 밸런스를 측정한다(스텝 S4).

화이트 밸런스의 측정은 예를 들면 셔터 키가 반누름 조작되기 직전에 촬상 소자(3)에 의해서 촬상된 피사체의 화상 데이터에 있어서의 색성분 정보(RGB값)에 의거하여, 색온도마다의 화소수의 분포 상태를 나타내는 분광 분포 데이터를 취득하는 처리이다.

다음에, CPU(8)는 화이트 밸런스 측정으로 취득한 분광 분포 데이터에 의거하여, 현재의 광원의 종류를 판단한다(스텝 S5).

CPU(8)는 광원의 종류가 태양광, 형광등, 전구(백열전구)의 3종류의 어느 것인지를 판단한다.

CPU(8)는 광원의 종류가 태양광이라고 판단한 경우에는(스텝 S5：「태양광」), 분할색을「RGB」(모든 색성분)로 설정한다(스텝 S6).

또, CPU(8)는 광원의 종류가 형광등이라고 판단한 경우에는(스텝 S5：「형광등」), 분할색을「Green」으로 설정한다(스텝 S7).

또, CPU(8)는 광원의 종류가 전구(백열전구)라고 판단한 경우에는(스텝 S5：「전구」), 분할색을「Red」로 설정한다(스텝 S8).

CPU(8)가 스텝 S7 및 스텝 S8의 처리에서 설정하는 분할색은 후술하는 촬상 처리에 있어서, 촬상 소자(3)로부터 분할 노광에 의해 화소 신호를 읽어내야 할 특정의 색성분이며, 본 발명의 제 1 색성분에 대응하는 것이다.

또, CPU(8)는 스텝 S5에서 판단한 광원의 종류를, 분할색의 설정 처리 뿐만 아니라, AWB 제어에 의한 화이트 밸런스 조정에도 사용한다.

즉, CPU(8)는 스텝 S5에서 판단한 광원의 종류에 따른 화이트 밸런스 조정을 화상 처리부(7)에 실행시킨다.

계속해서, CPU(8)는 설정된 분할색의 분할 조건을 산출한다(스텝 S9).

분할 조건은 후술하는 촬상 처리시에, 스텝 S6∼스텝 S8의 처리에서 설정한 분할색의 화소 신호를 분할 노광에 의해 읽어낼 때의, 분할색이 할당되어 있는 1군의 화소(광전 변환 소자)의 분할 회수이다.

스텝 S9의 처리에 있어서, CPU(8)는 스텝 S2의 AE 제어에서 결정한 노광 시간을 분할 회수(노광 회수)로 제산하는 것에 의해, 1회의 노광 시간을 구한다.

그 후, CPU(8)는 셔터 키의 완전 누름의 유무를 검출하고, 셔터 키의 완전 누름을 검출할 수 없으면(스텝 S10：NO), 또한 셔터 키의 반누름이 해제되었는지 아닌지를 검출한다(스텝 S11).

그리고, CPU(8)는 셔터 키의 반누름 해제를 검출했을 때에는(스텝 S11：YES), 스텝 S1의 처리로 되돌려, 스텝 S1 이후의 전술한 처리를 반복한다.

한편, CPU(8)는 셔터 키의 완전 누름을 검출하면(스텝 S10：YES), 즉시 촬상 처리를 실행한다(스텝 S12).

도 3은 CPU(8)에 의한 촬상 처리의 내용을 나타낸 흐름도이다.

촬상 처리에 있어서, CPU(8)는 먼저 설정한 분할색, 및 스텝 S9의 처리에서 산출한 분할 조건에 대응하는 소정의 구동 신호를 구동 회로(5)에 생성시켜 촬상 소자(3)를 구동하는 것에 의해서 이하의 처리를 실행한다.

도 3에 나타낸 바와 같이, CPU(8)는 분할색이「Green」또는「Red」가 아닌 「RGB」이었을 때에는(스텝 S101：NO), 촬상 소자(3)의 전체 화소의 축적 전하(화소 전하)를 리세트한다(스텝 S102).

그 후, 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지 스텝 S103∼스텝 S106의 루프 처리를 실행한다.

이러한 루프 처리에 있어서, CPU(8)는 촬상 소자(3)의 전체 화소에 대해, 스텝 S9에서 산출한 분할 노광 시간의 노광과(스텝 S104), 분할 노광 후에 있어서의 화소 데이터의 읽어냄 및 화소 전하의 리세트(스텝 S105)를 반복 실행한다.

이것에 의해, CPU(8)는 분할 회수 N에 동등한 분할색 화소의 화소 데이터를 화상 처리부(7)의 메모리(7a)에 일시 기억시킨다.

여기서, 메모리(7a)에 일시 기억되는 분할색 화소의 화소 데이터는 RGB의 모든 색성분으로 이루어지는 바이엘 배열의 화소 데이터이다.

그리고, CPU(8)는 상기의 루프 처리가 종료한 시점에서 촬상 처리를 종료하고, 도 2의 처리로 되돌린다.

한편, CPU(8)는 분할색이 「Green」또는「Red」이었을 때에는(스텝 S101：YES), 촬상 소자(3)의 전체 화소의 축적 전하(화소 전하)를 리세트한다(스텝 S107).

그 후, 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지, 스텝 S108∼스텝 S111의 루프 처리를 실행한다.

이러한 루프 처리에 있어서, CPU(8)는 촬상 소자(3)의 분할색이 할당된 1군의 화소에 대해, 스텝 S9에서 산출한 분할 노광 시간의 노광과(스텝 S109), 분할 노광 후에 있어서의 화소 데이터의 읽어냄 및 화소 전하의 리세트(스텝 S110)를 반복 실행한다.

또, CPU(8)는 상기의 루프 처리와 병행하여, 촬상 소자(3)에 있어서의 분할색 이외의 비분할색이 할당된 1군의 화소에 대해, AE 제어에 의해 설정한 노광 시간의 일괄 노광을 실행한다(도면에서는 생략함).

그리고, 상기의 루프 처리의 종료 직후에, 비분할색의 화소 데이터의 읽어냄을 실행한다(스텝 S112).

분할색 이외의 비분할색이 본 발명의 제 2 색성분에 대응하는 색이다.

이것에 의해, CPU(8)는 분할 노광에 의해 촬상된 분할 회수 N에 동등한 수의 분할색 화소의 화소 데이터와, 일괄 노광에 의해 촬상된 각각이 비분할색의 색성분으로 이루어지는 2종류의 비분할색의 화소 데이터를, 화상 처리부(7)의 메모리(7a)에 일시 기억시킨다.

즉, CPU(8)가 분할색을「Green」으로 설정했을 때에는 G성분으로 이루어지는 복수의 분할색의 화소 데이터와, R성분으로 이루어지는 비분할색의 화소 데이터와, B성분으로 이루어지는 비분할색의 화소 데이터가 메모리(7a)에 일시 기억된다.

또, CPU(8)가 분할색을「Red」로 설정했을 때에는 R성분으로 이루어지는 복수의 분할색의 화소 데이터와, G성분으로 이루어지는 비분할색의 화소 데이터와, B성분으로 이루어지는 비분할색의 화소 데이터가 메모리(7a)에 일시 기억된다.

그리고, CPU(8)는 2종류의 비분할색의 화소 데이터의 읽어냄 처리가 종료한 시점에서 촬상 처리를 종료하고 도 2의 처리로 되돌린다.

이상의 촬상 처리가 종료한 후, CPU(8)는 화상 처리부(7)의 메모리(7a)에 일시 기억한 각 화소 데이터를 재구성하는 처리를 실행한다(스텝 S13).

도 4는 CPU(8)에 의한 각 화소 데이터를 재구성하는 처리의 내용을 나타낸 흐름도이다.

또한, CPU(8)는 분할색을 설정할 때에, 화이트 밸런스 측정(스텝 S4)에 의한 광원의 종류를 판단하여 설정했지만, 단지 색성분 정보(RGB값)로부터 그 화상의 RGB값이 큰 지배적인 색을 분할색으로 해도 좋다.

화상 재구성 처리에 있어서, CPU(8)는 우선, 스텝 S201∼스텝 S204의 루프 처리를 실행한다.

이 루프 처리는 루프 카운터 i의 초기값을「2」로 하고, 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지 실행되는 처리이다.

이러한 루프 처리에 있어서, CPU(8)는 우선, 복수개의 분할색의 화소 데이터를 대상으로 하여, 1개째의 분할색의 화소 데이터와 i개째(2개째 이후)의 분할색의 화소 데이터에 있어서의 서로에 대응하는 복수의 특징점을 추출한다(스텝 S202).

또한, 처리 대상으로 되는 복수의 분할색의 화소 데이터는 이미 설명한 바와 같이, 분할색이「RGB」이면 바이엘 배열의 화소 데이터이고, 또, 분할색이「Green」또는「Red」이면, G성분 또는 R성분만의 색성분으로 이루어지는 화소 데이터이다.

또한, CPU(8)는 1개째의 분할색의 화소 데이터와 i개째의 분할색의 화소 데이터의 중첩에 필요로 하는 기하 변환 파라미터를 산출하고, 산출한 기하 변환 파라미터를 RAM(13)에 기억한다(스텝 S203).

기하 변환 파라미터는 1개째의 분할색의 화소 데이터를 기준으로 하고, i개째의 분할색의 화소 데이터에 의해 나타나는 피사체의 변위를 나타내는 변위 정보이다.

기하 변환 파라미터는 구체적으로는 i개째의 분할색의 화소 데이터에 있어서의 복수의 특징점의 좌표 위치를, 1개째의 분할색의 화소 데이터의 대응하는 복수의 특징점의 좌표 위치에 일치시키는 기하 변환(좌표 변화)에 필요로 하는 행렬식이다.

또한, CPU(8)는 기하 변환 파라미터의 산출을 예를 들면 공지의 구배법에 의한 옵티컬 플로 추정을 이용하여 실행한다.

CPU(8)는 상기의 루프 처리를 종료한 후, 1개째의 분할색의 화소 데이터를 후술하는 스텝 S208의 가산 처리의 베이스 데이터로서 설정하고, RAM(13)에 기억한다(스텝 S205).

계속해서, CPU(8)는 스텝 S206∼스텝 S209의 새로운 루프 처리를 실행한다.

이러한 루프 처리도, 루프 카운터 i의 초기값을「2」로 하고, 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지 실행되는 처리이다.

이러한 루프 처리에 있어서, CPU(8)는 우선, 스텝 S203에서 기억한 기하 변환 파라미터를 이용하여, i개째(2개째 이후)의 분할 노광의 화소 데이터에 대해, 1개째의 분할색의 화소 데이터에 중첩하기 위한 기하 변환을 실행한다(스텝 S207).

다음에, CPU(8)는 기하 변환 후의 i개째(2개째 이후)의 분할색의 화소 데이터를, RAM(13)에 기억되어 있는 베이스 데이터에 가산하고, 베이스 데이터를 갱신한다(스텝 S208).

상기의 루프 처리에 의해서, 복수의 분할색의 화소 데이터가, 분할색의 화소 데이터에 의해 나타나는 피사체의 위치 어긋남이 차례로 보정되어 가산되고, 가산 후의 가산 화상의 화소 데이터가 RAM(13)에 기억된다.

즉, 복수의 분할색의 화소 데이터가, 본 발명의 배경 기술로서 설명한 연사 화상의 중첩 합성 방법과 마찬가지의 방법에 의해서 합성되는 것에 의해서, 노광 시간내의 손떨림에 기인한 피사체 흔들림이 저감된 새로운 분할색의 화소 데이터가 생성된다.

그리고, CPU(8)는 분할색이「RGB」이었던 경우에 있어서는(스텝 S210：NO), 이 시점에서 화상 재구성 처리를 종료한다.

한편, CPU(8)는 분할색이「Green」또는「Red」이었던 곳에 있어서는(스텝 S210：YES), 계속해서 다음의 처리를 실행한다.

우선, CPU(8)는 스텝 S203의 처리에서 산출한 기하 변환 파라미터에 의거하여 프레임 전체의 움직임 벡터를 산출한다(스텝 S211).

프레임 전체의 움직임 벡터는 노광 시간내에 있어서의 손떨림의 궤적을 나타내는 움직임 벡터이다.

본 실시형태에서는 노광 기간내에 있어서의 손떨림은 평행 이동이며, 큰 회전은 생기지 않는 것으로 가정하여 프레임 전체의 움직임 벡터를 산출한다.

그 후, CPU(8)는 산출한 프레임 전체의 움직임 벡터로부터 PSF(Point Spread Function：점확산 함수)를 취득한다(스텝 S212).

여기서, 상기의 프레임 전체의 움직임 벡터와 PSF의 상세를 도 5를 이용하여 설명한다.

도 5의 (a)는 노광 회수가 6회라고 가정하여 화소 공간에 있어서의 각각의 분할색의 화소 데이터의 평행이동 위치 f(1)∼f(6)를 예시한 도면이다.

도 5의 (b)는 각각의 평행이동 위치 f(1)∼f(6)를 보간하는 것에 의해 얻어지는 곡선 A(도면에서 파선)를 나타낸 도면이다.

도 5(b)에 나타낸 곡선 A가 손떨림의 궤적이며, 스텝 S211의 처리에 있어서 CPU(8)는 이러한 곡선 A를 나타내는 움직임 벡터를 프레임 전체의 움직임 벡터로서 산출한다.

한편, 도 5의 (b)에 있어서 곡선 A를 구획하는 선분은 곡선 A를 각 분할색 화소 데이터의 평행이동 위치의 중점으로 구획하고, 각 평행이동 위치 f(1)∼f(6)을 노광 시간과 대응지은 것이다.

도 5의 (c)는 상기 곡선 A를 따르는 하중(h축)의 선 적분이 각 노광 시간에 균등한 면적으로 되도록, 또 총합이 1이 되도록 하중을 부여하는 것을 나타내고 있다(각 노광 시간에 대해, 1을 프레임 수와 각 노광 시간의 길이로 나눈 값을 하중으로 함).

각 평행이동 위치 f(1)∼f(6)의 좌표(x, y)에 대해 정의되는 하중 h(2)∼h(5)가 PSF로 된다.

또, 도 5의 (d)는 각 하중 h(2)∼h(5)가 완만한 연속값으로 되는 바와 같은 PSF(도면에서 굵은 선)를 나타낸 도면이며, 스텝 S212의 처리에 있어서 CPU(8)는 이러한 PSF를 연산한다.

또한, 도 5의 (c), 도 5의 (d)에는 편의상, 최초와 최종의 분할색의 화소 데이터를 제외하고 PSF를 취득하는 경우를 나타냈지만, 스텝 S212의 처리에 있어서 CPU(8)는 모든 분할색의 화소 데이터를 사용하여 PSF를 연산한다.

즉, CPU(8)는 PSF의 연산시에, 곡선 A를 양단 점으로부터 절반 프레임분 보외(補外)하는(예를 들면 인접하는 움직임 벡터와 동일 방향으로 인접하는 중점과 동일한 길이로 양단을 연장하는) 것에 의해, 모든 분할색의 화소 데이터를 사용하여 PSF를 연산한다.

그리고, 상술한 PSF를 취득한 후, CPU(8)는 2종류의 비분할색의 화소 데이터를 대상으로 하여, 취득된 PSF를 2차원 콘볼루션 커널로서 사용하는 디콘볼루션 처리를 실시한다(스텝 S213).

디콘볼루션 처리는 PSF를 이용한 역콘볼루션 연산(PSF의 역함수에 의한 콘볼루션 연산)에 의해서, 비분할색의 화소 데이터에 생기고 있는 노광 시간내의 손떨림에 기인한 피사체 흔들림을 저감하는 보정 처리이다.

그 후, CPU(8)는 디콘볼루션 처리 후의 2종류의 비분할색의 화소 데이터와, 스텝 S206∼스텝 S209의 루프 처리에 의해서 RAM(13)에 기억된 분할색의 가산 화상의 화소 데이터를 결합한다(스텝 S214).

이것에 의해, CPU(8)는 RGB의 모든 색 성분으로 이루어지는 바이엘 배열의 화소 데이터를 RAM(13)내에 생성하고, 화상 재구성 처리를 종료한다.

도 6은 상술한 화상 재구성 처리의 개략을 나타내는 설명도이며, 분할색이 「Green」인 경우의 예를 나타낸 도면이다.

도 6에 나타낸 바와 같이 분할색이「Green」인 경우, G성분만으로 이루어지는 복수의 분할색의 화소 데이터(501)는 2개째 이후의 분할색의 화소 데이터에 대해 검출된 기하 변환 파라미터에 의거하여, 단일의 분할색의 화소 데이터(501a)에 가산된다.

한편, R성분만으로 이루어지는 비분할색의 화소 데이터(502)와 B성분만으로 이루어지는 비분할색의 화소 데이터(503)는 기하 변환 파라미터에 의거하여 취득된 PSF를 이용하여 피사체 흔들림이 저감된 상태의 새로운 분할색의 화소 데이터(502a, 503a)로 보정된다.

그 후, 가산 후의 단일의 분할색의 화소 데이터(501a)와 보정 후의 새로운 분할색의 화소 데이터(502a, 503a)가 RGB의 모든 색 성분으로 이루어지는 바이엘 배열의 화소 데이터와 마찬가지의 화소 데이터(504)로서 결합된다.

그리고, CPU(8)는 이상의 화상 재구성 처리의 종료와 함께 도 2의 처리로 되돌리고, 기록용의 화상 데이터를 생성한다(스텝 S14).

스텝 S14의 처리에 있어서, CPU(8)는 그 시점에서 RAM(13)에 기억되어 있는 바이엘 배열의 화소 데이터를 화상 처리부(7)에 공급하고, 이러한 화소 데이터를 대상으로 하여 각종 화상 처리를 화상 처리부(7)에 실행시킨다.

그 후, CPU(8)는 기록용의 화상 데이터를 CODEC(9)에 의해 압축하고, 압축 후의 화상 데이터를 정지화상 파일로서 화상 메모리(11)에 보존한다(스텝 S15).

이상과 같이, 본 실시형태의 디지털 스틸 카메라(1)에 있어서는 촬영 모드로서 손떨림 보정 모드가 설정되어 있을 때에는 CPU(8)가 전술한 처리를 실행하는 것에 의해, 촬영 화상에 생기는 손떨림에 기인한 피사체 흔들림을 저감할 수 있다.

이하, 본 발명의 제 2 실시형태에 대해 설명한다.

본 발명에 관한 디지털 스틸 카메라(1)의 전기적 구성의 개략을 나타내는 블럭도인 도 1, 손떨림 보정 모드가 설정되어 있을 때의 CPU의 처리 내용을 나타내는 흐름도인 도 2, CPU에 의한 촬상 처리의 내용을 나타낸 흐름도인 도 3의 설명은 제 1 실시예와 마찬가지이기 때문에, 설명은 생략한다.

또한, CPU(8)는 후술하는 손떨림 보정 모드가 설정되어 있을 때에는 본 발명의 촬상 제어 수단, 제 1 보정 수단, 변위 정보 취득 수단, 화상 가산 수단, 연산 수단, 제 2 보정 수단, 합성 수단, 색정보 취득 수단, 설정 수단, 판단 수단으로서 기능한다.

도 7은 CPU(8)에 의한 화상 재구성 처리의 내용을 나타낸 흐름도이다.

또한, 분할색을 설정할 때에, 화이트 밸런스 측정(스텝 S4)에 의한 광원의 종류를 판단하여 설정했지만, 단지 색성분 정보(RGB값)로부터 그 화상의 RGB값이 큰 지배적인 색을 분할색으로 해도 좋다.

화상 재구성 처리에 있어서 CPU(8)는 우선, 스텝 S301∼스텝 S304의 루프 처리를 실행한다.

이 루프 처리는 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지 실행되는 처리이다.

이러한 루프 처리에 있어서, CPU(8)는 복수개의 분할색의 화소 데이터를 대상으로 하여, 우선, i개째의 분할색의 화소 데이터에 블라인드 디콘볼루션 처리를 실시한다(스텝 S302).

블라인드 디콘볼루션 처리는 i개째의 분할색의 화소 데이터에 포함되는 피사체 흔들림을 나타내는 PSF(Point Spread Function：점확산 함수)를 추정한다.

그리고, 블라인드 디콘볼루션 처리는 추정한 PSF를 이용한 역콘볼루션 연산(PSF의 역함수에 의한 콘볼루션 연산), 즉 디콘볼루션을 실행하는 처리이다.

이러한 처리에 의해서, CPU(8)는 i개째의 분할색의 화소 데이터에 생기고 있는 분할 노광 시간내의 손떨림에 기인한 피사체 흔들림을 저감(보정)한다.

블라인드 디콘볼루션 처리의 구체적인 방법에 대해서는 임의의 방법을 적용할 수 있으며, 예를 들면, “Removing camera shake from a single photograph”, R. Fergus 외, ACM SIGGRAPH, 2006)에 개시되어 있는 방법을 적용할 수도 있다.

그리고, CPU(8)는 블라인드 디콘볼루션 처리시에 추정한 i개째의 분할색의 화소 데이터에 관한 PSF를 RAM(13)에 기억한다(스텝 S303).

도 8의 (a)는 스텝 S301∼스텝 304의 루프 처리에 의해 RAM(13)에 기억되는 분할색의 화소 데이터마다의 PSF(1)∼(4)를 모식적으로 나타낸 개념도이며, 분할 회수가 4회일 때의 예를 나타낸 도면이다.

또한, 도 8의 (a)에 있어서 ‘●’로 나타낸 점은 PSF(1)∼(4)의 원점 위치이다.

상기의 루프 처리를 종료한 후, CPU(8)는 계속해서 스텝 S305∼스텝 S308의 다음의 루프 처리를 실행한다.

이러한 루프 처리는 루프 카운터 i의 초기값을「2」로 하고, 루프 카운터 i가 미리 정해져 있는 분할 회수 N에 도달할 때까지 실행되는 처리이다.

이러한 루프 처리에 있어서, CPU(8)는 복수개의 분할색의 화소 데이터를 대상으로 하여, 우선, (i-1)개째의 분할색의 화소 데이터와 i개째(2개째 이후)의 분할색의 화소 데이터에 있어서의 서로 대응하는 복수의 특징점을 추출한다(스텝 S306).

다음에, CPU(8)는 추출한 특징점의 추적에 의해서 움직임 벡터를 산출하고, RAM(13)에 기억한다(스텝 S307).

움직임 벡터는 분할 노광에 의해 서로 전후해서 촬상된 분할색의 화소 데이터간에 있어서의 분할 노광 시간마다의 피사체의 변위를 나타내는 변위 정보이다.

스텝 S307의 처리에 있어서, CPU(8)는 큰 회전은 생기지 않는 것으로 가정하여 i개째에 있어서의 분할색의 화소 데이터 전체의 움직임 벡터를 산출한다.

또한, 움직임 벡터의 산출시에는 특징점의 추적을 소정 블록 단위라도 좋고, 특징점 근방 블록 단위라도 좋다.

또한, 움직임 벡터의 산출시에는 정밀도 저하가 허용된다면, 분할색의 화소 데이터마다 단일의 특징점만을 추적해도 좋다.

특징점의 추적을 블록 단위로 실행하는 경우에는 움직임 벡터, 즉 분할색의 화소 데이터로서의 평행 이동량을 미디언(median)이나 RANSAC 등으로 추정한다.

도 8의 (b)는 상기의 루프 처리에 의해서 RAM(13)에 기억되는 분할 노광 시간마다의 움직임 벡터 V(1)∼(3)을 모식적으로 나타낸 개념도이며, 도 8의 (a)에 대응하는 도면이다.

즉, 움직임 벡터 V(1)은 1개째의 분할색의 화소 데이터와 2개째의 분할색의 화소 데이터의 사이의 평행 이동을 나타내고 있다.

또, 움직임 벡터 V(2)는 2개째의 분할색의 화소 데이터와 3개째의 분할색의 화소 데이터의 사이의 평행 이동을 나타내고 있다.

또, 움직임 벡터 V(3)은 3개째의 분할색의 화소 데이터와 4개째의 분할색의 화소 데이터의 사이의 평행 이동을 나타내고 있다.

그 후, CPU(8)는 스텝 S305∼스텝 S308의 루프 처리를 종료한다.

그 후, 1개째의 분할색의 화소 데이터를 후술하는 스텝 S312의 가산 처리의 베이스 데이터로서 설정하고, RAM(13)에 기억한다(스텝 S309).

계속해서, CPU(8)는 스텝 S310∼스텝 S313의 새로운 루프 처리를 실행한다.

이러한 루프 처리에 있어서, CPU(8)는 우선, 스텝 S307에서 기억한 분할 노광 시간마다의 움직임 벡터를 이용하여, i개째(2개째 이후)의 분할 노광 화소 데이터를 베이스 데이터에 중첩하기 위한 좌표 변화를 실행한다(스텝 S311).

다음에, CPU(8)는 좌표 변화 후의 i개째(2개째 이후)의 분할색의 화소 데이터를, RAM(13)에 기억되어 있는 베이스 데이터에 가산하고, 베이스 데이터를 갱신한다(스텝 S312).

상기의 루프 처리에 의해서, 복수의 분할색의 화소 데이터가 분할색의 화소 데이터에 의해 나타나는 피사체의 위치 어긋남이 차례로 보정되어 가산되고, 가산 후의 가산 화소 데이터가 RAM(13)에 기억된다.

즉, 복수의 분할색의 화소 데이터가, 본 발명의 배경 기술로서 설명한 연사 화상의 중첩 합성 방법과 마찬가지의 방법에 의해서 합성된다.

이것에 의해서, 노광 시간내의 손떨림에 기인한 피사체 흔들림이 저감된 새로운 분할색의 화소 데이터가 생성된다.

그리고, CPU(8)는 분할색이「RGB」이었던 경우에 있어서는(스텝 S314：NO), 이 시점에서 화상 재구성 처리를 종료한다.

한편, CPU(8)는 분할색이 「Green」또는「Red」인 곳에 있어서는(스텝 S314：YES), 계속해서 이하의 처리를 실행한다.

우선, CPU(8)는 먼저 블라인드 디콘볼루션 처리시에 추정한 분할색의 화소 데이터마다의 PSF를 연결하는 것에 의해서, 프레임 전체의 PSF를 취득한다(스텝 S315).

여기서, 프레임 전체의 PSF는 노광 시간내에 있어서의 피사체 흔들림의 궤적을 나타내는 새로운 PSF이다.

스텝 S315의 처리에 있어서, CPU(8)는 스텝 S307의 처리에서 취득한 분할시간마다의 움직임 벡터에 따라, 분할색의 화소 데이터마다의 PSF를 평행 이동하는 것에 의해서 연결한다.

도 8의 (c)는 새로운 PSF(1-4)를 모식적으로 나타낸 개념도이며, 도 8의 (a), 도 8의 (b)에 대응하는 동시에, 분할시간마다의 움직임 벡터 V(1)∼(3)을 파선으로 나타낸 도면이다.

그리고, 프레임 전체의 PSF를 취득한 후, CPU(8)는 2종류의 비분할색의 화소 데이터를 대상으로 하여, 취득한 PSF를 2차원 콘볼루션 커널로서 사용하는 디콘볼루션 처리를 실시한다(스텝 S316).

이러한 처리에 의해서, CPU(8)는 2종류의 비분할색의 화소 데이터에 생기고 있는 노광 시간내의 손떨림에 기인한 피사체 흔들림을 저감(보정)한다.

그 후, CPU(8)는 디콘볼루션 처리 후의 2종류의 비분할색의 화소 데이터와, 스텝 S310∼스텝 S313의 루프 처리에 의해서 RAM(13)에 기억된 분할색의 가산 화소 데이터를 결합한다(스텝 S317).

이것에 의해, CPU(8)는 RGB의 모든 색성분으로 이루어지는 화소 데이터, 즉 바이엘 배열의 화소 데이터를 RAM(13)내에 생성하고 화상 재구성 처리를 종료한다.

도 9는 상술한 화상 재구성 처리의 개략을 나타내는 설명도이며, 분할색이「Green」인 경우의 예를 나타낸 도면이다.

도 9에 나타낸 바와 같이 분할색이「Green」인 경우, G성분만으로 이루어지는 복수의 분할색의 화소 데이터(601)는 각각에 존재하는 피사체 흔들림을 블라인드 디콘볼루션에 의해 개별적으로 보정한다.

그리고, 보정 후에 있어서의 새로운 복수의 분할색의 화소 데이터(601a)가 2개째 이후의 분할색의 화소 데이터에 대해 검출된 분할시간마다의 움직임 벡터에 의거하여, 단일의 분할색의 화소 데이터(601b)에 가산된다.

한편, G성분만으로 이루어지는 복수의 분할색의 화소 데이터(601)의 블라인드 디콘볼루션에 의한 보정시에 개별적으로 추정된 PSF는 분할시간마다의 움직임 벡터에 의거하여 노광 시간내에 있어서의 피사체 흔들림의 궤적을 나타내는 전체의 PSF에 통합된다.

그리고, R성분만으로 이루어지는 비분할색의 화소 데이터(602)와 B성분만으로 이루어지는 비분할색의 화소 데이터(603)가, 전체의 PSF를 이용한 디콘볼루션에 의해서, 피사체 흔들림이 저감된 상태의 새로운 비분할색의 화소 데이터(602a, 603a)로 개별적으로 보정된다.

그 후, 가산 후의 단일의 분할색의 화소 데이터(601b)와 보정 후의 새로운 비분할색의 화소 데이터(602a, 603a)가 RGB의 모든 색성분으로 이루어지는 바이엘 배열의 화소 데이터(604)로서 결합된다.

이상과 같이 본 실시형태의 디지털 스틸 카메라(1)에 있어서는 촬영 모드로서 손떨림 보정 모드가 설정되어 있을 때에는 CPU(8)가 전술한 처리를 실행하는 것에 의해, 촬영 화상에 생기는 손떨림에 기인한 피사체 흔들림을 저감할 수 있다.

또한, 디지털 스틸 카메라(1)에 있어서는 복수개의 분할색의 화소 데이터의 각각에 있어서의 피사체 흔들림을 블라인드 디콘볼루션에 의해 개별적으로 저감 한 후, 보정 후에 있어서의 복수개의 분할색의 화소 데이터를, 보정 후의 화소 데이터에 의거하여 취득한 움직임 벡터를 이용하는 것에 의해 고정밀도로 위치 맞춤하여 가산한다.

그 때문에, 피사체의 광량이 충분하지 않고 촬영시의 노광 시간이 긴 경우, 즉 분할 노광 시간이 긴 경우에도, 최종적으로 얻어지는 분할색의 화소 데이터가 피사체 흔들림이 없는 극히 양호한 상태의 화소 데이터로 된다.

동시에, 디지털 스틸 카메라(1)에 있어서는 비분할색의 화소 데이터에 있어서의 피사체 흔들림을 디콘볼루션에 의해 저감할 때, PSF로서, 각각의 분할색의 화소 데이터에 대한 블라인드 디콘볼루션에 의해 추정한 PSF를 통합한 프레임 전체의 PSF를 사용한다.

그 때문에, 비분할색의 화소 데이터에 있어서의 피사체 흔들림을 확실하게 저감할 수 있다. 이것은 각각의 분할색의 화소 데이터에 관한 PSF가 분할 노광 시간과 같은 짧은 시간내에서의 피사체 흔들림의 궤적을 나타내는 PSF이고, 프레임 전체의 PSF가 비교적 단순한 것(직선에 가깝고, 연결성이 높은 궤적을 나타내는 것)으로 되기 때문이다.

이상으로부터, 디지털 스틸 카메라(1)에 있어서는 피사체의 광량이 충분하지 않고 촬영시의 노광 시간이 긴 경우에도, 최종적인 화상 데이터로서, 피사체 흔들림이 없는 극히 양호한 화소 데이터를 취득할 수 있다. 따라서, 어두운 부분의 화질 향상과 고정밀도의 손떨림 보정을 동시에 실현할 수 있다.

또, 본 실시형태에서는 비분할색을, 촬영시에 판단한 광원의 종류가 형광등인 경우에는「Green」으로 설정하고, 또한 촬영시에 판단한 광원의 종류가 전등(백열등)인 경우에는「Red」로 설정하는 구성으로 하였다.

즉, 비분할색을 피사체의 색 분포에 있어서 지배적인 색을 설정하는 구성으로 하였다.

그 때문에, 분할 노광에 의해 취득한 복수의 화소 데이터의 가산시의 위치 맞춤을 더욱 고정밀도로 실행할 수 있는 동시에, 비분할색의 화소 데이터를, 화소 데이터에 의해 나타나는 피사체에 흔들림이 없는 화소 데이터에 의해 고정밀도로 보정(복원)할 수 있다.

그 결과, 피사체의 색에 좌우되지 않고, 안정된 정밀도로 촬영 화상에 생기는 손떨림에 기인한 피사체 흔들림을 저감할 수 있다.

또한, 비분할색을, 촬영시에 판단한 화이트 밸런스 제어에서 사용하는 색정보(분광 분포 데이터)에 의거하여 분할색을 설정하는 것에 의해, 촬영시에 분할색의 설정에 필요로 하는 처리를 간략화할 수 있다.

또한, 본 실시형태에 있어서는 촬영시에 판단한 광원의 종류가 태양광인 경우에는 분할색을 RGB의 모든 색성분으로 설정하는 것에 의해서, 종래의 연사 화상의 중첩 합성 방법과 마찬가지의 방법에 의한 신호 처리를 실행하는 구성으로 하였다.

그러나, 상기 디지털 스틸 카메라(1)에는 촬영시에 판단한 광원의 종류가 태양광인 경우에 대해서도 본 발명에 관한 방법을 실시하는 구성을 채용할 수 있다.

그 경우에는 분할색으로서 미리 정해져 있는 특정의 색성분을 설정하면 좋다.

특정의 색성분으로서는 예를 들면 휘도 신호의 기여하는 비율이 큰 G성분을 고려할 수 있다.

또, 본 실시형태에 있어서는 메커니컬 셔터를 구비하는 일 없이, 소위 전자 셔터에 의해 촬영시의 노광 시간을 확보하는 구성의 디지털 스틸 카메라(1)에 대해 설명하였다.

그러나, 상기 디지털 스틸 카메라(1)에는 도시하지 않지만 메커니컬 셔터를 설치하도록 해도 좋다.

메커니컬 셔터를 설치하는 경우에 있어서는 예를 들면 이미 설명한 분할 노광의 읽어냄 기간에 셔터를 닫고, 촬상 소자(3)가 갖는 모든 색성분의 화소의 화소 신호를 읽어내는 구성을 채용할 수도 있다.

또, 본 실시형태에 있어서는 촬상 소자(3)로서, 감광면에 바이엘 배열의 R성분, G성분, B성분의 3종류의 화소 데이터인 것에 대해 설명하였다.

그러나, 촬상 소자(3)의 감광면에 설치되는 컬러 필터는 바이엘 배열 이외의 색배열이어도 상관없다.

또, 컬러 필터는 원색 필터 배열에 한정되지 않으며, 보색 필터 배열이라도 좋고, 또한 RGB에 W(White), 즉 컬러 필터 없음의 투과색이 부가된 변형형의 바이엘 배열이라도 상관없다.

또한, 컬러 필터가 변형형의 바이엘 배열인 경우에는 분할색(제 1 색성분)을 가장 감도가 좋은 W로 하고, 비분할색(제 2 색성분)을 R, G, B로 하는 것이 바람직하다.

또, 본 실시형태에 있어서는 촬상 소자(3)가 단판식의 CMOS 센서인 경우에 대해 설명하였다.

그러나, 본 발명의 실시시에는 색성분마다 독립적으로 화소 신호의 읽어냄 및 리세트(셔터)가 가능한 구성이면, 임의의 촬상 소자를 이용할 수 있다.

또한, 화소 신호의 읽어냄 형태는 본 실시형태와 같이 파괴 읽어냄이라도 좋고, 비파괴 읽어냄이라도 좋다.

따라서, 본 발명의 실시시에는 예를 들면 G용, RB용의 2개의 촬상 소자를 포함하는 2판식 이미지 센서, G용, R용, B용의 3개의 촬상 소자를 포함하는 3판식 이미지 센서, 3층식 CMOS 센서(소위 FOVEON 방식의 CMOS 센서)와 같은 촬상 소자를 사용할 수 있다.

또, 본 실시형태에 있어서는 전술한 화상 재구성 처리를 CPU(8)에 실행시키는 구성으로 했지만, 전술한 화상 재구성 처리는 예를 들면 화상 처리부(7)의 내부나 화상 처리부(7)의 전단에 전용의 신호 처리부를 설치하고, 이러한 신호 처리부에 실행시키는 구성으로 해도 좋다.

또, 본 발명은 본 실시형태에서 설명한 디지털 스틸 카메라에 한정되지 않고, 예를 들면 디지털 비디오 카메라나, 휴대 전화 단말 등의 휴대형의 임의의 전자기기에 내장되어 있는 카메라 등에도 적용할 수 있다.

1; 디지털 스틸 카메라 2; 렌즈 블록
3; 촬상 소자 4; 광학계 구동부
5; 구동회로 6; AFE
7; 화상 처리부 7a; 메모리
8; CPU 9; CODEC
10; 표시부 11; 화상 메모리
12; 조작부 13; RAM
14; 프로그램 메모리

Claims

피사체를 촬상하는 촬상 수단과,
상기 촬상 수단에 의해서, 촬영시의 동일 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상을 분할 노광에 의해 복수회 촬상시키고, 또한 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 촬상 제어 수단과,
복수의 제 1 색성분의 분할 노광한 화상의 하나를 기준 화상으로 하고, 해당 기준 화상의 피사체에 대한 다른 분할 노광한 화상의 피사체의 변위 정보를 취득하는 변위 정보 취득 수단과,
상기 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여, 상기 분할 노광으로 촬상된 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 화상 가산 수단과,
상기 변위 정보 취득 수단에 의해 취득된 변위 정보에 의거하여 점확산 함수를 연산하는 연산 수단과,
상기 연산 수단에 의해 연산된 점확산 함수를 이용한 화상 복원 연산에 의해서, 일괄 노광으로 촬상된 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 보정 수단과,
상기 화상 가산 수단에 의해 생성된 제 1 색성분의 가산 화상과, 상기 보정 수단에 의한 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 합성하는 합성 수단을 구비한 것을 특징으로 하는 촬상 장치.
제 1 항에 있어서,
상기 복수의 제 1 색성분의 분할 노광한 화상의 각각에 존재하는 촬상시의 손떨림에 의한 피사체 흔들림의 점확산 함수를 추정하고, 그 점확산 함수를 이용한 화상 복원 연산에 의해, 상기 복수의 제 1 색성분의 분할 노광한 화상의 각각을 보정하는 제 2 보정 수단을 더 구비하고,
상기 연산 수단은 상기 변위 정보 취득 수단에 의해 취득된 변위 정보와, 상기 제 2 보정 수단의 화상 복원 연산에 의한 보정시에 복수의 제 1 색성분 화상마다 추정된 점확산 함수에 의거하여, 상기 촬영시의 제 2 색성분 화상과 제 3 색성분 화상의 노광 시간내에 있어서의 촬상시의 손떨림에 의한 피사체 흔들림의 궤적을 나타내는 새로운 점확산 함수를 연산하는 것을 특징으로 하는 촬상 장치.
제 1 항에 있어서,
피사체의 색정보를 취득하는 색정보 취득 수단과,
상기 색정보 취득 수단에 의해 취득된 색정보에 의거하여 상기 제 1 색성분에 특정의 색성분을 선택적으로 설정하는 설정 수단을 더 구비하고,
상기 촬상 제어 수단은 상기 촬상 수단에, 촬영시의 동일 노광 시간내에, 상기 설정 수단에 의해 설정된 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키는 것을 특징으로 하는 촬상 장치.
제 3 항에 있어서,
상기 색정보 취득 수단에 의해 취득된 색정보에 의거하여 촬영 환경하에 있어서의 광원의 종류를 판단하는 판단 수단을 더 구비하고,
상기 설정 수단은 상기 판단 수단에 의해 판단된 광원의 종류에 대응하여 미리 정해져 있는 특정의 색성분을 상기 제 1 색성분으로 설정하는 것을 특징으로 하는 촬상 장치.
제 3 항에 있어서,
상기 설정 수단은 상기 색정보 취득 수단에 의해 취득된 색정보에 의거하여, 피사체의 색분포에 있어서 지배적인 것을 설정 조건으로 하여, 상기 제 1 색성분에 특정의 색성분을 선택적으로 설정하는 것을 특징으로 하는 촬상 장치.
제 1 항에 있어서,
상기 촬상 수단은 단판식의 고체 촬상 소자이고,
상기 촬상 제어 수단은 촬영시의 동일 노광 시간내에, 상기 고체 촬상 소자에 있어서 상기 제 1 색성분이 할당되어 있는 1군의 광전 변환 소자에 분할 노광에 의해서 상기 제 1 색성분 화상을 복수회 촬상시키고, 또한 상기 촬상 수단에 있어서 제 1 색성분 이외의 제 2 색성분과 제 3 색성분이 할당되어 있는 1군의 광전 변환 소자에 일괄 노광에 의해서 상기 제 2 색성분 화상과 제 3 색성분 화상을 촬상시키는 것을 특징으로 하는 촬상 장치.
피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 동일 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상을 분할 노광에 의해 복수회 촬상시키고, 또한 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 공정과,
복수의 제 1 색성분의 분할 노광한 화상의 하나를 기준 화상으로 하고, 해당 기준 화상의 피사체에 대한 다른 분할 노광한 화상의 피사체의 변위 정보를 취득하는 공정과,
취득한 변위 정보에 의거하여, 상기 분할 노광으로 촬상시킨 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 공정과,
상기 변위 정보에 의거하여 점확산 함수를 연산하는 공정과,
연산한 점확산 함수를 이용한 화상 복원 연산에 의해서 일괄 노광으로 촬상된 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 공정과,
상기 제 1 색성분의 가산 화상과 상기 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 공정을 포함하는 것을 특징으로 하는 손떨림 보정 방법.
촬상 장치가 갖는 컴퓨터에,
피사체를 촬상하는 촬상 수단에 의해서, 촬영시의 동일 노광 시간내에, 제 1 색성분으로 이루어지는 제 1 색성분 화상만을 분할 노광에 의해 복수회 촬상시키고, 또한 상기 제 1 색성분 이외의 다른 색성분으로 이루어지는 제 2 색성분 화상과 제 3 색성분 화상을 일괄 노광에 의해 촬상시키는 처리와,
복수의 제 1 색성분의 분할 노광한 화상의 하나를 기준 화상으로 하고, 해당 기준 화상의 피사체에 대한 다른 분할 노광한 화상의 피사체의 변위 정보를 취득하는 처리와,
취득한 변위 정보에 의거하여, 상기 분할 노광으로 촬상시킨 복수의 제 1 색성분 화상을 위치 맞춤하여 가산하는 것에 의해 가산 화상을 생성하는 처리와,
상기 변위 정보에 의거하여 점확산 함수를 연산하는 처리와,
연산한 점확산 함수를 이용한 화상 복원 연산에 의해서 일괄 노광으로 촬상된 제 2 색성분 화상과 제 3 색성분 화상을 보정하는 처리와,
상기 제 1 색성분의 가산 화상과 상기 보정 후의 제 2 색성분 화상과 제 3 색성분 화상을 결합하는 처리를 실행시키는 것을 특징으로 하는 프로그램을 기록한 기록 매체.