CN101753816A - 拍摄装置及拍摄方法 - Google Patents

Abstract

本发明提供一种拍摄装置。其中，拍摄装置进行第一图像的拍摄及第二图像的拍摄，并通过合成而生成合成图像。第二图像比第一图像的曝光时间长。并且，通过将第一图像在第二图像之前进行拍摄，从而能抑制第一期间的拍摄从输入拍摄开始指示之后在经过长时间后的手抖动增大期间中拍摄。另外，通过在拍摄第一图像之前等待拍摄等待时间的历经，从而能在手抖动特别小的期间内进行第一图像的拍摄。

Description

拍摄装置及拍摄方法

本发明基于2008年12月12日申请的日本特愿2008-316708号。

技术领域

本发明涉及一种由拍摄得到图像并且对该图像实施电子式的手抖动校正处理的拍摄装置及其拍摄方法。

背景技术

近年来，在以数码相机为代表的可拍摄静止图像的拍摄装置中，校正拍摄时的拍摄装置的抖动(所谓的手抖动)的拍摄装置正被广泛普及。例如，使透镜等的光学系统驱动，进行校正输入到拍摄装置的光学像自身的光学式的校正处理，或进行校正由拍摄得到的图像的电子式的校正处理。特别是，进行电子式校正处理的拍摄装置由于无需检测抖动的传感器或驱动机构而能谋求小型化，故备受关注。

作为电子式的手抖动校正处理的一种，有合成式的手抖动校正处理。作为合成式的手抖动校正处理是对多个图像进行合成得到降低手抖动的图像的处理。在本校正处理中，通过合成延长曝光时间拍摄到的图像(以下，作为第二图像)和缩短曝光时间拍摄到的图像(以下，作为第一图像)从而抑制手抖动。

第二图像成为含有手抖动但噪声少的图像。另一方面，第一图像成为手抖动小的图像但噪声多。由此，通过合成这些图像从而能得到抑制了手抖动及噪声的图像。

但是，根据情况不同甚至在第一图像中也会产生含手抖动多的情况。例如，在焦点距离长(光学变焦倍率大)的情况下、或被摄物体较暗从而不只第二图像连第一图像的曝光时间也不得不延长的情况下等容易发生。由此，由于第一图像所含手抖动大时合成后的图像的手抖动也大，从而不能充分抑制手抖动，故成为问题。

发明内容

本发明的拍摄装置，具备以下的部件：拍摄部，其通过拍摄得到图像；合成处理部，其合成由该拍摄部得到的第一图像及第二图像而生成合成图像；和控制部，其控制所述拍摄部的拍摄定时，其中，所述第一图像拍摄时的曝光时间比所述第二图像拍摄时的曝光时间短，所述控制部控制所述拍摄部，以使所述拍摄部在拍摄了所述第一图像后拍摄所述第二图像。

另外，本发明的拍摄方法，包括以下步骤：第一图像生成步骤，通过拍摄得到第一图像；第二图像生成步骤，通过拍摄得到第二图像；和合成步骤，对由所述第一图像生成步骤得到的所述第一图像和由所述第二步骤得到的所述第二图像进行合成而生成合成图像，其中，由所述第一图像生成步骤进行的拍摄的曝光时间比由所述第二图像生成步骤进行的拍摄的曝光时间短，所述第一图像生成步骤在所述第二图像生成步骤之前进行。

附图说明

图1是对本发明实施方式中的拍摄装置的基本构成进行表示的框图。图2是对本发明实施方式中的拍摄装置的合成处理部的构成例进行表示的框图。图3是对块匹配法进行说明的示意图。图4是表示由第一合成部进行的合成方法的一个例子的图表。图5是表示由第二合成部进行的合成方法的一个例子的图表。图6是表示本发明实施方式中的拍摄装置的动作例的流程图。图7是表示在输入拍摄开始指示之后在拍摄装置中产生的手抖动的一个例子的图表。图8是对偏转、俯仰及横滚的各方向进行表示的拍摄装置的立体图。图9A对拍摄装置的样式的差异进行表示。图9B对纵侧的拍摄装置的手柄部的形状的差异进行表示。图9C对纵型的拍摄装置的快门按钮的配置的差异进行表示。

具体实施方式

以下，参照附图对本发明中的拍摄装置和拍摄方法的实施方式进行说明。首先，对拍摄装置的基本构成及基本动作进行说明。且有，以下对可拍摄运动图像及静止图像的拍摄装置进行说明。另外，本发明的拍摄装置及拍摄方法中的噪声降低处理虽然基本上应用于静止图像，但是如果可能也应用于运动图像。

《拍摄装置》首先，基于图1对拍摄装置的基本构成进行说明。图1是对本发明实施方式中的拍摄装置的基本构成进行表示的框图。

如图1所示，拍摄装置1具备拍摄部2，该拍摄部2具备：由将所入射的光变换为电信号的CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)传感器等的固体拍摄元件构成的图像传感器3、和使被摄物体的光学像在图像传感器3中成像并且进行光量等调整的透镜部4。

拍摄装置1还具备：AFE(Analog Front End)5，其将作为从图像传感器3输出的模拟信号的图像信号变换为数字信号；图像处理部6，其对从AFE5输出的数字图像信号实施灰度校正处理等的各种图像处理；集音部7，其将所输入的声音变换为电信号；声音处理部8，其将从集音部7输出的模拟声音信号变换为数字信号并且对声音信号实施去除噪声等的各种声音处理；压缩处理部9，其对从图像处理部6输出的图像信号和从声音处理部8输出的声音信号分别实施MPEG(Moving Picture ExpertsGroup)压缩方式等运动图像用的压缩编码处理，或者对从图像处理部6输出的图像信号实施JPEG(Joint Photographic Experts Group)压缩方式等的静止图像用的压缩编码处理；外部存储器10，其记录由压缩处理部9压缩编码后的压缩编码信号；驱动部11，其在外部存储器10中记录压缩编码信号或者从外部存储器10中读取压缩编码信号；和扩展处理部12，其将驱动部11中从外部存储器10读取出的压缩编码信号进行扩展并解码。

另外，拍摄装置1具备：图像输出电路部13，其为了在显示器等显示部(未图示)中显示在扩展处理部12中解码后得到的图像信号而将其变换为模拟信号；和声音输出电路部14，其为了在扬声器等再生部(未显示)中再生在扩展处理部12中解码后得到的声音信号而将其变换为模拟信号。

另外，拍摄装置1具备：CPU(控制部)15，其控制拍摄装置1内整体的动作；存储器16，其存储用于进行各处理的各程序并且进行程序执行时的数据的暂时保管；操作部17，其输入开始拍摄的按钮或调整拍摄条件等的按钮等来自用户的指示；定时发生器(TG)部18，其输出用于使各部的动作定时一致的定时控制信号；总线19，其用于在CPU15与各模块之间进行数据交换；总线20，其用于在存储器16与各部之间进行数据交换。

另外，图像处理部6具备合成处理部60，该合成处理部60对所输入的多个图像信号进行合成并作为一个图像信号输出。且有，对合成处理部60的构成的详细情况进行后述。

且有，虽然作为一个例子示出了可生成运动图像和静止图像的图像信号的拍摄装置1，但是拍摄装置1也可以是仅能生成静止图像的图像信号。此时，也可以作为不具备集音部7或声音处理部8、声音输出电路部14等的结构。

另外，只要外部存储器10能够记录图像信号或声音信号，无论由什么构成都可以。例如，能够将SD(Secure Digital)卡等的半导体存储器、DVD等的光盘、硬盘等的磁盘等作为该外部存储器10来使用。另外，也可从拍摄装置1中自由装卸外部存储器10。

接着，利用图1对拍摄装置1的基本动作进行说明。首先，拍摄装置1通过在图像传感器3中对由透镜部4入射的光进行光电变换，从而取得作为电信号的图像信号。并且，图像传感器3与从TG部18输入的定时控制信号同步地以规定的定时向AFE5输出图像信号。

并且，由AFE5从模拟信号变换为数字信号的图像信号被输入到图像处理部6。在图像处理部6中，对具备所输入的R(红)G(绿)B(蓝)分量的图像信号变换为具备亮度信号(Y)和色差信号(U、V)的分量的图像信号，并且实施灰度校正或轮廓强调等的各种图像处理。另外，存储器16作为帧存储器而起作用，在图像处理部6进行处理时暂时保持图像信号。

另外，此时，基于输入到图像处理部6的图像信号，在透镜部4中，或者调整各种透镜的位置以进行焦距调整，或者调整光圈的开度(divergence)以进行曝光调整，或者进行图像传感器3的灵敏度(例如，ISO(International Organization for Standardization)灵敏度)调整。该焦距或曝光、灵敏度的调整，或者基于规定的程序自动进行，或者基于用户的指示手动地进行，以便分别达到最佳状态。

另外，图像处理部6在合成处理部60中进行多个图像的合成。且有，对合成处理部60的动作的详细情况进行后述。

在生成运动图像的图像信号的情况下，在集音部7中进行集音。在集音部7中被集音并被变换为电信号的声音信号被输入到声音处理部8。声音处理部8将所输入的声音信号变换为数字信号并且实施去除噪声或声音信号的强度控制等的各种声音处理。并且，从图像处理部6输出的图像信号和从声音处理部8输出的声音信号都被输入到压缩处理部9，在压缩处理部9中以规定的压缩方式进行压缩。此时，图像信号与声音信号在时间上建立关联，再生时构成为图像和声音没有偏差。并且，从压缩处理部9输出的压缩编码信号经由驱动部11被记录在外部存储器10中。

另一方面，在生成静止图像的图像信号的情况下，从图像处理部6输出的图像信号被输入到压缩处理部9，在压缩处理部9中以规定的压缩方式进行压缩。并且，从压缩处理部9输出的压缩编码信号经由驱动部11被记录在外部存储器10中。

记录在外部存储器10中的运动图像的压缩编码信号基于用户的指示被读取到扩展处理部12。扩展处理部12对压缩编码信号进行扩展并解码，生成图像信号及声音信号。并且，向图像输出电路部13输出图像信号，向声音输出电路部14输出声音信号。并且，在图像输出电路部13或声音输出电路部14中，被变换为在显示装置或扬声器中可再生的形式后输出。

另一方面，记录在外部存储器10中的静止图像的压缩编码信号被输入到扩展处理部12并生成图像信号。并且，该图像信号被输出到图像输出电路部13，在图像输出电路部13中被变换为在显示装置中可再生的形式后输出。

且有，显示装置或扬声器也可与拍摄装置1成为一体，即使不成为一体也可以利用电缆等与拍摄装置1所具备的端子连接。

另外，在不进行图像信号的记录而是用户确认显示装置等中被显示的图像、即所谓的预览模式的情况下，也可以不压缩从图像处理部6输出的图像信号就输出到图像输出电路部13。另外，在记录图像信号时，也可以与在压缩处理部9中进行压缩并在外部存储器10中记录的动作并行地经由图像输出电路部13向显示装置等输出图像信号。

《合成处理部》接着，参照附图对图1示出的图像处理部6所具备的合成处理部的构成例进行说明。另外，在以下的说明中，在由合成处理部60合成的两个图像信号中，将曝光时间长的一方设为“第二图像”，将曝光时间短的一方设为“第一图像”。另外，将合成后的图像信号设为“合成图像”。且有，以下为了说明的具体化，将这些图像信号作为图像进行表现。另外，以下示出的构成例只是一个例子，只要能合成第二图像及第一图像而生成合成图像，什么样的结构都可以。

图2是对本发明实施方式中的拍摄装置的合成处理部的构成例进行表示的框图。如图2所示，合成处理部60具备：位置偏差校正部61，其基于第一图像对第二图像的位置偏差进行校正；LPF(Low Pass Filter)部62，其对第一图像的空间频率中在规定频率以上的高频分量进行滤波生成第三图像并输出；差分值计算部63，其求出进行了位置偏差校正的第二图像与第三图像的差分来计算差分值；第一合成部64，其基于差分值合成第三图像和通过位置偏差校正部61进行了位置偏差校正的第二图像，并输出第四图像；边缘强度值计算部65，其从第三图像中提取边缘(例如，物体的轮廓)来计算边缘强度值；和第二合成部66，其基于边缘强度值合成第一图像和第四图像，生成并输出合成图像。

拍摄第一图像时的曝光时间例如优选手抖动界限曝光时间(焦点距离为f[mm]的情况的1/f[sec]，以难以发生手抖动为基准的时间，f为进行了35mm画幅换算后的值)以下较短的时间。拍摄第二图像时的曝光时间至少比拍摄第一图像时的曝光时间长。例如，也可以采用合适曝光时间(成为由拍摄部2生成的图像的明亮度合适的曝光时间)进行拍摄。且有，合适曝光时间也可以根据焦点距离、光圈值或灵敏度、曝光值(表示被摄物体的明亮度的值)等的各值以满足规定关系的方式自动设定。

接着，参照附图对合成处理部60的动作进行说明。如图2所示，首先通过拍摄部2拍摄而得到的第二图像及第一图像被输入到合成处理部60。如上述，第二图像成为使曝光时间比第一图像长而拍摄到的图像。此时，增大拍摄第一图像时的图像传感器3的灵敏度使其比拍摄第二图像时的图像传感器3的灵敏度大。而且，以通过设定曝光时间和灵敏度使得第一图像和第二图像的明亮度大致相等的方式进行调整。

拍摄第一图像和第二图像的定时是由CPU15控制的。且有，对拍摄第一图像和第二图像的定时的详细情况进行后述。

由于第一图像的曝光时间短，故成为抑制了手抖动的图像。由此，成为边缘清楚的图像。其中，由于增大图像传感器3的灵敏度，故容易成为含噪声多的图像。

相对于此，第二图像被设定为：比第一图像其曝光时间长并且图像传感器3的灵敏度小。由此，成为抑制了噪声的图像。其中，由于延长曝光时间，故成为容易产生手抖动的图像。由此，容易成为边缘不清楚的图像。

由于第一图像及第二图像基本上是连续拍摄生成的，故成为大致相同的构图。但是，由于不能完全同时进行拍摄，故构图有微小的偏差。由此，位置偏移偏差部61对第一图像和第二图像的位置偏差进行校正。

位置偏差校正部61例如通过搜索第二图像与第一图像大致相同的部分来检测“偏差”。并且，基于得到的“偏差”，通过变换第二图像的像素坐标进行校正，使得表示相同对象物的像素坐标在第一图像和第二图像中大致相同。即，进行使第一图像的像素和第二图像的像素对应的处理。

作为搜索第一图像和第二图像大致相同的部分的方法，例如能采用求光流(optical flow)的各种方法或代表点匹配等的方法。在此，作为搜索方法的一个例子，利用图3对采用求出光流的方法、即块匹配法的情况进行说明。图3是对块匹配法进行说明的示意图。

在图3的左图中，符号100表示第一图像，符号101表示在第一图像中关注的关注块。在图3的右图中，符号110表示第二图像，符号111表示在第二图像中关注的候补块。另外，符号112表示能得到候补块111位置的探索块。

位置偏差校正部61计算关注块101与候补块111之间的相关值。此时，候补块111在搜索块112内的水平方向或垂直方向上一像素一像素地移动，每次移动都计算相关值。相关值例如能够作为关注块101和候补块111之间的各像素的亮度差的绝对值的总和。该相关值一般被称为SAD(Sum of Absolute Difference)。且有，作为相关值也可以利用亮度差的平方和(Sum of Squared Difference)。

关注块101的图像与候补块111的图像之间的相关越高，则相关值越小。因此，若求出相关值最小的候补块111的位置，则能求出表示与关注块101大致相同的图像的块位于第二图像内的哪个位置，并且能求出第一图像与第二图像之间的关注块101的运动矢量(光流、第一图像和第二图像的位置偏差的方向及大小)。并且，基于得到的运动矢量能求出“偏差”。

另外，LPF部62通过进行第一图像的LPF处理，从而生成第三图像。LPF部62进行第一图像的空间频率高的部分的滤波(即、抑制噪声)。对LPF部62进行设定，以便成为能抑制噪声并且边缘不是极端不清楚的程度(特别是，在后述的边缘强度值计算部65中清楚地提取边缘的程度)的截止频率。

并且，差分值计算部63进行第二图像和第三图像的差分处理，计算差分值。作为差分值是表示两个图像中对应的像素颜色或明亮度的差的值，用差分值D(x，y)表示像素(x，y)的差分值。例如，利用下式(1)能求出差分值D(x，y)。且有，x表示图像的水平方向的位置(坐标)，y表示图像的垂直方向的位置(坐标)。

D(x，y)＝|P2(x，y)-P3(x，y)|…(1)

在上式(1)中，P2(x，y)表示第二图像的像素(x，y)的信号值。另外，P3(x，y)表示第三图像的像素(x，y)的信号值。并且，D(x，y)表示如上述由这些信号值得到的差分值。

具体地说，例如也可以基于以下的式(1a)求出差分值D(x，y)。式(1a)表示利用由RGB构成的信号值作为式(1)中的像素(x，y)的信号值P2(x，y)、P3(x，y)的情况。另外，在式(1a)中，将第二图像的像素(x，y)的信号值的RGB各分量的值表示为P2_R(x，y)、P2_G(x，y)、P2_B(x，y)，将第三图像的像素(x，y)的信号值的RGB各分量的值表示为P3_R(x，y)、P3_G(x，y)、P3_B(x，y)。且有，在式(1a)示出的计算方法中，分别求出RGB各分量的差的绝对值，并将这些绝对值的和的值作为差分值D(x，y)。

D(x，y)＝|P2_R(x，y)-P3_R(x，y)|+|P2_G(x，y)-P3_G(x，y)|+|P2_B(x，y)-P3_B(x，y)|…(1a)

又例如，也可以基于以下式(1b)求出差分值D(x，y)。在式(1b)中，也与式(1a)同样，对利用由RGB构成的信号值的情况进行表示，以与式(1a)相同的方法表示各信号值的各分量的值。在式(1b)中，对RGB各分量的差进行平方，并将对这些和开方后的值作为差分值D(x，y)。

$D(x,y)=\left[\right\{P{2}_R(x,y)-P{3}_R(x,y){\}}^2+\{{P2}_G(x,y)-P{3}_G(x,y){\}}^2$ $+\{P{2}_B(x,y)-P{3}_B(x,y){\}}^2{]}^{\frac{1}{2}}\·\·\·\left(1b\right)$

上述式(1)、(1a)及(1b)的各计算方法只是一个例子，也可以利用其他方法求出差分值D(x，y)。另外，也可以代替RGB而利用YUV的值，采用与利用RGB的情况相同的方法(用YUV分别替换RGB)来计算差分值D(x，y)。进而，也可以仅基于第二图像及第三图像的信号值的Y分量来计算差分值D(x，y)。

另外，第一合成部64进行第二图像和第三图像的合成，生成第四图像。例如，通过对第二图像和第三图像进行加权加法运算从而进行合成。利用图4对由加权加法运算进行合成的情况的一个例子进行说明。图4是表示由第一合成部进行的合成方法的一个例子的图表。

如图4所示，在本例的方法中，基于差分值D(x，y)设定混合率α(x，y)，并根据该混合率α(x，y)进行加权加法运算。具体地说，通过下式(2)对第二图像和第三图像进行合成。

P4(x，y)＝α(x，y)×P2(x，y)+{1-α(x，y)}×P3(x，y)…(2)

混合率α(x，y)是表示用于对第二图像的(x，y)的位置中的像素的信号值P2(x，y)和第三图像的(x，y)的位置中的像素的信号值P3(x，y)进行加权加法运算时的相加运算比例(合成比例)。另外，混合率α(x，y)是对第二图像的相加运算比例进行表示，第三图像的相加运算比例为1-α(x，y)。

若差分值D(x，y)比阈值Th1_L小，则混合率α(x，y)为1，若差分值D(x，y)在阈值Th1_H以上，则混合率α(x，y)为0。另外，若差分值D(x，y)在阈值Th1_L以上且比Th1_H小，则混合率α(x，y)为1-(D(x，y)-Th1_L)/(Th1_H-Th1_L)。即，若使差分值D(x，y)的值从阈值Th1_L增大到阈值Th1_H，则混合率α(x，y)从0线性减小到1。且有，也可以非线性减小，但是优选单调减小。

并且，通过进行上述式(2)示出的加权加法运算，从而得到第四图像的(x，y)的位置中的像素的信号值P4(x，y)。且有，在利用由YUV构成的信号值作为第二图像及第三图像的像素的信号值P2(x，y)、P3(x，y)的情况下，也可以按照YUV的每个分量进行计算而得到第四图像的像素的信号值P4(x，y)。另外，也可以代替由YUV构成的信号值而利用由RGB构成的信号值。

另外，边缘强度值计算部65进行第三图像的边缘提取处理，计算边缘强度值。所谓边缘强度值是表示像素的变化量(与周围像素的变化量)的值。在此，利用E(x，y)表示像素(x，y)中的边缘强度值。例如，利用下式(3)能求出像素(x，y)中的边缘强度值E(x，y)。

$E(x,y)=|\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fx}(i,j)\·P{3}_Y(x+i,y+i)|$ $+|\underset{i=-1}{\overset{1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fy}(i,j)\·{P3}_Y(x+i,y+i)|\·\·\·\left(3\right)$

在上述式(3)中，P3_Y(x，y)表示第三图像的像素(x，y)的信号值的Y分量的值。且有，在利用RGB的信号值作为像素的信号值的情况下，也可以利用RGB的各分量来计算相当于Y分量的值，并利用该值。

另外，Fx(i，j)及Fy(i，j)分别表示用于提取边缘的滤波器。换言之，是表示对图像中的轮廓进行强调的滤波器。作为这种滤波器，例如能够采用索贝尔滤波器(Sobel filter)和普鲁伊特滤波器(Prewitt filter)等微分滤波器。另外，在上述式(3)中，作为一个例子，对应用3×3的滤波器的情况进行表示。另外，Fx(i，j)是用于提取x方向(水平方向)的边缘的滤波器，Fy(i，j)是用于提取y方向(垂直方向)的边缘的滤波器。

在利用普鲁伊特滤波器作为提取边缘的滤波器的情况下，也可以将Fx(i，j)设为Fx(-1，-1)＝Fx(-1，0)＝Fx(-1，1)＝-1、Fx(0，-1)＝Fx(0，0)＝Fx(0，1)＝1、Fx(1，-1)＝Fx(1，0)＝Fx(1，1)＝1。另外，还可以将Fy(i，j)设为Fy(-1，-1)＝Fy(0，-1)＝Fy(1，-1)＝-1、Fy(-1，0)＝Fy(0，0)＝Fy(1，0)＝0、Fy(-1，1)＝Fy(0，1)＝Fy(1，1)＝1。

通过求取分别对以上的3×3的滤波器Fx(i，j)与以第三图像的像素(x，y)为中心的3×3的区域中的Y分量进行累计并且合计后的值的绝对值、和分别对3×3的滤波器Fy(i，j)与以第三图像的像素(x，y)为中心的3×3的区域中的Y分量进行累计并且合计后的值的绝对值之和，从而能够求出式(3)中示出的像素(x，y)的边缘强度值E(x，y)。另外，式(3)中示出的方法只不过是一个例子，利用其它的方法也可以求出边缘强度值E(x，y)。

并且，最后第二合成部66进行第一图像与第四图像的合成，从而生成合成图像。此时，例如通过对第一图像与第四图像进行加权加法运算，从而进行合成。利用图5，对通过加权加法运算进行合成时的一个例子进行说明。图5是表示由第二合成部进行的合成方法的一个例子的图表。

如图5所示，在本例的方法中，基于边缘强度值E(x，y)设定混合率β(x，y)，按照该混合率β(x，y)进行加权加法运算。具体地，通过以下所示的式(4)，合成第一图像与第四图像。

P(x，y)＝β(x，y)×P1(x，y)+{1-β(x，y)}×P4(x，y)  (4)

混合率β(x，y)表示用于对第一图像的(x，y)的位置中的像素的信号值P1(x，y)和第四图像的(x，y)的位置中的像素的信号值P4(x，y)进行加权加法运算时的加法运算比例(合成比率)。另外，混合率β(x，y)对第一图像的加法运算比例进行表示，第四图像的加法运算比例为1-β(x，y)。

如果边缘强度值E(x，y)比阈值Th2_L小，则混合率β(x，y)为0，如果边缘强度值E(x，y)在阈值Th2_H以上则β(x，y)为1。另外，如果边缘强度值E(x，y)在阈值Th2_L以上且比阈值Th2_H小，则β(x，y)为(E(x，y)-Th2_L)/(Th2_H-Th1_L)。即，如果使边缘强度值E(x，y)的值从阈值Th2_L增大到阈值Th2_H，则混合率β(x，y)从0线性增加到1。另外，也可以非线性地增加，但优选单调增加。

并且，通过进行式(4)中示出的加权加法运算，从而得到合成图像的(x，y)的位置中的像素的信号值P(x，y)。其中，在利用由YUV构成的信号值作为第一图像及第四图像的像素的信号值P1(x，y)、P4(x，y)的情况下，可以按照YUV的每个分量进行计算，以得到合成图像的像素的信号值P(x，y)。另外，也可以代替由YUV构成的信号值，利用由RGB构成的信号值。

通过如上构成合成处理部60，从而能够得到有效地合成了第一图像的清晰边缘和第二图像的较少噪声的双方特长的合成图像。

具体地，因为利用由第二图像和第三图像得到的差分值，进行第二图像与第三图像的合成，所以能够抑制第二图像的被摄物体抖动(由在曝光时间中被摄物体运动而产生的抖动)或第一图像的噪声反映于第四图像。另外，因为利用由第三图像得到的边缘强度值来进行第一图像与第四图像的合成，所以使得成为手抖动少且清楚的第一图像的边缘有效地反映于合成图像中，并且能够抑制第一图像的噪声反映于合成图像中。因此，能够使得合成图像成为能够抑制手抖动或被摄物体抖动且边缘清晰的图像，并且能够成为噪声少的图像。

另外，为了计算边缘强度值而利用了对第一图像进行LPF处理后的第三图像，因此可以抑制因第一图像中含有的噪声而导致边缘强度值E(x，y)在边缘以外变大。

且有，上述的合成处理部60的构成只是一个例子，也可以是其他构成。例如，也可以是不生成第三图像或第四图像等的中间性图像(即、使第一图像或第二图像变形后生成的图像)而直接合成第一图像及第二图像的构成。

《拍摄部的控制例》接着，参照附图对拍摄第一图像及第二图像时的拍摄装置1的动作例、即由CPU15进行的拍摄装置1的控制例进行说明。图6是表示本发明实施方式中的拍摄装置的动作例的流程图。

如图6所示，在拍摄第一图像及第二图像之前，先由用户输入设定拍摄条件的指示(STEP1)。例如，通过半按图1的操作部17的一部分、即快门按钮等，从而该指示被输入到拍摄装置1中。且有，此时也可以进行在显示部等中显示被输入到拍摄装置1中的图像的预览。在这种情况下，用户通过观看在显示部中所显示的图像从而确认想要生成的图像的构图，由此将拍摄条件的设定指示输入到拍摄装置1中。

若输入拍摄条件的设定指示，则基于被输入到拍摄装置1中的图像来设定第二图像的拍摄条件(STEP2)。例如，如上述通过由图像处理部6确认图像，从而能控制焦距或曝光、白平衡等。另外，此时设定拍摄第二图像时的条件。特别是，基于焦距或曝光值等来设定第二图像拍摄时的灵敏度、即第二灵敏度和第二图像拍摄时的曝光时间、即第二曝光时间。且有，如上述也可以将第二曝光时间设为合适曝光时间。

接着，基于在STEP2中设定过的第二图像的拍摄条件来设定第一图像的拍摄条件(STEP3)。此时，作为第一图像的拍摄条件，设定第一图像拍摄时的曝光时间、即第一曝光时间和第一图像拍摄时的灵敏度、即第一灵敏度。第一曝光时间作为比第二曝光时间短的曝光时间，能够抑制第一图像中含有的手抖动。另外，第二灵敏度作为比第一灵敏度大的灵敏度，能够使得第一图像及第二图像的明亮度大致相同。例如，在将第二曝光时间设定为第一曝光时间的1/4的情况下，将第二灵敏度设为第一灵敏度的4倍。即、使得曝光时间和灵敏度的乘积为恒定。

而且，在STEP3中，输入拍摄开始的指示之后也进行直到开始第一图像的拍摄为止的时间(以下，作为“拍摄待机时间”)的设定。对该拍摄待机时间的详细情况进行后述。

在STEP3中设定了第一图像的拍摄条件后，由用户输入开始拍摄的指示(以下，作为“拍摄开始指示”)(STEP4)。例如，通过全按图1的操作部17的一部分、即快门按钮，从而该拍摄开始指示被输入到拍摄装置1中。

拍摄装置1按照第一图像、第二图像的顺序进行拍摄。此时，拍摄装置1在输入STEP4的拍摄指示之后，并在等待了拍摄待机时间的历经后(STEP5)，才开始第一图像的拍摄(STEP6)。并且，若第一图像的拍摄结束，则连续进行第二图像的拍摄(STEP7)，最终结束拍摄。

(拍摄待机时间)参照附图对STEP5的拍摄待机时间进行说明。图7是表示输入拍摄开始指示之后在拍摄装置中产生的手抖动的一个例子的图表。且有，图7的图表是表示在用户使用某个拍摄装置1的情况下产生的手抖动的时间性变动，是在实验中求出的。且有，以下，将由该图表表示的某个拍摄装置1特有的手抖动的发生模式称为手抖动倾向。

在图7的图表中，将时间0的时刻作为输入拍摄开始指示的时刻。另外，以角速度来表示手抖动的大小，用虚线表示偏转方向的角速度，用点划线表示俯仰方向的角速度，用细实线表示横滚方向的角速度，用粗实线表示这些角速度的平均值。

参照图8对偏转、俯仰及横滚的各方向进行说明。图8是对偏转、俯仰及横滚的各方向进行表示的拍摄装置的立体图。在图8中，设光轴O相对水平面大致平行，将与水平面大致垂直的轴设为垂直轴V，将与光轴O及垂直轴V大致垂直的轴设为水平轴H。将以垂直轴V为中心的旋转方向作为偏转方向，将以水平轴H为中心的旋转方向作为俯仰方向，将以光轴O为中心的旋转方向作为横滚方向。且有，各方向的各速度以拍摄装置1顺时针方向(图中的箭头方向)的方向为正。

如图7所示，在输入了拍摄开始指示之后，各方向的手抖动变大。例如，为了输入拍摄开始指示用户通过全按快门按钮等的动作，从而由拍摄装置1整体运动而产生该手抖动(例如，0～0.08秒的期间)。另外，若还历经时间，则由于用户松开快门按钮的反作用或用户把持拍摄装置1的紧张感逐渐降低等的因素使得手抖动逐渐变大(例如，0.13秒以后的期间，以下称为手抖动增大期间)。

在本实施方式的拍摄装置1中，在拍摄曝光时间长的第二图像前，进行第一图像的拍摄。由此，在手抖动增大期间之前进行第一图像的拍摄。

另外，在得到图7的手抖动倾向的拍摄装置1中，还优选在手抖动增大期间之前手抖动全部变小的期间(例如，若在0.08～0.13秒的期间，则手抖动的平均值的绝对值为0.5以下)拍摄第一图像。由此，在图7所示的情况下，将拍摄待机时间设定为约0.8秒。且有，特别是若在降低的方向，也可以根据该方向的手抖动变小的期间来设定拍摄待机时间。例如，在图7所示的情况下、即在想极力抑制拍摄后的图像校正特别困难的横滚方向的手抖动的情况下，优选将拍摄待机时间设定为约0.1秒。

第二图像的拍摄开始是在第一图像的拍摄刚刚结束之后。即，在进行第一图像的拍摄且拍摄部2完成拍摄下一图像的准备时，开始第二图像的拍摄。由此，能尽量抑制等待时间，并能抑制第一图像及第二图像的偏差。

通过采取以上构成，在曝光时间长的第二图像的拍摄之前，进行曝光时间短的第一图像的拍摄。由此，能可靠抑制在手抖动增大期间内进行第一图像的拍摄。因此，能抑制包括在第一图像中的手抖动，且能有效抑制包括在合成图像中的手抖动。

而且，通过设置拍摄待机时间，从而能在特别是手抖动变小的期间(例如，图7的0.08～0.13秒的期间)内进行第一图像的拍摄。由此，能抑制包括在第一图像中的手抖动，并能进一步有效抑制包括在合成图像中的手抖动。

另外，通过求出由拍摄装置的形状或重量等的拍摄装置的构造特征引起的手抖动的倾向来设定拍摄待机时间，故在拍摄装置中无需具备检测手抖动的装置(例如，角速度传感器)。由此，能谋求拍摄装置的小型化。另外，能谋求拍摄装置的成本降低。

且有，图7所示的手抖动倾向只是一个例子。手抖动倾向是根据拍摄装置的形状(用户把持部分的形状或快门按钮的配置、透镜(光轴)的位置等)或重量等的拍摄装置的构造特征不同而不同的。因此，优选按照拍摄装置的模型预先(例如，在出货前)实验性地求出手抖动倾向，并对各模型设定拍摄待机时间。

图9A～C中示出拍摄装置的形状差异的代表性。图9A对拍摄装置的样式的差异进行表示。将具备用左方所示的单手把持的手柄部G的拍摄装置作为纵型，将用双手把持右方所示的整体的拍摄装置作为横型。图9B对纵侧的拍摄装置的手柄部G的形状的差异进行表示。左方的拍摄装置的手柄部G向与拍摄方向大致垂直的方向突出，并且突出的下方以向拍摄方向的相反方向的方式倾斜。另一方面，右方的拍摄装置的手柄部G成为仅向与拍摄方向垂直的方向突出的形状。图9C对纵型的拍摄装置的快门按钮的配置的差异进行表示。左方的拍摄装置的快门按钮S包括在光轴O上。另一方面，右方的拍摄装置的快门按钮S包括在偏移光轴O的位置(光轴O的上方)上。

例如，根据这些差异，拍摄装置的手抖动倾向也不同。例如，手抖动变大的时间或方向等在各拍摄装置中不同。

另外，在所设定的第一曝光时间比规定的基准时间(例如，手抖动界限曝光时间)极端短的情况下，即、在满足第一曝光时间≤基准时间×k的情况下，也可以判断为在第一图像中难以包括手抖动(其中，k＜1)。并且，此时也可以将拍摄待机时间设为0。

通过采取这种构成，在预测包括在第一图像中的手抖动小的情况下，能尽量快速进行第一图像的拍摄。由此，能够抑制错过按快门时机、或得到的图像与期望的构图有偏差，或用户怀疑地想到是否正确输入了拍摄开始指示等的拍摄装置的操作性劣化的问题。

另外，即使通过拍摄装置的性能或其手抖动倾向在输入拍摄开始指示之后立即要开始第一图像的拍摄，也能产生第一图像的拍摄的开始时超过手抖动小的期间的情况。例如，存在第一图像的拍摄开始需要长时间的情况，或在拍摄开始指示的输入之后马上有手抖动小的期间的情况等。在这些情况下，与上述的情况同样，也可以将拍摄待机时间设为0。即，在能开始第一图像的拍摄的时刻，也可以开始第一图像的拍摄。另外，也可以在能开始第一图像的拍摄的时间的历经后存在手抖动小的期间内，设定拍摄待机时间以便进行第一图像的拍摄。

另外，也可以给拍摄待机时间设置界限值。通过采取这种构成，能够防止第一图像的拍摄开始过于延迟。由此，能抑制拍摄装置的操作性劣化。

另外，也可以在第一图像与第二图像之间设置拍摄待机时间。其中，根据从拍摄开始指示的输入到拍摄结束的时间不过于延长的观点，或减小第一图像或第二图像的偏差的观点等，优选缩短第一图像与第二图像的间隙。

另外，用户也可以变更拍摄待机时间。即，除了由拍摄装置的构造特征引起的手抖动倾向以外，也可以根据由用户引起的手抖动倾向来设定拍摄待机时间。

《变形例》对于本发明实施方式中的拍摄装置1而言，也可以由微型电子计算机等的控制装置进行图像处理部6或合成处理部60等的各动作。而且，将通过这种控制装置实现的功能的全部或一部分作为程序进行记述，也可以通过在程序执行装置(例如，计算机)上执行该程序，从而实现该功能的全部或一部分。

另外，并不限于上述的情况，图1的拍摄装置1或图2的合成处理60可通过硬件或硬件与软件的组合来实现。另外，在利用软件构成拍摄装置1或合成处理部60的情况下，针对由软件实现的部位的框图表示该部位的功能框图。

以上，虽然对本发明中的实施方式进行了说明，但是本发明的范围并不限定于此，只要在不脱离发明宗旨的范围内能做各种变更并执行。

本发明涉及一种由拍摄得到图像并且对该图像实施电子式的手抖动校正处理的拍摄装置及其拍摄方法。特别，涉及通过拍摄多个图像后进行合成来进行校正的拍摄装置及其拍摄方法。

Claims (6)

1.一种拍摄装置，具备以下部件：

拍摄部，其通过拍摄得到图像；

合成处理部，其合成由该拍摄部得到的第一图像及第二图像而生成合成图像；和

控制部，其控制所述拍摄部的拍摄定时，

其中，所述第一图像拍摄时的曝光时间比所述第二图像拍摄时的曝光时间短，

所述控制部控制所述拍摄部，以使在所述拍摄部拍摄了所述第一图像之后拍摄所述第二图像。

2.根据权利要求1所述的拍摄装置，其中，

所述控制部控制所述拍摄部，以使检测出进行拍摄的指示输入到所述拍摄装置后，在等待了作为规定时间的拍摄待机时间的历经后立即开始所述第一图像的拍摄。

3.根据权利要求2所述的拍摄装置，其中，

所述拍摄待机时间是基于所述拍摄装置的构造特征设定的，是从进行拍摄的指示输入到所述拍摄装置之后直到在所述拍摄装置中产生的运动为比规定大小小的期间为止的时间。

4.根据权利要求2所述的拍摄装置，其中，

在所述拍摄待机时间比由所述拍摄部的拍摄条件所设定的阈值短的情况下，所述拍摄待机时间为0。

5.一种拍摄方法，包括以下的步骤：

第一图像生成步骤，通过拍摄得到第一图像；

第二图像生成步骤，通过拍摄得到第二图像；和

合成步骤，对由所述第一图像生成步骤得到的所述第一图像和由所述第二步骤得到的所述第二图像进行合成而生成合成图像，

其中，由所述第一图像生成步骤进行的拍摄的曝光时间比由所述第二图像生成步骤进行的拍摄的曝光时间短，

所述第一图像生成步骤在所述第二图像生成步骤之前进行。

6.根据权利要求5所述的拍摄方法，其中，

所述拍摄方法还包括以下步骤：

检测步骤，检测输入了进行拍摄的指示；和

待机步骤，在所述检测步骤之后，等待作为规定时间的拍摄待机时间的历经，

其中，所述第一图像生成步骤在所述待机步骤之后立即开始。

Images