CN102244730B

CN102244730B - 摄像装置及手抖动修正方法

Info

Publication number: CN102244730B
Application number: CN201110128525.XA
Authority: CN
Inventors: 浜田玲
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-05-14
Filing date: 2011-05-13
Publication date: 2014-06-18
Anticipated expiration: 2031-05-13
Also published as: EP2387229A3; EP2387229A2; KR101229600B1; US8581992B2; US20110279693A1; CN102244730A; KR20110126053A; EP2387229B1

Abstract

本发明提供一种摄像装置及手抖动修正方法。摄像装置具备：摄像部件；摄像控制部件，使摄像部件在摄影时的同一曝光时间内，仅对第1颜色分量图像通过分割曝光来进行多次拍摄，对第2颜色分量图像和第3颜色分量图像通过一并曝光来进行拍摄；位移信息获取部件，将多个第1颜色分量图像之一作为基准图像，获取其他图像的被摄体相对于该基准图像的被摄体的位移信息；图像相加部件，基于位移信息，将多个第1颜色分量图像进行对位后相加，生成相加图像；运算部件，基于位移信息来运算点扩展函数；修正部件，通过使用了点扩展函数的图像复原运算，对第2和第3颜色分量图像进行修正；和合成部件，将相加图像、修正后的第2和第3颜色分量图像进行合成。

Description

摄像装置及手抖动修正方法

技术领域

本发明涉及适用于数码静态相机等摄像装置的手抖动修正技术。

背景技术

以往，作为在数码静态相机中用于修正暗处摄影等长时间曝光时的手抖动的方法，公知使用了图像信号处理技术的方法。

例如，在下述专利文献1(JP特开平11-252445号公报)中记载了下述方法：在摄影时的曝光时间内以时分方式获取多张图像，针对图像检测相对于在时间上的前一个图像的运动矢量，并基于所检测出的运动矢量，在各图像之间以抵消各图像之间的位置偏移的方式进行位置叠加的方法。

根据上述方法，能够获得摄影时的手抖动引起的被摄体模糊被降低的图像。以下，将上述手抖动修正方法称为连拍图像的叠加合成法。

可是，在上述的连拍图像的叠加合成方法中，连拍的每个图像的曝光时间短，在被摄体的光量不充足的情况下，从摄像元件读出的摄像信号所含有的噪声比例大。因此，虽然摄影图像中的被摄体模糊能降低，但是与基于通常的一并曝光拍摄到的图像比较，噪声的总量增加、S/N比下降，存在尤其较暗部分的画质下降的问题。

另外，为了防止较暗部分的画质下降，减少以时分方式获取到的图像的张数，延长被分割的曝光时间即可，但是这样连拍的每个图像中会产生被摄体的模糊。而且，在产生了被摄体的模糊的情况下，将连拍的多个图像叠加并相加时的对位精度也下降。因此，存在着无法进行充分的手抖动修正的问题。

发明内容

本发明是鉴于现有课题提出的，其目的在于同时实现较暗部分的摄影图像的画质提高和高精度的手抖动修正。

为了实现上述目的，本发明的一个方式的摄像装置具备：摄像部件，拍摄被摄体；摄像控制部件，使所述摄像部件在摄影时的曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光进行多次拍摄，同时，对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光进行拍摄；位移信息获取部件，将通过所述摄像控制部件的控制而由所述摄像部件以分割曝光的方式拍摄到的多个第1颜色分量图像的其中之一作为基准图像，获取该基准图像以外的第1颜色分量图像的各自中的被摄体相对于基准图像的被摄体的位置的位移信息；图像相加部件，基于所述位移信息获取部件所获取的位移信息，将通过所述摄像控制部件的控制而由所述摄像部件以分割曝光的方式拍摄到的多个第1颜色分量图像进行对位相加，来生成相加图像；运算部件，基于由所述位移信息获取部件所获取的位移信息来运算点扩展函数；修正部件，通过使用了由所述运算部件所运算的点扩展函数的图像复原运算，来修正通过所述摄像控制部件的控制而由所述摄像部件拍摄到的第2颜色分量图像和第3颜色分量图像；和合成部件，合成由所述图像相加部件所生成的第1颜色分量的相加图像、由所述修正部件修正后的第2颜色分量图像和第3颜色分量图像。

为了实现上述目的，本发明的一个方式的摄像装置具备：摄像部件，拍摄被摄体；摄像控制部件，使所述摄像部件在摄影时的曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光进行多次拍摄，同时，对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光进行拍摄；第1修正部件，根据使用了所推定出的点扩展函数的图像复原运算，分别修正通过所述摄像控制部件的控制而由所述摄像部件拍摄到的多个第1颜色分量图像各自中存在的拍摄时的手抖动所引起的被摄体模糊；位移信息获取部件，以所述第1修正部件修正后的多个第1颜色分量图像作为对象，来获取以分割曝光的方式前后相邻地拍摄到的第1颜色分量图像之间的被摄体的位置的位移信息；图像相加部件，基于所述位移信息获取部件所获取的位移信息，将由所述第1修正部件修正后的多个第1颜色分量图像进行对位相加，来生成相加图像；运算部件，基于由所述位移信息获取部件所获取的位移信息、和在所述第1修正部件的图像复原运算的修正之际按多个第1颜色分量图像的每一个所推定的点扩展函数，来运算新点扩展函数，该新点扩展函数表示所述摄影时的第2颜色分量图像和第3颜色分量图像在曝光时间内的拍摄时的手抖动所引起的被摄体模糊的轨迹；第2修正部件，根据使用了由所述运算部件所运算的新点扩展函数的图像复原运算，来修正通过所述摄像控制部件的控制而由所述摄像部件拍摄到的第2颜色分量图像和第3颜色分量图像中所存在的拍摄时的手抖动所引起的被摄体模糊；和合成部件，合成由所述图像相加部件所生成的相加图像、由所述第2修正部件修正后的第2颜色分量图像和第3颜色分量图像。

为了实现上述目的，本发明的一个方式的手抖动修正方法包括如下步骤：使拍摄被摄体的摄像部件在摄影时的曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光进行多次拍摄，同时，对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光进行拍摄；将由所述摄像部件以分割曝光的方式拍摄到的多个第1颜色分量图像的其中之一作为基准图像，获取该基准图像以外的第1颜色分量图像各个被摄体相对于基准图像的被摄体的位置的位移信息；基于所获取的位移信息，将由所述摄像部件以分割曝光的方式拍摄到的多个第1颜色分量图像进行对位相加，来生成相加图像；基于所述位移信息来运算点扩展函数；通过使用了所运算的点扩展函数的图像复原运算，来修正所述第2颜色分量图像和第3颜色分量图像；和结合所述第1颜色分量的相加图像、所述修正后的第2颜色分量图像和第3颜色分量图像。

为了实现上述目的，本发明的一个方式的手抖动修正方法，包括如下步骤：使拍摄被摄体的摄像部件在摄影时的曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光进行多次拍摄，同时，对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光进行拍摄；根据使用了所推定的点扩展函数的图像复原运算，分别修正由所述摄像部件拍摄到的多个第1颜色分量图像各自中存在的拍摄时的手抖动所引起的被摄体模糊；以修正后的多个第1颜色分量图像作为对象，来获取以分割曝光的方式前后相邻地拍摄到的第1颜色分量图像之间的被摄体的位置的位移信息；基于所获取的按分割曝光时间的位移信息，将所述图像复原运算修正后的多个第1颜色分量图像进行对位相加，来生成相加图像；基于所述按分割曝光时间的位移信息、和在所述图像复原运算修正之际按多个第1颜色分量图像的每一个所推定的点扩展函数，来运算新点扩展函数，该新点扩展函数表示第2颜色分量图像和第3颜色分量图像在曝光时间内的拍摄时的手抖动所引起的被摄体模糊的轨迹；根据使用了所运算的新点扩展函数的图像复原运算，来修正第2颜色分量图像和第3颜色分量图像中所存在的拍摄时的手抖动所引起的被摄体模糊；和结合所述相加图像、所述图像复原运算修正后的第2颜色分量图像和第3颜色分量图像。

附图说明

图1是表示本发明所涉及的数码静态相机的电气构成的框图。

图2是表示设定了对手抖动引起的被摄体模糊进行修正的模式时的CPU的处理内容的流程图。

图3是表示了CPU进行的摄像处理的内容的流程图。

图4是表示了CPU进行的图像重构处理的内容的流程图。

图5是表示整个帧的运动矢量和PSF(Point Spread Function：点扩展函数)的说明图。

图6是表示图像重构处理的内容的说明图。

图7是表示了CPU进行的图像重构处理的内容的流程图。

图8(a)是表示按分割色的像素数据所推定的PSF(Point SpreadFunction：点扩展函数)的概念图，图8(b)是表示按分割曝光时间的运动矢量的概念图，图8(c)是表示整个帧的PSF(Point Spread Function：点扩展函数)的概念图。

图9是表示图像重构处理的内容的说明图。

具体实施方式

以下，对本发明的第1实施方式进行说明。

图1是表示本发明所涉及的数码静态相机1的电气构成的概略的框图。

数码静态相机1具有透镜块2和摄像元件3。

透镜块2包括：包含聚焦透镜的透镜组、光圈、驱动透镜组的透镜电机、对光圈进行开闭驱动的促动器。

通过光学系统驱动部4对透镜电机及促动器进行驱动，来调整焦点位置及摄像元件3的受光量。

摄像元件3是在感光面上设置有贝叶排列的滤色器的CMOS(Complementary Metal Oxide Semiconductor)传感器。

也就是说，摄像元件3是具有如下构成的固体摄像元件：能根据需要将R(Red)、G(Green)、B(Blue)的3原色的各颜色分量的像素信号按颜色分量独立地读出。

同时，在摄像元件3的一组光电变换元件(以下称为像素)中设有特定颜色的滤色器。

摄像元件3由驱动电路5驱动，对被摄体的光学像进行光电变换，向AFE(Analog Front End)6输出与变换后的光学像对应的电信号即摄像信号。

AFE6由CDS(Correlated Double Sampling)电路、PGA(ProgrammableGain Amp)、ADC(Analog-to-Digital Converter)等构成。

AFE6对摄像元件3所输出的摄像信号进行规定的模拟处理，在将模拟处理后的摄像信号变换为数字信号之后，向图像处理部7输出变换后的图像的像素数据。

图像处理部7具有将从AFE6输入的像素数据暂时记录的缓冲用的存储器7a。

被暂时记录至存储器7a的像素数据是各像素具有与滤色器的颜色排列相应的颜色分量的贝叶排列的像素数据。

另外，在上述存储器7a中，根据需要也暂时记录RGB的每颜色分量的图像的像素数据。

被暂时记录至存储器7a的RGB的每颜色分量的图像的像素数据，在由CPU8作为贝叶排列的像素数据进行结合之后，再次被暂时记录至存储器7a。

此外，存储器7a被确保了可存储多个帧的像素数据的存储容量。

图像处理部7对被暂时存储至存储器7a的图像数据(贝叶排列的像素数据)，进行适合由摄像元件3拍摄到的图像的记录的各种图像处理。

图像处理部7所进行的图像处理是伽马修正、白平衡调整、各像素的R、G、B的颜色分量数据的生成、从所生成的RGB数据生成YUV数据的YUV变换等。

另外，图像处理部7将所生成的1帧的YUV数据，在处于摄影待机状态的期间向CPU8供给，并且在摄影时向CODEC(Coder & Decoder：编码器/解码器)9供给。

在摄影待机状态下向CPU8供给的YUV数据被提供给显示部10，在显示部10中作为实时取景图像进行显示。

显示部10由显示实时取景图像等的液晶显示器和驱动液晶显示器的驱动电路等构成。

CODEC9对在摄影时从图像处理部7供给的图像数据(YUV数据)进行JPEG方式的编码，另外进行被编码的任意图像数据的解码。

虽然未图示，但是CODEC9由用于进行图像数据的编码及解码的正交变换电路、量化电路、运动检测电路、顺方向预测电路、编码电路、解码电路、逆正交变换电路、帧存储器等构成。

摄影时在CODEC9中以JPEG方式被压缩编码后的图像数据，在由CPU8附加了日期信息、图像尺寸等各种摄影信息之后，作为静止图像数据(静止图像文件)被记录至图像存储器11。

图像存储器11例如是内置于相机主体的闪存、与相机主体可装卸自如的各种存储卡。

被记录至图像存储器11的静止图像数据，在再生时由CPU8适当地读出，在CODEC9中被解码之后向显示部10送出，作为静止图像再生。

另外，CPU8连接着操作部12、RAM(Random Access memory)13、程序存储器14。

RAM13是CPU8的工作存储器。

操作部12包括：电源键、快门键、模式切换键、MENU键、方向(箭头)键等未图示的多个键。

模式切换键进行数码静态相机1的基本动作模式即摄影模式和记录图像显示用的再生模式之间的切换。

MENU键被用于摄影模式的下位模式的设定等各种设定作业。

操作部12中的各键通过CPU8随时取消操作状态。

快门键是具有可进行半按下操作和全按下操作的2个阶段操作的所谓的半快门功能的构成。

快门键的半按下操作被用于AE(Auto Exposure)动作及AF(AutoFocus)动作的开始指示等，快门键的全按下操作被用于摄影指示。

程序存储器14例如存储在可重写存储数据的EEPROM(ElectricErasable Programmable Read Only Memory)即闪存中。

在程序存储器14中存储了用于使CPU8控制数码静态相机1的整体动作的控制程序和各种数据。

在被存储至程序存储器14的控制程序中，包含用于使CPU8进行AE控制、AF控制、AWB(Auto white balance)控制的程序。

另外，在被存储至程序存储器14的各种数据中，包含构成如下程序线图的程序AE数据等，该程序线图表示与摄影时的适当曝光相应的光圈值和快门速度的组合。

CPU8根据程序存储器14所存储的控制程序将RAM13作为作业存储器工作，来控制数码静态相机1的各部。

另外，在设定了后述的对手抖动引起的被摄体模糊进行修正的模式时，CPU8发挥本发明的摄像控制部件、位移信息获取部件、图像相加部件、运算部件、修正部件、合成部件、颜色信息获取部件、设定部件、判断部件的作用。

下面，对由以上结构构成的数码静态相机1的本发明所涉及的动作进行说明。

在数码静态相机1中，作为摄影模式的下位模式设有对手抖动引起的被摄体模糊进行修正的模式。

对手抖动引起的被摄体模糊进行修正的模式为：以摄影时的手抖动引起的摄影图像中的被摄体模糊的降低为目的，在数码静态相机1中预先准备的摄影模式。

在数码静态相机1中，在设定了摄影模式的期间，CPU8以规定的帧速率驱动摄像元件3。

CPU8将由摄像元件3拍摄到的被摄体的图像作为实时取景图像依次显示到显示部10上。

图2是表示了在已设定对手抖动引起的被摄体模糊进行修正的模式时，CPU8按程序存储器14所存储的控制程序执行的处理的内容的流程图。

CPU8在显示部10显示取景图像的期间，依次检测用户进行的快门键的半按下操作的有无。

CPU8若检测到快门键的半按下操作(步骤S1：是)，则通过AE控制来确定摄影时的光圈值及曝光时间(快门速度)(步骤S2)。

进而，CPU8通过AF控制，进行向主要被摄体的对焦(步骤S3)。

其中，CPU8进行的AF控制是公知的对比度检测方式。

然后，CPU8测定白平衡(步骤S4)。

白平衡的测定为如下处理：基于例如在快门键被半按下操作之前刚刚由摄像元件3拍摄到的被摄体的图像数据中的颜色分量信息(RGB值)，获取表示按颜色温度的像素数的分布状态的光分布数据。

接着，CPU8基于通过白平衡测定获取的光分布数据，判断当前光源的种类(步骤S5)。

CPU8判断光源的种类是太阳光、荧光灯、灯泡(白炽灯)这三种中的哪一种。

在CPU8判断出光源的种类为太阳光的情况下(步骤S5：“太阳光”)，将分割色设定为“RGB”(所有颜色分量)(步骤S6)。

另外，在CPU8判断出光源的种类为荧光灯的情况下(步骤S5：“荧光灯”)，将分割色设定为“Green”(步骤S7)。

另外，在CPU8判断出光源的种类为灯泡(白炽灯)的情况下(步骤S5：“灯泡”)，将分割色设定为“Red”(步骤S8)。

CPU8在步骤S7及步骤S8的处理中所设定的分割色，在后述的摄像处理中是应该由摄像元件3通过分割曝光读出像素信号的特定的颜色分量，对应于本发明的第1颜色分量。

另外，CPU8不仅在分割色的设定处理中使用步骤S5中判断出的光源的种类，还在基于AWB控制的白平衡调整中使用。

即，CPU8使图像处理部7进行与在步骤S5中判断出的光源的种类相应的白平衡调整。

接着，CPU8计算所设定的分割色的分割条件(步骤S9)。

分割条件是在后述的摄像处理之际，通过分割曝光读出在步骤S6～步骤S8的处理中设定的分割色的像素信号时，分配有分割色的一组像素(光电变换元件)的分割次数。

在步骤S9的处理中，CPU8通过将步骤S2的AE控制所确定的曝光时间除以分割次数(曝光次数)，求出一次的曝光时间。

然后，CPU8检测快门键的全按下的有无，如果未能检测到快门键的全按下(步骤S10：否)，则进一步检测快门键的半按下是否已解除(步骤S11)。

并且，在CPU8检测出快门键的半按下解除时(步骤S11：是)，返回步骤S1的处理，反复执行步骤S1以后的上述处理。

另一方面，当CPU8检测出快门键的全按下(步骤S10：是)时，立即执行摄像处理(步骤S12)。

图3是表示了CPU8进行的摄像处理的内容的流程图。

在摄像处理中，CPU8使驱动电路5生成与之前设定的分割色以及在步骤S9的处理中计算出的分割条件相对应的规定的驱动信号，来驱动摄像元件3，由此执行以下处理。

如图3所示，CPU8在分割色为“RGB”而不是“Green”或“Red”时(步骤S101：否)，复位(reset)摄像元件3的所有像素的蓄积电荷(像素电荷)(步骤S102)。

然后，执行步骤S103～步骤S106的循环处理，直至循环计数器i达到预先确定的分割次数N为止。

在上述循环处理中，CPU8针对摄像元件3的所有像素反复执行步骤S9中计算出的分割曝光时间的曝光(步骤S104)、分割曝光后的像素数据的读出以及像素电荷的复位(步骤S105)。

由此，CPU8将与分割次数N相等的分割色像素的像素数据暂时存储至图像处理部7的存储器7a。

在此，被暂时存储至存储器7a的分割色像素的像素数据是由RGB所有颜色分量组成的贝叶排列的像素数据。

随后，CPU8在上述循环处理结束的时刻结束摄像处理，返回至图2的处理。

另一方面，CPU8在分割色为“Green”或“Red”时(步骤S101：是)，复位摄像元件3的所有像素的蓄积电荷(像素电荷)(步骤S107)。

然后，执行步骤S108～步骤S111的循环处理，直至循环计数器i达到预先确定的分割次数N为止。

在上述循环处理中，CPU8针对摄像元件3的分配有分割色的一组像素，执行步骤S9计算出的分割曝光时间的曝光(步骤S109)、分割曝光后的像素数据的读出以及像素电荷的复位(步骤S110)。

另外，CPU8与上述的循环处理并行地，针对摄像元件3中的分配有分割色以外的非分割色的一组像素，执行由AE控制所设定的曝光时间的一并曝光(在图中被省略)。

随后，在上述循环处理结束之后，执行非分割色的像素数据的读出(步骤S112)。

分割色以外的非分割色是对应于本发明的第2颜色分量的颜色。

由此，CPU8使图像处理部7的存储器7a暂时存储：通过分割曝光拍摄到的与分割次数N相等的数目的分割色像素的像素数据、通过一并曝光拍摄到的分别由非分割色的颜色分量构成的2种非分割色的像素数据。

即，CPU8在将分割色设定为“Green”时，由G分量构成的多个分割色的像素数据、由R分量构成的非分割色的像素数据、和由B分量构成的非分割色的像素数据被暂时存储至存储器7a。

另外，CPU8在将分割色设定为“Red”时，由R分量构成的多个分割色的像素数据、由G分量构成的非分割色的像素数据、和由B分量构成的非分割色的像素数据被暂时存储至存储器7a。

随后，CPU8在2种非分割色像素数据的读出处理结束的时刻结束摄像处理，返回至图2的处理。

在以上的摄像处理结束之后，CPU8执行对图像处理部7的存储器7a暂时存储的各像素数据进行重构的处理(步骤S13)。

图4是表示了CPU8进行的重构各像素数据的处理的内容的流程图。

此外，CPU8在设定分割色之际，基于白平衡测定(步骤S4)判断光源的种类来进行了设定，但也可仅根据颜色分量信息(RGB值)进行设定，将该图像的RGB值大的支配性颜色作为分割色。

在图像重构处理中，CPU8首先执行步骤S201～步骤S204的循环处理。

该循环处理是将循环计数器i的初始值设为“2”，直至循环计数器i达到预先确定的分割次数N为止执行的处理。

在上述循环处理中，CPU8首先以多张分割色的像素数据作为对象，提取第1张的分割色的像素数据和第i张(第2张以后)的分割色的像素数据中的相互对应的多个特征点(步骤S202)。

此外，成为处理对象的多个分割色的像素数据如前述，如果分割色为“RGB”则为贝叶排列的像素数据，另外，如果分割色为“Green”或“Red”，则为仅由G分量或仅由R分量的颜色分量构成的像素数据。

此外，CPU8计算第1张的分割色的像素数据和第i张的分割色的像素数据的叠加所需的几何变换参数，并将计算出的几何变换参数存储至RAM13(步骤S203)。

几何变换参数是表示被摄体的位移的位移信息，该位移以第1张的分割色的像素数据为基准，由第i张的分割色的像素数据所表现。

几何变换参数，具体地说，是使第i张的分割色的像素数据中的多个特征点的坐标位置与第1张的分割色的像素数据中对应的多个特征点的坐标位置相一致的几何变换(坐标变换)所需的行列式。

此外，CPU8例如利用基于公知的梯度法的光流(optical flow)推定来进行几何变换参数的计算。

CPU8在结束了上述循环处理之后，将第1张的分割色的像素数据设定为后述的步骤S208的相加处理的基础数据，并存储至RAM13(步骤S205)。

接着，CPU8执行步骤S206～步骤S209的新循环处理。

上述循环处理也是将循环计数器i的初始值设为“2”，直至循环计数器i达到预先确定的分割次数N为止所进行的处理。

在上述循环处理中，CPU8首先利用在步骤S203中存储的几何变换参数，对第i张(第2张以后)的分割曝光的像素数据，执行用于叠加于第1张的分割色的像素数据的几何变换(步骤S207)。

然后，CPU8将几何变换后的第i张(2张以后)的分割色的像素数据加到RAM13中存储的基础数据上，来更新基础数据(步骤S208)。

通过上述的循环处理，多个分割色的像素数据依次被修正由分割色的像素数据所表现的被摄体的位置偏移后进行相加，相加后的相加图像的像素数据被存储至RAM13。

也就是说，通过与作为本发明的背景技术说明的连拍图像的叠加合成方法相同的方法，将多个分割色的像素数据合成，由此生成降低了在曝光时间内的手抖动引起的被摄体模糊的新的分割色的像素数据。

随后，CPU8在分割色为“RGB”的情况下(步骤S210：否)，在该时刻结束图像重构处理。

另一方面，CPU8在分割色为“Green”或“Red”的情况下(步骤S210：是)，继续进行以下处理。

首先，CPU8基于在步骤S203的处理中计算出的几何变换参数，来计算整个帧的运动矢量(步骤S211)。

整个帧的运动矢量是表示曝光时间内的手抖动的轨迹的运动矢量。

在本实施方式中，假定曝光期间内的手抖动为平行移动、没有产生大的转动，来计算整个帧的运动矢量。

然后，CPU8根据计算出的整个帧的运动矢量获取PSF(Point SpreadFunction：点扩展函数)(步骤S212)。

在此，利用图5，对上述整个帧的运动矢量和PSF的详细情形进行说明。

图5(a)是在假定曝光次数为6次的情况下例示了像素空间中的各个分割色的像素数据的平行移动位置f(1)～f(6)的图。

图5(b)是表示了通过对各个平行移动位置f(1)～f(6)进行插值而得到的曲线A(图中的虚线)的图。

图5(b)所示的曲线A是手抖动的轨迹，在步骤S211的处理中，CPU8将表示该曲线A的运动矢量作为整个帧的运动矢量来计算。

另一方面，图5(b)中划分曲线A的线段为：在各分割色的像素数据的平行移动位置的中点划分曲线A，使各平行移动位置f(1)～f(6)与曝光时间对应起来。

图5(c)表示以沿上述曲线A的权重(h轴)的线积分在各曝光时间内为均等的面积的方式、或者以总和为1的方式赋予权重(对于各曝光时间，将1除以帧数和各曝光时间的路长后得到的值作为权重)。

对各平行移动位置f(1)～f(6)的坐标(x，y)定义的权重h(2)～h(5)为PSF。

另外，图5(d)是表示各权重h(2)～h(5)为平滑的连续值这样的PSF(图中的粗线)的图，在步骤S212的处理中，CPU8运算该PSF。

此外，在图5(c)、图5(d)中，为了方便，示出了除去最初和最终的分割色的像素数据来获取PSF的情况，但是在步骤S212的处理中，CPU8使用所有分割色的像素数据来运算PSF。

即，CPU8在PSF的运算之际，通过将曲线A从两端点外推半帧份(例如，在与相邻的运动矢量相同方向上，以与相邻中点相同的长度将两端延长)，从而使用所有分割色的像素数据来运算PSF。

并且，在获取到上述的PSF之后，CPU8以2种非分割色的像素数据作为对象，实施将所获取到的PSF用作二维卷积核的解卷积处理(步骤S213)。

解卷积处理是通过使用了PSF的逆卷积运算(基于PSF的逆函数进行的卷积运算)，来降低非分割色的像素数据产生的在曝光时间内的手抖动引起的被摄体模糊的修正处理。

然后，CPU8将解卷积处理后的2种非分割色的像素数据和通过步骤S206～步骤S209的循环处理而存储在RAM13中的分割色的相加图像的像素数据相结合(步骤S214)。

由此，CPU8在RAM13内生成由RGB所有颜色分量构成的贝叶排列的像素数据，结束图像重构处理。

图6是表示上述的图像重构处理的概略的说明图，是示出分割色为“Green”情况下的例子的图。

如图6所示，在分割色为“Green”的情况下，仅由G分量构成的多个分割色的像素数据501，基于针对第2张以后的分割色的像素数据所检测出的几何变换参数，被相加为单一分割色的像素数据501a。

另一方面，仅由R分量构成的非分割色的像素数据502和仅由B分量构成的非分割色的像素数据503，被修正成使用基于几何变换参数所获取的PSF而被摄体模糊被降低的状态的新分割色的像素数据502a、503a。

然后，相加后的单一的分割色的像素数据501a和修正后的新分割色的像素数据502a、503a，被结合成与由RGB所有颜色分量构成的贝叶排列的像素数据同样的像素数据504。

而后，CPU8结束以上的图像重构处理并返回到图2的处理，生成记录用的图像数据(步骤S14)。

在步骤S14的处理中，CPU8向图像处理部7供给在此时RAM13所存储的贝叶排列的像素数据，将该像素数据作为对象，使图像处理部7进行各种图像处理。

然后，CPU8通过CODEC9对记录用的图像数据进行压缩，并将压缩后的图像数据作为静止图像文件保存至图像存储器11(步骤S15)。

如上所述，在本实施方式的数码静态相机1中，在作为摄影模式而设定了手抖动修正模式时，CPU8通过执行前述的处理，能够降低摄影图像中产生的手抖动引起的被摄体模糊。

以下，对本发明的第2实施方式进行说明。

由于表示本发明所涉及的数码静态相机1的电气构成的概略的框图即图1、表示设定了手抖动修正模式时的CPU的处理内容的流程图即图2、表示了CPU进行的摄像处理的内容的流程图即图3的说明，与第1实施例相同，故省略说明。

此外，CPU8在设定了后述的手抖动修正模式时，发挥本发明的摄像控制部件、第1修正部件、位移信息获取部件、图像相加部件、运算部件、第2修正部件、合成部件、颜色信息获取部件、设定部件、判断部件的功能。

图7是表示了CPU8进行的图像重构处理的内容的流程图。

此外，设定分割色之际，在基于白平衡测定(步骤S4)判断光源的种类之后进行了设定，但也可仅根据颜色分量信息(RGB)进行设定，将该图像的RGB值大的支配色作为分割色。

在图像重构处理中，CPU8首先执行步骤S301～步骤S304的循环处理。

该循环处理是进行到循环计数器i达到预先确定的分割次数N的处理。

在上述循环处理中，CPU8将多张分割色的像素数据作为对象，首先对第i张的分割色的像素数据实施盲解卷积(blind deconvolution)处理(步骤S302)。

此外，成为处理对象的多个分割色的像素数据如前述，如果分割色为“RGB”则为贝叶排列的像素数据，另外，如果分割色为“Green”或“Red”则为仅由G分量或仅由R分量的颜色分量构成的像素数据。

盲解卷积处理推定表示第i张的分割色的像素所包含的被摄体模糊的PSF(Point Spread Function：点扩展函数)。

并且，盲解卷积处理是进行使用了所推定的PSF的逆卷积运算(基于PSF的逆函数的卷积运算)、即解卷积的处理。

通过该处理，CPU8降低(修正)第i张的分割色的像素数据产生的分割曝光时间内的手抖动引起的被摄体模糊。

盲解卷积处理的具体方法，能适用任意方法，例如也能适用″Removing camera shake from a single photograph″(R.Fergus等，ACMSIGGRAPH，2006)所公开的方法。

随后，CPU8将在盲解卷积处理之际推定出的与第i张的分割色的像素数据相关的PSF，存储至RAM13(步骤S303)。

图8(a)是示意性表示通过步骤S201～步骤S204的循环处理而存储至RAM13中的、按分割色的像素数据的PSF(1)～PSF(4)的概念图，是例示了分割次数为4次时的例子的图。

其中，在图8(a)中黑点所示的点是PSF(1)～PSF(4)的原点位置。

在结束了上述的循环处理之后，CPU8继续执行步骤S305～步骤S308的下一循环处理。

该循环处理是将循环计数器i的初始值设为“2”，直至循环计数器i达到预先确定的分割次数N为止所执行的处理。

在该循环处理中，CPU8以多张分割色的像素数据作为对象，首先提取第(i-1)张的分割色的像素数据和第i张(第2张以后)的分割色的像素数据中的相互对应的多个特征点(步骤S306)。

接着，CPU8通过所提取的特征点的追踪来计算运动矢量，并存储至RAM13(步骤S307)。

运动矢量是位移信息，表示通过分割曝光而前后相邻拍摄到的分割色的像素数据之间按分割曝光时间的被摄体的位移。

在步骤S307的处理中，CPU8在假定没有产生大的转动的情况下计算第i张中的分割色的像素数据整体的运动矢量。

此外，在计算运动矢量之际，既可以以规定块为单位进行特征点的追踪，也可以以特征点附近的块为单位进行特征点的追踪。

此外，在计算运动矢量之际，倘若容许精度下降，则也可对每个分割色的像素数据仅追踪单一特征点。

在以块为单位进行特征点追踪的情况下，用中值或RANSAC等来推定运动矢量、即作为分割色的像素数据的平行移动量。

图8(b)是示意性表示通过上述的循环处理而被存储至RAM13中的、按分割曝光时间的运动矢量V(1)～V(3)的概念图，是与图8(a)对应的图。

即，运动矢量V(1)表示第1张的分割色的像素数据和第2张的分割色的像素数据之间的平行移动。

另外，运动矢量V(2)表示第2张的分割色的像素数据和第3张的分割色的像素数据之间的平行移动。

另外，运动矢量V(3)表示第3张的分割色的像素数据和第4张的分割色的像素数据之间的平行移动。

然后，CPU8结束步骤S305～步骤S308的循环处理。

而后，将第1张的分割色的像素数据设定为后述的步骤S312的相加处理的基础数据，并存储至RAM13(步骤S309)。

接着，CPU8执行步骤S310～步骤S313的新循环处理。

该处理也是将循环计数器i的初始值设为“2”，进行到循环计数器i达到预先确定的分割次数N为止的处理。

在该循环处理中，CPU8首先利用在步骤S307中存储的按分割曝光时间的运动矢量，执行用于将第i张(第2张以后)的分割曝光像素数据叠加于基础数据的坐标变换(步骤S311)。

然后，CPU8将坐标变换后的第i张(第2张以后)的分割色的像素数据加到RAM13所存储的基础数据上，来更新基础数据(步骤S312)。

通过上述的循环处理，多个分割色的像素数据依次被修正由分割色的像素数据表现的被摄体的位置偏移后被相加，相加后的相加像素数据被存储至RAM13。

也就是说，通过与作为本发明的背景技术已说明的连拍图像的叠加合成方法相同的方法，对多个分割色的像素数据进行合成。

由此，生成曝光时间内的手抖动引起的被摄体模糊被降低的新的分割色的像素数据。

随后，CPU8在分割色为“RGB”的情况下(步骤S314：否)，在该时刻结束图像重构处理。

另一方面，CPU8在分割色为“Green”或“Red”的情况下(步骤S314：是)，继续进行以下处理。

首先，CPU8通过将之前在盲解卷积处理时推定出的各分割色的像素数据的PSF进行连结，来获取整个帧的PSF(步骤S315)。

在此，整个帧的PSF是表示在曝光时间内的被摄体模糊的轨迹的新PSF。

在步骤S315的处理中，CPU8按照在步骤S307的处理中获取的按分割时间的运动矢量，通过平行移动来对各分割色的像素数据的PSF进行连结。

图8(c)是示意性表示新PSF(1-4)的概念图，是与图8(a)、图8(b)对应且用虚线表示了按分割时间的运动矢量V(1)～V(3)的图。

随后，在获取整个帧的PSF之后，CPU8以2种非分割色的像素数据作为对象，实施将所获取的PSF用作二维卷积核的解卷积处理(步骤S316)。

根据该处理，CPU8降低(修正)2种非分割色的像素数据中产生的在曝光时间内的手抖动引起的被摄体模糊。

然后，CPU8将解卷积处理后的2种非分割色的像素数据和通过步骤S310～步骤S313的循环处理而存储到RAM13中的分割色的相加像素数据相结合(步骤S317)。

由此，CPU8在RAM13内生成由RGB所有颜色分量构成的像素数据、即贝叶排列的像素数据，结束图像重构处理。

图9是表示上述的图像重构处理的概略的说明图，是表示了分割色为“Green”情况下的例子的图。

如图9所示，在分割色为“Green”的情况下，仅由G分量构成的多个分割色的像素数据601，各自存在的被摄体模糊分别通过盲解卷积被修正。

随后，修正后的新的多个分割色的像素数据601a，基于针对第2张以后的分割色的像素数据而检测出的按分割时间的运动矢量，被相加为单一的分割色的像素数据601b。

另一方面，进行仅由G分量构成的多个分割色的像素数据601的基于盲解卷积的修正时分别推定出的PSF，基于按分割时间的运动矢量，被综合为表示曝光时间内的被摄体模糊的轨迹的整体的PSF。

随后，仅由R分量构成的非分割色的像素数据602和仅由B分量构成的非分割色的像素数据603，通过使用了整体PSF的解卷积，被分别修正成降低了被摄体模糊的状态的新非分割色的像素数据602a、603a。

然后，相加后的单一的分割色的像素数据601b和修正后的新非分割色的像素数据602a、603a，被结合成由RGB所有颜色分量构成的贝叶排列的像素数据604。

随后，CPU8结束以上的图像重构处理并返回到图2的处理，生成记录用的图像数据(步骤S14)。

随后，CPU8通过CODEC9对记录用的图像数据进行压缩，并将压缩后的图像数据作为静止图像文件保存至图像存储器11(步骤S15)。

而且，在数码静态相机1中，在通过解卷积分别降低了多个分割色的像素数据的每一个中的被摄体模糊之后，通过使用基于修正后的像素数据所获取的运动矢量，将修正后的多张分割色的像素数据高精度地对位并相加。

因此，即便在被摄体的光量不充分且摄影时的曝光时间长的情况下、即在分割曝光时间长的情况下，最终获得的分割色的像素数据也会成为没有被摄体模糊的极良好的状态的像素数据。

同时，在数码静态相机1中，在通过解卷积降低非分割色的像素数据中的被摄体模糊之际，作为PSF，使用将通过针对各个分割色的像素数据的盲解卷积推定出的PSF综合之后的整个帧的PSF。

因此，能够可靠地降低非分割色的像素数据中的被摄体模糊。这是由于：关于各个分割色的像素数据的PSF是表示分割曝光时间这样的短时间内的被摄体模糊的轨迹的PSF，整个帧的PSF比较简单(接近直线，表示连结性高的轨迹)。

基于上述情况，在静态数码相机1中，即便在被摄体的光量不充分且摄影时的曝光时间长的情况下，作为最终的图像数据，也能够获取没有被摄体模糊的极良好的像素数据。由此，能够同时实现较暗部分的画质提高和高精度的手抖动修正。

另外，在本实施方式中采用了如下构成：在摄影时判断出的光源的种类为荧光灯的情况下，将非分割色设定为“Green”，并且，在摄影时判断出的光源的种类为荧光灯的情况下，将非分割色设定为“Red”。

即，采用了将非分割色设定为在被摄体的颜色分布中处于支配低位的颜色这样的构成。

因此，能够更高精度地进行以分割曝光方式获取的多个像素数据相加时的对位，同时，能够基于由像素数据表现的被摄体中不存在模糊的像素数据，高精度地修正(复原)非分割色的像素数据。

其结果，不会受到被摄体颜色的左右，能够以稳定的精度降低摄影图像中产生的手抖动引起的被摄体模糊。

此外，针对非分割色，基于摄影时所判断的白平衡控制下用到的颜色信息(分光分布数据)来设定分割色，由此能够简化摄影时分割色的设定所需的处理。

此外，在本实施方式中采用了如下构成：在摄影时判断出的光源的种类为太阳光的情况下，通过将分割色设定为RGB所有颜色分量，来进行基于与现有的连拍图像的叠加合成方法相同的方法的信号处理。

可是，在所述数码静态相机1中，针对摄影时判断出的光源的种类为太阳光的情况，也能够采用实施本发明的方法的构成。

这种情况下，作为分割色，只要设定预先确定的特定的颜色分量即可。

作为特定的颜色分量，例如考虑对亮度信号的贡献的比例大的G分量。

另外，在本实施方式中，说明了不是具备机械快门而是由所谓的电子快门来确保摄影时的曝光时间的构成的数码静态相机1。

可是，在所述数码静态相机1中，虽然未图示，但也可设置机械快门。

在设置机械快门的情况下，例如能够采用如下构成：在上述的分割曝光的读出期间关闭快门，来读出摄像元件3所具有的所有颜色分量的像素的像素信号。

另外，在本实施方式中，作为摄像元件3，说明了在感光面上呈贝叶排列的R分量、G分量、B分量的3种像素数据的情况。

可是，在摄像元件3的感光面上设置的滤色器也可以是贝叶排列以外的颜色排列。

另外，滤色器并不限于原色过滤器排列，也可以是补色过滤器排列，进而也可以是对RGB附加了W(White)、即附加了非彩色滤色器的透过色的变形式贝叶排列。

此外，在滤色器为变形式贝叶排列的情况下，优选将分割色(第1颜色分量)设为灵敏度最高的W，将非分割色(第2颜色分量)设为R、G、B。

另外，在本实施方式中，说明了摄像元件3为单板式CMOS传感器的情况。

可是，在实施本发明之际，只要是能够按颜色分量独立地进行像素信号的读出及复位(快门)的构成，则能使用任意的摄像元件。

此外，像素信号的读出方式既可以如本实施方式一样破坏读出，也可以是非破坏读出。

因此，在实施本发明之际，例如能够使用包括G用、RB用的2个摄像元件的双板式图像传感器、包括G用、R用、B用的2个摄像元件的三板式图像传感器、三层式CMOS传感器(所谓的FOVEON方式的CMOS传感器)等的摄像元件。

另外，在本实施方式中，虽然采用了CPU8进行前述的图像重构处理的构成，但前述的图像重构处理例如也可采用在图像处理部7的内部或图像处理部7的前段设置专用的信号处理部，由该信号处理部执行图像重构处理的构成。

另外，本发明并不限于在本实施方式中说明过的数码静态相机，例如也能适用于数码摄像机、内置于便携电话终端等便携式的任意电子设备的摄像头等。

Claims

1.一种摄像装置，具备拍摄被摄体的摄像部件，用于对手抖动进行修正，所述摄像装置的特征在于，具备：

摄像控制部件，其使所述摄像部件在摄影时的同一曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光来进行多次拍摄，并且对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光来进行拍摄；

位移信息获取部件，其将多个第1颜色分量的分割曝光后的图像之一作为基准图像，获取其他分割曝光后的被摄体相对于该基准图像的被摄体的位移信息；

图像相加部件，其基于所述位移信息获取部件所获取的位移信息，将以所述分割曝光的方式拍摄到的多个第1颜色分量图像进行对位后相加，从而生成相加图像；

运算部件，其基于由所述位移信息获取部件所获取的位移信息来运算点扩展函数；

修正部件，其通过使用了由所述运算部件运算出的点扩展函数的图像复原运算，对以一并曝光的方式拍摄到的第2颜色分量图像和第3颜色分量图像进行修正；和

合成部件，其将由所述图像相加部件生成的第1颜色分量的相加图像、由所述修正部件修正后的第2颜色分量图像和第3颜色分量图像进行合成。

2.根据权利要求1所述的摄像装置，其特征在于，

该摄像装置还具备第2修正部件，该第2修正部件推定所述多个第1颜色分量的分割曝光后的图像的每一个中存在的拍摄时的手抖动所引起的被摄体模糊的点扩展函数，通过使用了该推定的点扩展函数的图像复原运算分别进行修正，

所述运算部件基于由所述位移信息获取部件所获取的位移信息、以及由所述第2修正部件的图像复原运算进行修正时按多个第1颜色分量图像的每一个推定出的点扩展函数，来运算新点扩展函数，该新点扩展函数表示所述摄影时的第2颜色分量图像和第3颜色分量图像在曝光时间内的拍摄时的手抖动所引起的被摄体模糊的轨迹。

3.根据权利要求1所述的摄像装置，其特征在于，还具备：

颜色信息获取部件，其获取被摄体的颜色信息；和

设定部件，其基于由所述颜色信息获取部件所获取的颜色信息，选择性地将特定的颜色分量设定为所述第1颜色分量；

所述摄像控制部件使所述摄像部件在摄影时的同一曝光时间内，仅对由所述设定部件设定的第1颜色分量图像通过分割曝光来进行多次拍摄。

4.根据权利要求3所述的摄像装置，其特征在于，

该摄像装置还具备判断部件，该判断部件基于由所述颜色信息获取部件所获取的颜色信息来判断摄影环境下的光源的种类，

所述设定部件与由所述判断部件判断出的光源的种类对应地将预先确定的特定的颜色分量设定为所述第1颜色分量。

5.根据权利要求3所述的摄像装置，其特征在于，

所述设定部件基于由所述颜色信息获取部件所获取的颜色信息，以在被摄体的颜色分布中处于支配地位作为设定条件，选择性地将特定的颜色分量设定为所述第1颜色分量。

6.根据权利要求1所述的摄像装置，其特征在于，

所述摄像部件是单板式的固体摄像元件，

所述摄像控制部件在摄影时的同一曝光时间内，使所述固体摄像元件中被分配了所述第1颜色分量的一组光电变换元件通过分割曝光来多次拍摄所述第1颜色分量图像，并且使所述摄像部件中被分配了第1颜色分量以外的其他颜色分量的一组光电变换元件通过一并曝光来拍摄所述第2颜色分量图像和第3颜色分量图像。

7.一种手抖动修正方法，用于对摄像装置的手抖动进行修正，该摄像装置具备拍摄被摄体的摄像部件，所述手抖动修正方法的特征在于，包括：

使拍摄被摄体的所述摄像部件在摄影时的同一曝光时间内，仅对由第1颜色分量构成的第1颜色分量图像通过分割曝光来进行多次拍摄，并且对由所述第1颜色分量以外的其他颜色分量构成的第2颜色分量图像和第3颜色分量图像通过一并曝光来进行拍摄的步骤；

将多个第1颜色分量的分割曝光后的图像之一作为基准图像，获取其他分割曝光后的图像相对于该基准图像的被摄体的位移信息的步骤；

基于所获取的位移信息，将以所述分割曝光的方式拍摄到的多个第1颜色分量图像进行对位后相加，从而生成相加图像的步骤；

基于所述位移信息来运算点扩展函数的步骤；

通过使用了运算出的点扩展函数的图像复原运算，对以一并曝光的方式拍摄到的第2颜色分量图像和第3颜色分量图像进行修正的步骤；和

将所述第1颜色分量的相加图像、所述修正后的第2颜色分量图像和第3颜色分量图像进行结合的步骤。