CN102655564A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本发明提供了一种图像处理设备、图像处理方法以及程序。其中，该图像处理设备包括：重叠处理单元，其对连续拍摄的多个图像执行混合处理。重叠处理单元包括：运动对象检测单元、混合处理单元以及噪声降低处理单元。运动对象检测单元检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息。混合处理单元基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像。噪声降低处理单元基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

Description

图像处理设备、图像处理方法以及程序

技术领域

本公开涉及一种图像处理设备、图像处理方法以及程序。特别地，本公开涉及如下图像处理设备、图像处理方法以及程序：其执行用于降低图像的噪声和提高图像的分辨率的处理。

背景技术

当对图像执行图像处理时，例如执行诸如噪声降低(NR)处理、基于低分率图像来生成高分辨率图像的例如被称作超分辨率(SR)处理的高分辨率处理等时，图像处理应用于包括相同对象并且是连续拍摄的多个图像。同时，公开了图像处理技术(诸如使用多个图像的噪声降低)的现有技术包括例如日本未审查专利申请公布第2009-194700号和日本未审查专利申请公布第2009-290827号。

日本未审查专利申请公布第2009-194700号公开了如下成像设备：该成像设备通过参照图像之间的运动信息而叠加多个图像来实现噪声降低。特别地，日本未审查专利申请公布第2009-194700号公开了如下一种方法：该方法在存在要相加的少量图像的部分中消除剩余噪声。详细地，执行基于相加的程度来改变噪声消除滤波器的特性的处理。该处理被配置成为每个像素存储相加数，在相加终止之后基于相加数来进行去心设置(coringsetting)，并且随后消除高频颜色噪声。然而，问题在于，需要为每个像素记录相加数的存储区域，并且因为需要根据相加数来准备去心设置，因此存储区域的电路尺寸随着相加数和像素数的增大而增大。此外，在上述相加终止之后执行的噪声消除处理具有如下的电路尺寸问题：当消除低频颜色噪声时，需要具有大量抽头的滤波器。

当执行噪声降低处理或高分辨率处理时，使用大量图像来有效地实现噪声降低和高分辨率。因此，对于生成高质量图像的设备需要存储大量图像的存储器。

然而，包括在图像处理设备中的大量图像储存存储器导致大尺寸硬件和高生产成本。因此，存在如下问题：在高度要求减少其尺寸和成本的成像设备中难以包括这样多个存储器。

此外，当在图像中出现运动对象(即，运动对象区域)时，存在如下问题：即使多个图像重叠，噪声降低效果也很小，并且相反，噪声增大。

发明内容

因此，期望提供如下一种图像处理设备、图像处理方法以及程序：其使用简化的硬件配置，由此能够通过使用多个图像执行重叠处理来实现噪声降低处理和高分辨率处理。

此外，期望提供如下一种图像处理设备、图像处理方法以及程序：其使用对估计为运动对象的区域执行例如应用了低通滤波器(LPF)的噪声降低处理的配置，由此能够在运动对象区域中生成具有较少噪声的图像。

根据本公开的第一实施例，一种图像处理设备包括对连续拍摄的多个图像执行混合处理的重叠处理单元。重叠处理单元包括：运动对象检测单元，其检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理单元，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像；以及噪声降低处理单元，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

此外，在根据本公开的第一实施例的图像处理设备中，噪声降低处理单元可执行应用了低通滤波器的像素值更新处理。

此外，在根据本公开的第一实施例的图像处理设备中，噪声降低处理单元可执行像素值更新处理，在该像素值更新处理中，应用具有取决于运动对象信息的系数的低通滤波器，该运动对象信息使得能够在运动对象区域中获得更高的噪声降低效果。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可包括：全局运动向量(GMV)计算单元，其计算连续拍摄的多个图像的全局运动向量(GMV)；以及位置调整处理单元，其通过基于GMV将参考图像的对象位置调整到基准图像的位置来生成运动补偿图像。运动对象检测单元可基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，获得运动对象信息。混合处理单元可通过根据基于运动对象信息的混合比率来对基准图像和运动补偿图像进行混合，以生成重叠图像。

此外，在根据本公开的第一实施例的图像处理设备中，运动对象检测单元可基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，计算表示运动对象信息的值α作为以像素为单位的运动对象信息。混合处理单元可基于值α来执行如下混合处理：针对具有高概率成为运动对象的像素将运动补偿图像的混合比率设置为低值，而针对具有低概率成为运动对象的像素将运动补偿图像的混合比率设置为高值。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可包括对处理目标图像执行高分辨率处理的高分辨率处理单元，并且混合处理单元可对使用高分辨率处理单元的经高分辨率处理的图像进行重叠。

此外，在根据本公开的第一实施例的图像处理设备中，图像处理设备还可包括存储图像的GMV的GMV记录单元，GMV是GMV计算单元基于RAW图像而算出的；其中，重叠处理单元使用存储在GMV记录单元中的GMV，对用作处理目标的全色图像执行重叠处理。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可被配置成通过选择性地将RAW图像或全色图像的亮度信号信息输入作为处理目标图像来执行重叠处理，并且可被配置成通过顺序更新存储在存储两个图像帧的存储器中的数据来执行使得能够执行任意数量的图像重叠的处理。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可执行将执行了重叠处理之后获得的图像重写和存储在存储器的一部分中的处理，并且使用存储在相对应的存储器中的重叠处理的图像用于随后的重叠处理。

此外，在根据本公开的第一实施例的图像处理设备中，重叠处理单元可在RAW图像用作处理目标时，将与RAW图像的每个像素相对应的像素值数据存储在存储器中，并且可基于与RAW图像的每个像素相对应的像素值数据来执行重叠处理。此外，重叠处理单元可在全色图像用作处理目标时，将与每个像素相对应的亮度值数据存储在存储器中，并且可基于与全色图像的每个像素相对应的亮度值数据来执行重叠处理。

此外，根据本公开的第二实施例，通过图像处理设备执行图像处理方法，并且该图像处理方法包括使用重叠处理单元来对连续拍摄的多个图像执行混合处理。执行混合处理可包括：运动对象检测处理，其检测图像中的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像；以及噪声降低处理，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

此外，根据本公开的第三实施例，一种程序使得图像处理设备执行图像处理，并且该程序使得重叠处理单元对连续拍摄的多个图像执行混合处理。执行混合处理可包括：运动对象检测处理，其检测图像中的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像；以及噪声降低处理，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

同时，根据本公开的第三实施例的程序可以是如下程序：使用以计算机可读形式提供的存储介质和通信介质将该程序提供给例如能够执行各类程序代码的信息处理设备或计算机系统。当以计算机可读形式提供这样的程序时，可以在信息处理设备或基于程序的计算机系统上实现处理。

此外，基于参照稍后将描述的本公开的实施例和附图的另外的详细描述，本公开的其他特征和优点将是清楚的。同时，在本说明书中，系统是多个设备的逻辑集合配置，并且每个配置的设备不限于被包括在同一壳体中。

根据本公开的实施例的配置，实现了对运动对象区域和静止图像区域两者执行有效的噪声降低的设备和方法。

详细地，包括对连续拍摄的多个图像执行混合处理的重叠处理单元。重叠处理单元检测图像的运动对象区域，生成以图像区域为单位的运动对象信息，基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理以生成重叠图像，并且基于运动对象信息，对重叠图像的运动对象区域执行更强的噪声降低处理。在噪声降低处理中，例如执行像素值更新处理，在该像素值更新处理中，应用具有取决于运动对象信息的系数的低通滤波器，运动对象信息使得能够在运动对象区域中获得更高的噪声降低效果。

可以使用上述处理生成对运动对象区域和静止对象区域两者执行了噪声降低的图像。

附图说明

图1是示出作为根据本公开的实施例的图像处理设备的示例的成像设备的配置的示例的图；

图2是示出拜耳(Bayer)布置的图；

图3是示出重叠处理单元执行的处理的流程图；

图4是示出应用于噪声降低处理单元的滤波器的配置的示例的图；

图5是示出重叠处理单元执行的处理的流程图；

图6是示出对来自固态成像装置的输入图像(RAW图像)执行图像重叠(混合)处理的重叠处理单元的配置和处理的图；

图7是示出在图6中的重叠处理单元对RAW图像执行重叠处理时执行的处理的定时图；

图8是示出在图6中的重叠处理单元对RAW图像执行重叠处理时执行的状态转移的图；

图9是示出在图6中的重叠处理单元对RAW图像执行重叠处理时执行的状态转移的图；

图10是示出在图6中的重叠处理单元对RAW图像执行重叠处理时执行的状态转移的图；

图11是示出对来自记录再现单元的输出图像执行图像重叠(混合)处理的重叠处理单元的配置和处理的图；

图12是示出在图11中的重叠处理单元对全色图像执行重叠处理时执行的处理的定时图；

图13是示出在图11中的重叠处理单元对全色图像执行重叠处理时执行的状态转移的图；

图14是示出包括高分辨率处理单元的重叠处理单元的配置和处理的图；

图15是示出包括GMV记录单元的图像处理设备的配置的图；以及

图16是示出根据本公开的实施例的图像处理设备的硬件配置的示例的图。

具体实施方式

在下文中，将参照附图描述根据本公开的实施例的图像处理设备、图像处理方法以及程序。同时，将按以下项目的顺序进行描述：

1.使用同一电路对RAW图像和全色图像执行重叠处理的实施例

(1-1)对拍摄图像时的RAW图像执行的处理

(1-2)对执行再现时的全色图像执行的处理

2.用于重叠处理的硬件配置的示例

(2-1)对来自固态成像装置的输入图像(RAW图像)执行的处理的示例

(2-2)对来自记录再现单元的输入图像(YUV图像)执行的处理的示例

3.其他实施例

(3-1)设立高分辨率处理单元的实施例

(3-2)在对RAW图像执行重叠处理时计算出的GMV用于对全色图像执行的重叠处理的实施例

4.图像处理设备的硬件配置的示例

5.本公开的配置的布置

根据本公开的实施例，提供了一种图像处理设备，包括：重叠处理单元，其对连续拍摄的多个图像执行混合处理。重叠处理单元包括：运动对象检测单元，其检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理单元，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，生成重叠图像；以及噪声降低处理单元，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

根据本公开的实施例，还提供了一种通过图像处理设备执行的图像处理方法，该图像处理方法包括：使用重叠处理单元来对连续拍摄的多个图像执行混合处理。执行混合处理包括：运动对象检测处理，其检测图像中的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，生成重叠图像；以及噪声降低处理，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

1.使用同一电路对RAW图像和全色图像执行重叠处理的实施例

首先，作为根据本公开的图像处理设备的第一实施例，将描述使用同一电路对RAW图像和全色图像执行重叠处理的实施例。

同时，使用例如成像设备、个人计算机(PC)等来实现根据本公开的图像处理设备。在下文中，将描述在使用成像设备来执行根据本公开的图像处理时执行的处理的示例。

图1是示出作为根据本公开的图像处理设备的示例的成像设备100的配置的示例的图。成像设备100输入在拍摄图像时拍摄的RAW图像(即，马赛克图像)，并且随后执行图像重叠处理以便实现噪声降低和高分辨率。

图1中的成像设备100的重叠处理单元a 105对RAW图像执行重叠处理。

此外，作为根据本公开的图像处理设备的示例的成像设备100对基于RAW图像而生成的全色图像执行图像重叠处理，以便实现噪声降低和高分辨率。

图1中的成像设备100的重叠处理单元b 108对全色图像执行重叠处理。

同时，虽然在图1中重叠处理单元a 105和重叠处理单元b 108被示出为单独的块，但是重叠处理单元a 105和重叠处理单元b 108被设置为使用共同硬件的电路配置。在后面部分将描述详细的电路配置。

在下文中，首先，将顺序地描述：

(1-1)对拍摄图像时的RAW图像执行的处理

(1-2)对执行再现时的全色图像执行的处理

(1-1)对拍摄图像时的RAW图像执行的处理

首先，将参照图1描述如下处理：使用作为根据本公开的图像处理设备的示例的成像设备，在成像的情况下，对N+1个RAW图像进行重叠。N是等于或大于1的整数。同时，虽然可以对静止图像或运动图像执行对RAW图像执行的重叠处理，但是下面在实施例中将描述对静止图像执行的处理的示例。

图1示出了作为根据本公开的图像处理设备的配置示例的成像设备100的配置。在通过操作用户输入单元101(诸如快门)开始成像时，固态成像装置103将从透镜(光学系统)102入射的光学图像转换成2维(2D)电信号(下文中的图像数据)。同时，固态成像装置103是例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)。

单板方式的固态成像装置的输出例如是图2中示出的拜耳布置的RAW图像。即，生成仅基于滤色片的配置的任意RGB信号作为每个像素信号。RAW图像例如被称为马赛克图像，并且通过为所有像素使用马赛克图像对整组RGB像素值进行插值来生成全色图像。同时，像素值插值处理例如被称为去马赛克处理。

如上所述，当执行噪声降低处理或高分辨率处理时，通过使用较大数量的包括同一对象的图像来实现有效噪声降低和高分辨率。例如，当N+1个图像用于为例如噪声降低和高分辨率执行的图像处理时，执行通过连续拍摄N+1个图像从而拍摄到N+1个RAW图像来应用N+1个RAW图像的处理、或者应用了通过应用N+1个RAW图像而生成的N+1个全色图像的处理。

预处理单元104执行校正图像传感器的缺陷(例如，校正拍摄的图像中包含的垂直或水平条纹)的处理。将从预处理单元104输出的图像输入重叠处理单元a 105，并且对N+1个图像执行重叠处理。后处理单元106执行将RAW图像转换成全色图像的颜色插值处理(去马赛克处理)、用于提高白平衡和颜色再现性的线性矩阵、以及提高可视性的边缘强调处理等，并且得到的图像被使用诸如JPEG等的压缩编解码器进行编码，并且随后存储在记录再现单元(SD存储器等)107中。

将参照图3中示出的流程图描述重叠处理单元a 105执行的处理，作为根据本公开的实施例提供的图像处理方法的示例。

在步骤S101中，开始N个图像重叠处理。

同时，在下文中，成为在成像设备连续拍摄的N+1个图像当中的位置调整基准的图像数据被称为基准帧(standard frame)。基准帧使用例如紧接按下快门之后收集的单个图像帧。基准帧之后获得的N个图像帧成为参考帧(reference frame)。

N+1个图像当中的、用于重叠处理的帧被称为参考帧。

在步骤S102中，执行全局运动向量(GMV)计算处理。GMV计算处理是如下处理：接收基准帧和参考帧作为输入、并且计算两个帧之间的全局(整个图像)运动向量。例如，获得与照相机的运动相对应的运动向量。

接下来，在步骤S103中，执行位置调整处理。该位置调整处理是如下处理：读取基准帧和获得全局运动向量(GMV)的单个参考帧，并且随后使用通过执行GMV计算处理获得的GMV来将参考帧的位置调整到基准帧。通过执行该处理(即，基于GMV来将参考帧的位置调整到基准帧的位置的处理)生成的图像被称为运动补偿图像。

在步骤S104中，执行运动对象检测处理。该处理是如下处理：获得与参考帧(其位置被调整到基准帧的位置)相对应的图像(运动补偿图像)和基准帧之间的差别，并且随后检测运动对象。

针对基准帧和参考帧(其位置被调整到基准帧的位置)，当所有对象静止时，在进行了步骤S103中的位置调整的两个图像的相对应的像素的位置中拍摄了同一对象的同一部分，并且这两个图像的像素值之间的差别近似为0。然而，例如，当对象包括诸如交通工具或人的运动对象时，运动对象的像素部分具有与作为整个图像的运动向量的上述GMV不同的运动。因此，即使当基于GMV执行位置调整时，同一对象的同一部分也不位于包括两个图像中所包括的运动对象的相对应的像素位置，使得两个图像的像素值之间的差别变得更大。

在步骤S104中，如上所述，通过获得与基准帧和参考帧(其位置被调整到基准帧的位置)相对应的像素之间的差别来执行运动对象检测处理。检测的结果被输出为以每个像素为单位的运动检测信息α(0＜＝α＜＝1，其中0表示运动的确定，而1表示静止的确定(没有出现运动))。

在步骤S105中，基于在步骤S104中算出的以每个像素为单位的运动检测信息α，通过将基准帧重叠(混合)在基于GMV执行位置调整之后获得的参考帧图像(运动补偿图像)上，生成重叠帧(混合图像)。

当针对单个初始基准图像重叠N个参考图像时，重复N次步骤S102到S106的处理。作为在步骤S106中生成的重叠图像的混合图像在随后的重叠处理中用作基准帧。

将详细描述对在步骤S105中获得的基准帧和在基于GMV执行位置调整之后获得的参考帧图像(运动补偿图像)执行的重叠(混合)处理。

第N次重叠处理时获得的基准帧(对其执行了(N-1)次重叠处理的帧)和参考帧(第(N+1)个帧)的目标像素的像素值表示为：

基准帧：mlt_N-1，以及

参考帧：frm_N+1。

同时，随着诸如(N-1)、(N+1)等的索引增大，图像在时间上是后来被成像的。

此外，目标像素的运动对象检测的结果是α。

以下表示执行使用上述数据的第N次重叠处理时获得的混合式(式1)。

当N等于或大于2时，

${\mathrm{mlt}}_N=\frac{\mathrm{\α}}{N+1}\×{\mathrm{frm}}_{N+1}+(1-\frac{\mathrm{\α}}{N+1})\×{\mathrm{mlt}}_{N-1},0\≤\mathrm{\α}\≤1$

当N为1时，

${\mathrm{mlt}}_1=\frac{\mathrm{\α}}{2}\×{\mathrm{frm}}_2+(1-\frac{\mathrm{\α}}{2})\×{\mathrm{frm}}_1,0\≤\mathrm{\α}\≤1$

(式1)

根据上式(式1)，通过对与基准图像和位置调整后的参考图像(运动补偿图像)相对应的像素的像素值进行混合，生成重叠帧(混合图像)。

在混合处理中，当如上所述执行N次重叠处理而使用N+1个静止图像作为处理目标时，使用如下图像来基于上式执行第N次重叠处理：

第(N-1)次重叠处理后的图像mlt_N-1，以及

第(N+1)个未重叠处理的图像frm_N+1。

当以每个像素为单位的运动检测信息α的值大时(即，在被估计为静止对象的像素位置中)，经位置调整的参考图像(运动补偿图像)的混合比率被设置为大的值。当以每个像素为单位的运动检测信息α的值小时(即，在被估计为运动对象的像素位置中)，经位置调整的参考图像(运动补偿图像)的混合比率被设置为小的值。如上所述，基于以像素为单位的运动信息来执行混合处理。

在步骤S105中执行了混合处理之后，在步骤S106中进一步执行噪声降低处理。

步骤S106中的处理是在N等于或大于2时根据下式(式2)执行的、伴随有像素值平滑的像素值更新处理。

根据以下式(式2)更新与在先前步骤S105中的混合处理中算出的、混合图像的像素值mlt_N相对应的图像：

mlt_N＝LPF(α)＊mlt_N    (式2)

然而，在上式(式2)中，^＊意味着定义为(LPF(α))的2维数据和mlt_N的2维图像的卷积运算。

α是以每个像素为单位的运动检测信息α(0＜＝α＜＝1，其中0表示运动的确定，而1表示静止的确定(没有出现运动))。

LPF(α)是如下的低通滤波器的滤波器系数：当α成为较大值时仅允许较低频段(lower band)分量通过，而当值α小时允许几乎全部频带(即，包括高频段分量)通过。低通滤波器的值的详细示例是图4中示出的3×3的2维数据低通滤波器。

图4中示出的低通滤波器是与3×3像素相对应的低通滤波器。例如，以如下方式配置该滤波器：从要处理的图像的图像区域选择以更新的像素为中心的3×3像素，所选像素(3×3＝9)分别乘以图4中示出的9个滤波器系数，将乘法的结果相加，并且相加的结果用作更新的像素值。

如图4所示，取决于运动检测信息α而设置这些系数。即，LPF(α)是如下的低通滤波器的滤波器系数：当值α变得较大时仅允许较低频段分量通过，而当值α小时允许几乎全部频带(即，包括高频段分量)通过。

即，当值α大时(即，在被估计为静止对象的像素位置中)，在执行了LPF处理之后获得的更新值具有对中心像素的像素值的高依赖度，并且应用了LPF的变化的比率低。

同时，当值α小时(即，在被估计为运动对象的像素位置中)，对周围像素的依赖度高，并且应用了LPF的变化的比率显示为高。即，像素值被平滑化。

结果，运动对象区域的噪声降低效果变得更高。

同时，在N＝1的情况下，不更新mlt_N。当以每个像素为单位的运动检测信息α的值大时(即，在被估计为静止对象的像素位置中)，低通滤波器的通带与整个频带相对应，使得实际上没有更新图像，由此保持为清楚的图像。同时，当以每个像素为单位的运动检测信息α的值小时(即，在被估计为运动对象的像素位置中)，低通滤波器的通带限于低频分量，使得执行将图像平滑化的处理。

在步骤S105中的混合处理中，虽然在静止对象区域中通过重叠获得的噪声降低效果表现为足够的效果，但是在运动对象区域中通过重叠获得的噪声降低效果低。

然而，当执行步骤S106中的处理时，LPF对混合处理中没有执行重叠的部分(例如，对运动对象区域)执行噪声降低，结果使得对整个像素执行噪声降低而不管值α如何。

即，在静止对象区域中示出了通过步骤S105中的重叠图像获得的噪声降低效果。同时，在运动对象区域中示出了通过在步骤S106中应用低通滤波器等获得的噪声降低效果。

结果，在静止对象区域和运动对象区域的任一个中示出了噪声降低效果。

(1-2)对执行再现时的全色图像执行的处理

接下来，将描述对全色图像执行的处理的示例。在例如图像显示在图1中示出的成像设备100的显示单元109上时执行该处理。同时，虽然可以对静止图像和运动图像的任一个执行对全色图像执行的重叠处理，但是下面在实施例中将描述对运动图像执行的处理的示例。

在图1中示出的成像设备100的后处理单元106中，执行用于将RAW图像转换成全色图像的颜色插值处理(去马赛克处理)、用于提高白平衡和颜色再现性的线性矩阵、以及用于提高可视性的边缘增强处理等，使用诸如联合摄影专家组(JPEG)等的压缩编解码器(运动图像编解码器H.264、运动图片专家组(MPEG)-2等)执行编码，随后得到的图像存储在记录再现单元(SD存储器等)107中。

在显示单元109中，例如，显示与完整地存储在记录再现单元(SD存储器等)107中的全色图像相对应的缩略图图像的列表。如果用户输入了用来选择和再现特定缩略图图像的指示，则记录再现单元107对与所选缩略图相对应的图像进行解码。解码图像成为具有例如全色图像格式(诸如红、绿以及蓝(RGB)等)、或者与亮度和色度有关的YUV图像格式的图像数据。解码图像被输入重叠处理单元b 108。

在重叠处理单元b 108中，输入解码图像(诸如全色图像等)，并且执行图像重叠处理以用于噪声降低和高分辨率。重叠处理的结果被传送到显示单元109并且随后在显示单元109上显示。

将参照图5中示出的流程图描述重叠处理单元b 108执行的处理的流程，作为根据本公开的实施例提供的图像处理方法的示例。同时，下面将描述的处理的示例将被描述为运动图像的再现处理的示例。通过连续显示以预定时间间隔拍摄的静止图像来执行运动图像的再现。当在运动图像处理的再现期间执行重叠时，例如，从记录再现单元107输入的最新帧用作基准帧，并且基准帧之前的帧用作参考帧。

当以全色格式(RGB)输入从记录再现单元107输入的图像时，在步骤S201中执行RGB→YUV转换处理，使得图像转换成亮度和色度信号。同时，当以YUV格式输入图像时，省略步骤S201中的RGB→YUV转换处理。

在步骤S202中，执行GMV计算处理。该GMV处理是如下处理：输入基准帧和参考帧，并且计算这两个帧之间的全局运动向量(整个图像)。获得例如与照相机的运动相对应的运动向量。

在随后的步骤S203中，执行位置调整处理。该位置调整处理是如下处理：读取基准帧和获得了GMV的单个参考帧，并且使用在GMV计算处理中获得的GMV来将参考帧的位置调整到基准帧的位置。通过执行该处理(即，基于GMV而将参考帧的位置调整到基准帧的位置的处理)生成的图像被称为运动补偿图像。

在步骤S204中，执行运动对象检测处理。该处理是如下处理：通过获得基准帧和参考帧图像(运动补偿图像)(其位置被调整到基准帧的位置)之间的差别来检测运动对象。将检测结果输出为以每个像素为单位的运动检测信息α的值(其中，0＜＝α＜＝1，其中0表示运动的确定，而1表示静止的确定(没有出现运动))。

在步骤S205中，基于在步骤S204中算出的以每个像素为单位的运动检测信息α，将基准帧与基于GMV执行位置调整之后获得的参考帧图像(运动补偿图像)混合，由此生成重叠帧(混合图像)。

在步骤S205中执行的α混合处理(重叠处理)中，基于从运动对象检测单元获得的值α，将基准帧(第(N+1)个帧frm_N+1)与参考帧(第(N-1)个重叠帧mlt_N-1)混合。在α混合处理(重叠处理)中，仅对YUV格式中的亮度信号Y执行重叠处理。以下表示用于第N个重叠处理的式子(式3)。

当N等于或大于2时，

${\mathrm{mlt}}_N=\frac{\mathrm{\α}}{2}\×{\mathrm{mlt}}_{N-1}+(1-\frac{\mathrm{\α}}{2})\×{\mathrm{frm}}_{N+1},0\≤\mathrm{\α}\≤1$

当N为1时，

${\mathrm{mlt}}_1=\frac{\mathrm{\α}}{2}\×{\mathrm{frm}}_1+(1-\frac{\mathrm{\α}}{2})\×{\mathrm{frm}}_2,0\≤\mathrm{\α}\≤1$

(式3)

根据上式(式3)，通过对与基准图像和经位置调整的参考图像(运动补偿图像)相对应的像素的像素值进行混合来生成重叠帧(混合图像)。

在混合处理中，当如上所述地执行N次重叠处理而使用N+1个运动图像作为处理目标时，使用如下图像来基于上式执行第N次重叠处理：

第(N-1)次重叠处理后的图像mlt_N-1，以及

第(N+1)个未重叠处理的图像frm_N+1。

当以每个像素为单位的运动检测信息α的值大时(即，在被估计为静止对象的像素位置中)，经位置调整的参考图像(运动补偿图像)的混合比率被设置为大的值。当以每个像素为单位的运动检测信息α的值小时(即，在被估计为运动对象的像素位置中)，经位置调整的参考图像(运动补偿图像)的混合比率被设置为小的值。如上所述，基于以像素为单位的运动信息来执行混合处理。

在步骤S205中执行了混合处理之后，在步骤S206中进一步执行噪声降低处理。

步骤S206中的处理是在N等于或大于2时根据下式(式4)执行的、伴随有像素值平滑的像素值更新处理。

根据以下式(式4)更新与在先前步骤S205中的混合处理中算出的、混合图像的像素值mlt_N相对应的图像：

mlt_N＝LPF(α)＊mlt_N      (式4)

然而，在上式(式4)中，^＊意味着定义为LPF(α)的2维数据和mlt_N的2维图像的卷积运算。

α是以每个像素为单位的运动检测信息α(0＜＝α＜＝1，其中0表示运动的确定，而1表示静止的确定(没有出现运动))。

同时，等式(式4)是与以上在图3中的流程的步骤S106的处理中描述的等式(式2)相同的等式。

LPF(α)是如下的低通滤波器的滤波器系数：当α成为较大值时仅允许较低频段分量通过，而当值α小时允许几乎全部频带(即，包括高频段分量)通过。低通滤波器的值的详细示例是图4中示出的3×3的2维数据。

同时，在N＝1的情况下，不更新mlt_N。当以每个像素为单位的运动检测信息α的值大时(即，在被估计为静止对象的像素位置中)，低通滤波器的通带对应于整个频带，使得实际上没有更新图像，由此保持为清楚的图像。同时，当以每个像素为单位的运动检测信息α的值小时(即，在被估计为运动对象的像素位置中)，低通滤波器的通带限于低频分量，使得执行将图像平滑化的处理。

在步骤S205中的混合处理中，虽然在静止对象区域中通过重叠获得的噪声降低效果表现为足够的效果，但是在运动对象区域中通过重叠获得的噪声降低效果低。

然而，当执行步骤S206中的处理时，LPF对混合处理中没有执行重叠的部分(例如，对运动对象区域)执行噪声降低，结果使得对整个像素执行噪声降低而不管值α如何。

即，在静止对象区域中示出了通过在步骤S205中重叠图像获得的噪声降低效果。同时，在运动对象区域中示出了通过以在步骤S206中应用低通滤波器等这样的方式来平滑像素值而获得的噪声降低效果。

结果，在静止对象区域和运动对象区域的任一个中示出了噪声降低效果。

通过步骤S206的处理生成的重叠帧成为随后的重叠处理的参考帧。使用与随后的帧对应的最新帧作为基准帧，执行新的重叠处理。

最后，在步骤S207中，对亮度信号Y(对其执行了重叠处理)和色度信号UV(其是来自RGB→YUV转换单元的输出)执行YUV→RGB转换处理，使得将其格式转换成全色格式，并且在显示单元109上显示全色图像。

虽然上述处理的示例包括：(1-1)对拍摄图像时的RAW图像执行的处理、以及(1-2)对执行再现时的全色图像执行的处理，然而，针对于对执行再现时的全色图像执行的处理，例如，执行RGB→YUV转换，并且仅对YUV格式中的亮度信号Y执行重叠处理。

当执行上述处理时，用来执行重叠处理的以每个像素为单位的信号成为：(1-1)在对拍摄图像时获得的RAW图像执行的处理的情况下，被设置成构成RAW图像的像素的信号(例如，RGB中的任一个的信号)；或者(1-2)在对再现图像时获得的全色图像执行的处理的情况下，构成全色图像的每个像素的YUV格式中的仅亮度信号Y。

即，在对RAW图像执行的重叠处理和对全色图像执行的重叠处理的任一情况下，可以使用单个信号值对构成图像的每个像素执行处理。

结果，对RAW图像执行重叠处理的重叠处理单元a 105和对全色图像执行重叠处理的重叠处理单元b 108可以仅通过确定使用RAW图像的每个像素值还是全色图像的每个像素亮度值Y作为输入信号，使用同一电路用于执行重叠处理。

利用该配置，可以针对两种不同图像数据(即，RAW图像和全色图像)实现使用单个重叠处理电路的处理。

此外，根据本实施例，针对在投影运动对象时不期望基于重叠效果而获得的噪声降低效果的像素，使用空间LPF执行噪声降低，使得可以针对所有像素输出不存在噪声的图像，而与是否出现运动对象无关。

同时，在以上描述为现有技术的日本未审查专利申请公布第2009-194700号中，对重叠的数量进行计数，并且最后，取决于该数量来改变噪声降低的强度。在该现有技术中，应该对重叠的数量小的部分排除强噪声降低的效果。需要增加LPF滤波器的抽头的数量(滤波器的尺寸)用于强噪声降低，由此导致电路尺寸或操作量的增大。

同时，根据本公开，优选的是，噪声降低处理单元207的LPF滤波器的抽头数量小。其原因在于，如果重叠的数量小，则每次输入图像时，执行噪声降低处理单元207的处理。换句话说，多次地处理具有少量抽头的滤波器，结果是，处理了具有大量抽头的滤波器。如上所述，在本公开的配置中，电路尺寸和操作量小。

同时，处理目标图像可以是运动图像和静止图像中的任一个。虽然在上述实施例中描述了对静止图像的RAW图像和运动图像的全色图像执行的处理的示例，但是可以对运动图像的RAW图像和静止图像的全色图像执行使用单个共同电路的重叠处理。将使用以下项目描述详细的电路配置。

2.用于重叠处理的硬件配置的示例

接下来，将描述用于重叠处理的硬件配置的示例。

将顺序描述以下两个处理示例：(2-1)对来自固态成像装置的输入图像(RAW图像)执行的处理的示例、以及(2-2)对来自记录再现单元的输入图像(全色图像(YUV图像))执行的处理的示例。

同时，在以下对硬件的描述中，使用单个共同电路配置来实现对RAW图像执行的处理和对全色图像执行的处理，并且将描述作为本公开的配置的另一特性的、并且是重叠处理所需的存储器容量降低处理。

(2-1)对来自固态成像装置的输入图像(RAW图像)执行的处理的示例

首先，将参照图6至10描述对来自固态成像装置的输入图像(RAW图像)执行的图像重叠(混合)处理的处理示例。

图6是示出用作图1中示出的重叠处理单元a 105和重叠处理单元b108的共同详细电路配置的图。

图6中示出的GMV计算单元203执行图3中示出的流程的步骤S102中的处理和图5中示出的流程的步骤S202中的处理。

图6中示出的位置调整处理单元204执行图3中示出的流程的步骤S103中的处理和图5中示出的流程的步骤S203中的处理。

图6中示出的运动对象检测单元205执行图3中示出的流程的步骤S104中的处理和图5中示出的流程的步骤S204中的处理。

图6中示出的混合处理单元206执行图3中示出的流程的步骤S105中的处理和图5中示出的流程的步骤S205中的处理。

图6中示出的噪声降低处理单元207执行图3中示出的流程的步骤S106中的处理和图5中示出的流程的步骤S206中的处理。

当图6中示出的重叠处理单元200用作图1中示出的重叠处理单元a105时，从固态成像装置201(其与图1中的固态成像装置103相同)输入RAW图像，并且对该RAW图像执行重叠处理。

同时，当重叠处理单元200用作图1中示出的重叠处理单元b 108时，从记录再现单元202(其与图1中的记录再现单元107相同)输入YUV图像的亮度信号Y，并且对全色图像执行重叠处理。

图6中的各个帧存储器a 211和存储器b 212分别是存储从固态成像装置201(其与图1中的固态成像装置103相同)输出的RAW图像和从记录再现单元202(其与图1中的记录再现单元107相同)输出的全色图像的存储器。

在下文中，首先，将描述当图1中示出的重叠处理单元a 105执行处理(即，参照图3中示出的流程图描述的处理)时的处理示例。

图7是示出在图6中示出的重叠处理单元对RAW图像执行重叠处理时执行的处理的定时图。

图7从左到右示出了时间T0、T1、T2...的推移。

此外，图7从上示出了以下处理(1)至(6)中的每一个：(1)从固态成像装置201将RAW图像写入到存储器a 211和存储器b 212的处理；(2)对于GMV计算单元203，从固态成像装置201输入图像的处理；(3)使用GMV计算单元203从存储器a 211读取图像的处理；(4)使用位置调整处理单元204、运动对象检测单元205、混合处理单元206、以及噪声降低处理单元207从存储器a 211读取图像的处理；(5)使用位置调整处理单元204、运动对象检测单元205、混合处理单元206、以及噪声降低处理单元207从存储器b 212读取图像的处理；以及(6)使用混合处理单元206和噪声降低处理单元207将图像写入到存储器a 211的处理。

同时，写入到存储器a 211和存储器b 212的图像信号对应于RAW图像或基于RAW图像而生成的重叠图像，并且针对单个像素具有RGB中的任一个的单个像素值。即，针对单个像素仅存储单个信号值。

图7中示出的附图标记frm1、frm2、frm3...表示在重叠处理中使用的、并且在执行重叠处理之前获得的图像帧(RAW图像)，并且附图标记mlt1、mlt2、mlt3、...表示对其执行了重叠处理的图像帧。

使用图像帧(frm1)和图像帧(frm2)生成的初始重叠帧是图像帧(mlt1)。

这对应于如下处理：使用图7中示出的定时图的T1至T2的处理(4)和(5)的图像帧(frm1)和图像帧(frm2)，生成处理(6)中示出的初始重叠图像帧(mlt1)。

接下来，在随后的定时T2至T3处，使用图7中示出的定时图的T2至T3的处理(4)和(5)中示出的初始重叠图像帧(mlt1)和图像帧(frm3)，生成处理(6)中示出的第二重叠图像帧(mlt2)。

如上所述，随着时间的推移，使用之前刚刚生成的重叠图像帧(mltn)和最新的输入图像(frmn+2)，顺序生成并且随后更新新的重叠图像帧(mltn+1)。例如，当使用N+1个图像来执行N个重叠时，生成在执行N次重叠处理之后生成的重叠图像帧(mltN)，并且随后终止该单元中的处理。

在下文中，将参照图7中的定时图和图8至10的各个定时处的状态图，描述图6中示出的重叠处理单元200(其与图1中的重叠处理单元a 105和重叠处理单元b 108相同)对RAW图像执行的重叠处理的处理序列。

在按下快门时图像收集开始的定时T0至T1(参照图7)处，从图6中示出的固态成像装置201输出的图像数据(frm1)被写入到帧存储器a211中。

图8示出了定时T0至T1的状态。

接下来，在定时T1处，第二图像数据(frm2)自固态成像装置201被传送，并且在第二图像数据(frm2)被写入帧存储器b 212的同时被输入GMV计算单元203。同时，第一图像数据(frm1)从帧存储器a 211被输入GMV计算单元203，使得GMV计算单元203获得两个帧(即，第一图像数据(frm1)和第二图像数据(frm2))之间的GMV。

图9示出了定时T1至T2的状态。

在定时T2处，第二图像数据(frm2)从帧存储器b 212被输入位置调整单元204。

此外，输入GMV计算单元203算出的GMV(即，在定时T1至T2处获得的第一图像数据(frm1)和第二图像数据(frm2)之间的GMV)，并且随后基于输入的GMV来执行将第二图像数据(frm2)的位置调整到第一图像数据(frm1)的对象位置的位置调整处理。即，生成运动补偿图像。

同时，本处理示例是对静止图像执行的重叠处理的示例。在静止图像的情况下，以如下这样的方式执行位置调整：先前图像用作基准图像，随后的图像用作参考图像，并且随后的参考图像的位置被调整到先前的基准图像的位置。

对其执行了位置调整的第二图像数据(frm2)和第一图像数据(frm1)一起被输入运动对象检测单元205和混合处理单元206。

运动对象检测单元205对与对第一图像数据(frm1)和其执行了位置调整的第二图像数据(frm2)的位置相对应的像素值进行比较，基于通过比较获得的差别来生成以像素为单位的运动检测信息α(其中0＜＝α＜＝1，0表示运动的确定，而1表示静止的确定(没有出现运动))，并且随后将运动检测信息输出到混合处理单元206。

混合处理单元206使用通过运动对象检测单元205获得的以每个像素为单位的运动检测信息α(其中0＜＝α＜＝1)，对第一图像数据(frm1)和对其执行了位置调整的第二图像数据(frm2)执行混合处理，由此生成重叠帧。

根据以上说明的等式(式1)，通过对与基准图像和经位置调整的参考图像(运动补偿图像)相对应的像素的像素值进行混合，生成重叠帧(混合图像)。

生成重叠帧(mlt1)，其是通过对第一图像数据(frm1)和对其执行了位置调整的第二图像数据(frm2)执行混合处理生成的第一混合图像。

此外，通过噪声降低处理单元207执行噪声降低处理。即，在执行混合处理之后，执行在图3的流程图中预先描述的步骤S106中的噪声降低处理。

当N等于或大于2时，基于以上说明的等式(式2)来执行像素值更新处理。即，使用例如具有图4中示出的系数的低通滤波器来执行噪声建议处理。在使用LPF的处理中，当以每个像素为单位的运动检测信息α的值小时，在被估计为(换言之)运动对象的像素位置中，低通滤波器的通带仅限于低频分量，由此实现平滑图像的效果。

由噪声降低处理单元207处理的图像被重写在帧存储器a 211中。

图10是示出定时T2至T3的状态的图。

如基于参照图6至10描述的处理所理解的，在使用图6中示出的重叠处理单元200的重叠处理中，使用存储两个图像的两个存储器(即，存储器a 211和存储器b 212)，由此实现对任意数量的图像(例如，N个图像)执行的重叠处理。

如上所述，在本实施例中，要存储在帧存储器中的最大图像数量是两个，其对应于帧存储器“a”和“b”，而与对其执行了重叠的图像的数量无关。在本实施例中，可以在节省帧存储器的容量的同时，获得与全部N+1个图像存储在帧存储器中的情况的效果相同的效果。

(2-2)对来自记录再现单元的输入图像(全色图像(YUV图像))执行的处理的示例

接下来，将参照图11至13描述对来自记录再现单元的输入图像(全色图像(YUV图像))执行的处理示例。

图11示出了与预先参照图6描述的电路大体上相同的电路，并且示出了用作图1中示出的重叠处理单元a 105和重叠处理单元b 108的共同电路配置。然而，当电路用作重叠处理单元b 108时，改变线连接单元251的连接配置，并且进一步改变输入配置，使得从记录再现单元202执行输入。这通过接通/关断在线连接单元251和记录再现单元202的各连接单元上建立的开关来实现。

在下文中，将描述在通过图1中示出的重叠处理单元b 108执行处理时执行的处理示例，即，在执行参照图5中示出的流程图描述的处理时执行的处理的示例。

图12是示出在图11中示出的重叠处理单元使用基于全色图像生成的YUV图像的亮度信号Y来执行重叠处理时执行的处理的定时图。

图12是与图7相同的定时图，并且从左到右示出了时间T0、T1、T2...的推移。

此外，从上示出了以下处理(1)至(6)中的每一个：(1)从记录再现单元202将YUV图像的亮度信号Y写入到存储器a 211和存储器b 212的处理；(2)对于GMV计算单元203，从记录再现单元202输入YUV图像的亮度信号Y的处理；(3)使用GMV计算单元203从存储器a 211读取图像信号(亮度信号Y)的处理；(4)使用位置调整处理单元204、运动对象检测单元205、混合处理单元206、以及噪声降低处理单元207从存储器a 211读取图像信号(亮度信号Y)的处理；(5)使用位置调整处理单元204、运动对象检测单元205、混合处理单元206、以及噪声降低处理单元207从存储器b 212读取图像信号(亮度信号Y)的处理；以及(6)使用混合处理单元206和噪声降低处理单元207将图像信号(亮度信号Y)写入到存储器a 211的处理。

同时，写入到存储器a 211和存储器b 212的图像信号对应于YUV图像的亮度信号Y图像、或基于YUV图像的亮度信号Y图像而生成的重叠图像，并且针对单个像素具有亮度信号Y的单个像素值。即，针对单个像素仅存储单个信号值。

图12中示出的附图标记frm1、frm2、frm3...表示在重叠处理中使用的、并且在执行重叠处理之前获得的图像帧，并且附图标记mlt1、mlt2、mlt3、...表示对其执行了重叠处理的图像帧。

使用图像帧(frm1)和图像帧(frm2)生成的初始重叠帧是图像帧(mlt1)。

这对应于如下处理：使用图12中示出的定时图的T1至T2的处理(4)和(5)的图像帧(frm1)和图像帧(frm2)，生成处理(6)中示出的初始重叠图像帧(mlt1)。

接下来，在随后的定时T2至T3处，使用图12中示出的定时图的T2至T3的处理(4)和(5)中示出的初始重叠图像帧(mlt1)和图像帧(frm3)，生成处理(6)中示出的第二重叠图像帧(mlt2)。

如上所述，随着时间的推移，使用之前刚刚生成的重叠图像帧(mltn)和最新的输入图像(frmn+2)，顺序生成并且随后更新新的重叠图像帧(mltn+1)。例如，当使用N+1个图像来执行N个重叠时，生成在执行N次重叠处理之后生成的重叠图像帧(mltN)，并且随后终止该单元中的处理。

在下文中，将参照图12中的定时图描述通过图11中示出的重叠处理单元200(其与图1中的重叠处理单元b 108和重叠处理单元a 105相同)对YUV图像执行的重叠处理的处理序列。

描述将集中于不同于参照图6至10描述的对RAW图像执行的处理的部分。

在该处理中，如图11和12所示，不是从固态成像装置201而是从记录再现单元202执行对重叠处理单元200的输入。

例如，通过记录再现单元107从存储器选择和获得用户所选的再现目标图像，并且随后将其输出到重叠处理单元200。同时，当根据需要执行格式转换以使得RGB格式被转换成YUV格式时，生成亮度信号Y，并且随后亮度信号Y被提供给存储器a 211和存储器b 212，使得记录再现单元107开始处理。

在定时T0至T1处(参照图12)，从图11中示出的记录再现单元202输出的图像数据(frm1)被写入到帧存储器a 211。同时，在本示例中，亮度信号Y被写入到帧存储器a 211和帧存储器b 212。

定时T0至T1的状态与上述图8的状态不同在于，从记录再现单元202输出数据。

随后，在定时T1处，第二图像数据(frm2)从记录再现单元202输出，并且这次在第二图像数据(frm2)被写入到帧存储器b 211的同时被输入GMV计算单元203。同时，第一图像数据(frm1)从帧存储器a 211被输入GMV计算单元203，使得GMV计算单元203获得两个帧(即，第一图像数据(frm1)和第二图像数据(frm2))之间的GMV。

定时T1至T2的状态与上述图9的状态不同在于，从记录再现单元202输出数据。

在定时T2处，第一图像数据(frm1)从帧存储器a 211被输入位置调整单元204，并且输入在定时T1至T2处获得的第一图像数据(frm1)和第二图像数据(frm2)之间的GMV，使得基于输入的GMV来执行将第一图像数据(frm1)调整到第二图像数据(frm2)的对象位置的位置调整处理。即，生成运动补偿图像。

同时，本处理示例对应于与运动图像有关的重叠处理示例。在运动图像的情况下，以如下这样的方式执行位置调整：随后的图像用作基准图像，在前的图像用作参考图像，并且在前的参考图像被调整到随后的基准图像的位置。

对其执行位置调整的第一图像数据(frm1)和第二图像数据(frm2)一起被输入运动对象检测单元205和混合处理单元206。

运动对象检测单元205对与经位置调整的第一图像数据(frm1)和第二图像数据(frm2)相对应的位置的像素值进行比较，基于通过比较获得的差别来生成以像素为单位的运动检测信息α(其中0＜＝α＜＝1，0表示运动的确定，而1表示静止的确定(没有出现运动))，并且随后将运动检测信息输出到混合处理单元206。

混合处理单元206使用通过运动对象检测单元205获得的以像素为单位的运动检测信息α(其中0＜＝α＜＝1)，对经位置调整的第一图像数据(frm1)和第二图像数据(frm2)执行混合处理，由此生成重叠帧。

根据以上说明的等式(式3)，通过对与基准图像和经位置调整的参考图像(运动补偿图像)相对应的像素的像素值进行混合，生成重叠帧(混合图像)。

生成重叠帧(mlt1)，其是通过对经位置调整的第一图像数据(frm1)和第二图像数据(frm2)执行混合处理生成的第一混合图像。

此外，通过噪声降低处理单元207执行噪声降低处理。即，在执行混合处理之后，执行在以上图5的流程图中描述的步骤S206中的噪声降低处理。

当N等于或大于2时，基于以上说明的等式(式4)来执行像素值更新处理。即，使用例如具有图4中示出的系数的低通滤波器来执行噪声降低处理。在应用LPF的处理中，当以每个像素为单位的运动检测信息α的值小时，在被估计为(换言之)运动对象的像素位置中，低通滤波器的通带仅限于低频分量，由此实现平滑图像的效果。

由噪声降低处理单元207处理的图像被重写在帧存储器a 211中，并且随后被输出到显示单元109。

图13是示出定时T2至T3的状态的图。

如基于参照图6至10描述的对RAW图像执行的重叠处理和参照图11至13描述的对全色图像执行的重叠处理所理解的，使用图6和11中示出的共同重叠处理单元200来执行对RAW图像执行的重叠处理和对全色图像执行的重叠处理。

此外，在对这些不同图像执行的重叠处理中，使用存储两个图像的两个存储器(即，存储器a 211和存储器b 212)，使得对任意数量的图像(例如，N个图像)执行重叠处理。

3.其他实施例

接下来，将描述其他实施例。

(3-1)建立了高分辨率处理单元的实施例

首先，将参照图14描述在重叠处理单元中建立了高分辨率处理单元的实施例。

首先，作为根据本公开的实施例提供的图像处理设备的示例，图14中示出的重叠处理单元300具有如下配置：高分辨率处理单元301以及图像尺寸调整单元302和303被添加到参照图6至11描述的重叠处理单元200。该配置对应于用作图1中示出的重叠处理单元a 105和重叠处理单元b 108的共同电路配置。然而，当重叠处理单元300用作与静止图像相关的重叠处理单元a 105时，进行设置使得线连接单元351的连接的配置与参照图6描述的配置相同(图14中的线连接单元351的虚线)。此外，当重叠处理单元300用作与运动图像相关的重叠处理单元b 108时，进行设置使得线连接单元351的连接的配置与参照图11描述的配置相同(图14中的线连接单元351的实线)。

此外，针对输入图像，当重叠处理单元300用作与静止图像相对应的重叠处理单元a 105时，进行设置使得从固态成像装置201执行输入。当重叠处理单元300用作与运动图像相对应的重叠处理单元b 108时，改变配置使得从记录再现单元202执行输入。通过接通或关断在线连接单元351中以及在固态成像装置201和记录再现单元202的连接单元中建立的开关来实现该配置。

高分辨率处理单元301执行分辨率转换。上采样单元11通过应用如下方法来执行分辨率转换：使用例如将单个像素设置为四个像素的处理来生成放大的图像。

图像尺寸调整单元302执行如下处理：将来自存储器a 211的输入图像的尺寸调整为来自记录再现单元202的输入图像(其是GMV计算单元203的GMV计算目标)的尺寸。当高分辨率处理单元301执行高分辨率处理时，可扩大图像。该处理是如下处理：将扩大的图像的尺寸调整为来自记录再现单元202的输入图像(其是GMV计算单元203的GMV计算目标)的尺寸。

图像尺寸调整单元303执行如下处理：调整两个图像的尺寸，以便对这些图像执行在随后的处理中执行的位置调整。

在本实施例中执行的序列如下。

在对RAW图像执行的处理中，在根据参照图3的上述流程图的处理用作基本处理的同时，在步骤S103和S104之间执行高分辨率处理。此外，进行设置使得对每个步骤的在前步骤根据需要来执行图像尺寸调整处理。

此外，在对全色图像执行的处理中，在根据参照图5的上述流程图的处理用作基本处理的同时，在步骤S203和S204之间执行高分辨率处理。此外，进行设置使得对每个步骤的在前步骤根据需要来执行图像尺寸调整处理。

在本实施例中，在对输入帧执行高分辨率处理之后执行重叠处理。因此，可以降低由于放大而生成的边缘部分的粗糙。同时，通过GMV计算单元203获得的GMV被转换成高分辨率图像的运动量并且随后被使用。

此外，作为本实施例的变型，可以使用将诸如拉普拉斯滤波器的高通滤波器(HPF)应用于输入帧的配置，以便补偿由于高分辨率生成的模糊。

(3-2)在对RAW图像执行重叠处理时算出的GMV用于对全色图像执行的重叠处理的实施例

接下来，将描述在对RAW图像执行重叠处理时算出的GMV用于对全色图像执行的重叠处理的实施例。

上述实施例具有如下配置：在RAW图像的重叠处理中相继执行GMV计算并且在全色图像的重叠处理中相继执行GMV计算处理。

然而，如果基于RAW图像来生成全色图像，并且作为GMV计算目标的成对的两个图像相同，则基于RAW图像算出的GMV与基于全色图像算出的GMV相同。因此，如果例如在对拍摄图像时的RAW图像的重叠处理中算出的GMV被作为与每个图像相对应的数据记录在存储器中，则当对全色图像执行重叠处理时可以获得GMV数据，并且不需要执行计算新的GMV的处理，使得简化了处理，由此快速地进行了该处理。

图15示出了执行处理的图像处理设备的配置的示例。

图15示出了作为根据本公开的图像处理设备的示例的成像设备500的配置示例。成像设备500与以上描述的图1中示出的图像处理设备100相同，并且对拍摄图像时捕获的RAW图像和基于RAW图像而生成的全色图像执行图像重叠处理，以便实现噪声降低和高分辨率。

图15中示出的成像设备500的重叠处理单元a 105对RAW图像执行重叠处理。图15中示出的成像设备500的重叠处理单元b 108对全色图像执行重叠处理。虽然重叠处理单元a 105和重叠处理单元b 108被示出为两个模块，但是如上所述地使用共同电路来配置它们。

参照图1描述的图像处理设备100和图像处理设备500之间的差别是如下事实：图15中示出的图像处理设备500包括GMV记录单元501。

GMV记录单元501是如下记录单元(存储器)：其记录在重叠处理单元a 105对RAW图像执行重叠处理时算出的GMV。对全色图像执行重叠处理的重叠处理单元b 108使用记录在GMV记录单元501中的GMV，而不执行GMV计算。

GMV数据与用于GMV计算的图像帧的两条标识符信息相关联地存储在GMV记录单元501中。对全色图像执行重叠处理的重叠处理单元b108基于作为GMV计算目标的成对的图像的标识符，选择记录在GMV记录单元501中的GMV，并且使用所选GMV。

根据本实施例，当对全色图像执行重叠处理时，可以获得GMV数据，并且不需要计算新的GMV的处理，使得简化了处理，由此使得处理能够快速进行。此外，使用在编解码器之前获得的图像，使得有提高GMV的准确性的优点。

4.用于图像处理设备的硬件配置的示例

最后，将参照图16描述执行上述处理的图像处理设备的硬件配置的示例。中央处理单元(CPU)901基于记录在只读存储器(ROM)902或记录单元908中的程序，执行各类处理。例如，CPU 901执行用于上述每个实施例中描述的图像重叠(混合)处理和使用低通滤波器(LPF)的噪声降低以及高分辨率的图像处理。随机存取存储器(RAM)903适当地存储CPU 901执行的程序或数据。CPU 901、ROM 902以及RAM 903经由总线904彼此连接。

CPU 901经由总线904连接到输入/输出接口905。包括键盘、鼠标、麦克风等的输入单元906和包括显示器、扬声器等的输出单元907连接到输入/输出接口905。CPU 901基于从输入单元906输入的指令来执行各类处理，并且将处理结果输出到输出单元907。

连接到输入/输出接口905的记录单元908包括例如硬盘，并且存储CPU 901执行的程序和各类数据。通信单元909经由网络(诸如因特网或局域网)与外部设备通信。

连接到输入/输出接口905的驱动器910驱动可移除介质911(诸如磁盘、光盘、磁-光盘、半导体存储器等)，并且获得记录的程序或数据。根据需要，所获得的程序或数据被传送到记录单元908并且被记录。

5.本公开的配置的布置

在上文中，参照具体实施例详细描述了本公开的实施例。然而，对于本领域技术人员而言显然的是，在不脱离本公开的要旨的情况下可以存在实施例的变型和替换。即，以举例的形式公开了本公开，而不应该限制性地解释本公开。为了确定本公开的要旨，应该对权利要求的范围进行参照。

同时，本说明书中公开的技术可以包括以下配置。

(1)图像处理设备包括对连续拍摄的多个图像执行混合处理的重叠处理单元。重叠处理单元包括：运动对象检测单元，其检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息；混合处理单元，其基于运动对象信息，通过在静止对象区域中使用高混合比率并且在运动对象区域中使用低混合比率来对多个图像执行混合处理，以生成重叠图像；以及噪声降低处理单元，其基于运动对象信息，对重叠图像的运动对象区域执行更强的像素值平滑处理。

(2)在(1)的图像处理设备中，噪声降低处理单元执行像素值更新处理，该像素值更新处理执行低通滤波器处理。

(3)在(1)或(2)的图像处理设备中，噪声降低处理单元执行像素值更新处理，该像素值更新处理执行具有取决于运动对象信息的系数的低通滤波器处理，运动对象信息使得能够在运动对象区域中获得更高的噪声降低效果。

(4)在(1)至(3)中的任一个的图像处理设备中，重叠处理单元包括：GMV计算单元，其计算连续拍摄的多个图像的GMV；以及位置调整处理单元，其通过基于GMV将参考图像的对象位置调整到基准图像的位置来生成运动补偿图像。运动对象检测单元基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，获得运动对象信息。混合处理单元通过根据基于运动对象信息的混合比率来对基准图像和运动补偿图像进行混合，以生成重叠图像。

(5)在(4)的图像处理设备中，运动对象检测单元基于作为通过位置调整处理单元执行的位置调整的结果而获得的运动补偿图像和基准图像之间的相对应像素的像素差，计算表示运动对象信息的值α作为以像素为单位的运动对象信息。混合处理单元基于值α来执行如下混合处理：针对具有高概率成为运动对象的像素，将运动补偿图像的混合比率设置为低的值，而针对具有低概率成为运动对象的像素，将运动补偿图像的混合比率设置为高的值。

(6)在(4)或(5)的图像处理设备中，重叠处理单元包括对处理目标图像执行高分辨率处理的高分辨率处理单元，并且混合处理单元对使用高分辨率处理单元的经高分辨率处理的图像进行重叠。

(7)在(4)至(6)中的任一个的图像处理设备中，图像处理设备还包括存储图像的GMV的GMV记录单元，GMV是GMV计算单元基于RAW图像而算出的；其中，重叠处理单元使用存储在GMV记录单元中的GMV，对用作处理目标的全色图像执行重叠处理。

(8)在(1)至(7)中的任一个的图像处理设备中，重叠处理单元被配置成通过选择性地将RAW图像或全色图像的亮度信号信息输入作为处理目标图像来执行重叠处理，并且被配置成通过顺序更新存储在存储两个图像帧的存储器中的数据，执行使得能够执行任意数量的图像重叠的处理。

(9)在(8)的图像处理设备中，重叠处理单元执行将执行了重叠处理之后获得的图像重写和存储在存储器的一部分中的处理，并且使用存储在相对应的存储器中的经重叠处理的图像用于随后的重叠处理。

(10)在(8)或(9)的图像处理设备中，在RAW图像用作处理目标时，重叠处理单元将与RAW图像的每个像素相对应的像素值数据存储在存储器中，并且基于与RAW图像的每个像素相对应的像素值数据来执行重叠处理。在全色图像用作处理目标时，重叠处理单元将与每个像素相对应的亮度值数据存储在存储器中，并且基于与全色图像的每个像素相对应的亮度值数据来执行重叠处理。

此外，可以使用硬件、软件或其组合配置来执行说明书中描述的序列处理。当使用软件执行处理时，可以通过将记录处理序列的程序安装在嵌入在专用硬件中的计算机的存储器中来执行处理，或者可以通过将程序安装在能够执行各类处理的通用计算机中来执行处理。例如，可以预先在记录介质中记录程序。除了从记录介质在计算机中安装之外，可以经由被称为局域网(LAN)或因特网的网络来接收程序，或者程序可以安装在诸如内置硬盘等的记录介质中。

同时，除了以所写的时间序列执行之外，还可以根据执行处理的设备的处理能力或根据需要，并行或单独执行说明书中所写的各类处理。此外，本说明书中的系统是多个设备的逻辑集合配置，并且每个配置的设备不限于被包括在同一壳体内。

本公开包含与2011年3月4日向日本专利局提交的日本在先专利申请JP 2011-047360中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应该理解，在所附权利要求或其等同方案的范围内，根据设计需要和其他因素，可进行各种修改、组合、子组合以及变更。

Claims (12)

1.一种图像处理设备，包括：

重叠处理单元，其对连续拍摄的多个图像执行混合处理；

其中，所述重叠处理单元包括：

运动对象检测单元，其检测图像的运动对象区域，并且生成以图像区域为单位的运动对象信息；

混合处理单元，其基于所述运动对象信息，通过在静止对象区域中使用高混合比率并且在所述运动对象区域中使用低混合比率来对所述多个图像执行混合处理，以生成重叠图像；以及

噪声降低处理单元，其基于所述运动对象信息，对所述重叠图像的所述运动对象区域执行更强的像素值平滑处理。

2.根据权利要求1所述的图像处理设备，

其中，所述噪声降低处理单元执行像素值更新处理，所述像素值更新处理执行低通滤波器处理。

3.根据权利要求1所述的图像处理设备，

其中，所述噪声降低处理单元执行像素值更新处理，所述像素值更新处理执行具有取决于所述运动对象信息的系数的低通滤波器处理，所述运动对象信息使得能够在所述运动对象区域中获得更高的噪声降低效果。

4.根据权利要求1所述的图像处理设备，

其中，所述重叠处理单元包括：

全局运动向量GMV计算单元，其计算连续拍摄的所述多个图像的全局运动向量GMV；以及

位置调整处理单元，其通过基于所述GMV将参考图像的对象位置调整到基准图像的位置来生成运动补偿图像；

其中，所述运动对象检测单元基于作为通过所述位置调整处理单元执行的位置调整的结果而获得的所述运动补偿图像和所述基准图像之间的相对应像素的像素差，获得所述运动对象信息；并且

其中，所述混合处理单元通过根据基于所述运动对象信息的混合比率来对所述基准图像和所述运动补偿图像进行混合，以生成所述重叠图像。

5.根据权利要求4所述的图像处理设备，

其中，所述运动对象检测单元基于作为通过所述位置调整处理单元执行的位置调整的结果而获得的所述运动补偿图像和所述基准图像之间的相对应像素的像素差，计算表示所述运动对象信息的值α作为以像素为单位的所述运动对象信息；并且

其中，所述混合处理单元基于所述值α来执行如下混合处理：针对具有高概率成为运动对象的像素将所述运动补偿图像的混合比率设置为低值，而针对具有低概率成为运动对象的像素将所述运动补偿图像的混合比率设置为高值。

6.根据权利要求4所述的图像处理设备，

其中，所述重叠处理单元包括：

高分辨率处理单元，其对处理目标图像执行高分辨率处理；并且

其中，所述混合处理单元对使用所述高分辨率处理单元的经高分辨率处理的图像进行重叠。

7.根据权利要求4所述的图像处理设备，还包括：

GMV记录单元，其存储图像的GMV，所述GMV是所述GMV计算单元基于RAW图像而算出的；

其中，所述重叠处理单元使用存储在所述GMV记录单元中的所述GMV，对用作处理目标的全色图像执行重叠处理。

8.根据权利要求1所述的图像处理设备，

其中，所述重叠处理单元被配置成通过选择性地将RAW图像或全色图像的亮度信号信息输入作为处理目标图像来执行重叠处理，并且被配置成通过顺序更新存储在存储两个图像帧的存储器中的数据来执行使得能够执行任意数量的图像重叠的处理。

9.根据权利要求8所述的图像处理设备，

其中，所述重叠处理单元执行将执行了重叠处理之后获得的图像重写和存储在所述存储器的一部分中的处理，并且使用存储在相对应的存储器中的经重叠处理的图像用于随后的重叠处理。

10.根据权利要求8所述的图像处理设备，

其中，所述重叠处理单元在所述RAW图像用作处理目标时，将与所述RAW图像的每个像素相对应的像素值数据存储在所述存储器中，并且基于与所述RAW图像的每个像素相对应的所述像素值数据来执行重叠处理，而在所述全色图像用作处理目标时，将与每个像素相对应的亮度值数据存储在所述存储器中，并且基于与所述全色图像的每个像素相对应的亮度值数据来执行重叠处理。

11.一种通过图像处理设备执行的图像处理方法，所述图像处理方法包括：

使用重叠处理单元来对连续拍摄的多个图像执行混合处理；

其中，所述执行混合处理包括：

运动对象检测处理，其检测图像中的运动对象区域，并且生成以图像区域为单位的运动对象信息；

混合处理，其基于所述运动对象信息，通过在静止对象区域中使用高混合比率并且在所述运动对象区域中使用低混合比率来对所述多个图像执行混合处理，以生成重叠图像；以及

噪声降低处理，其基于所述运动对象信息，对所述重叠图像的所述运动对象区域执行更强的像素值平滑处理。

12.一种使得图像处理设备执行图像处理的程序，所述程序使得重叠处理单元对连续拍摄的多个图像执行混合处理，

其中，所述执行混合处理包括：

运动对象检测处理，其检测图像中的运动对象区域，并且生成以图像区域为单位的运动对象信息；

混合处理，其基于所述运动对象信息，通过在静止对象区域中使用高混合比率并且在所述运动对象区域中使用低混合比率来对所述多个图像执行混合处理，以生成重叠图像；以及

噪声降低处理，其基于所述运动对象信息，对所述重叠图像的所述运动对象区域执行更强的像素值平滑处理。

Images