CN101588453B - 图像处理装置、拍摄装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置、拍摄装置及图像处理方法。对通过缩短了曝光时间的拍摄而得到的第一图像、通过增长了曝光时间的拍摄而得到的第二图像和滤波了第一图像的高频成分的第三图像进行合成，以生成合成图像。此时，利用由第二图像和第三图像而得到的差分值设定第二图像和第三图像的合成比率。另外，利用由基于第一图像的图像(第三图像)而得到的边缘强度值设定第一图像、第二及第三图像(第四图像)的合成比率。

Description

图像处理装置、拍摄装置及图像处理方法

技术领域

本发明涉及处理所输入的图像的图像处理装置或搭载有该图像处理装置的拍摄装置。另外，涉及处理所输入的图像的图像处理方法。

本申请以2008年5月19日申请的特愿2008-130910号为基础申请。

背景技术

近年来，抑制由拍摄装置的移动等引起的图像整体的抖动(手抖动)或由被摄物体(人等拍摄对象)的移动等引起的局部抖动(被摄物体抖动)并生成图像的拍摄装置正被广泛应用。作为这一类拍摄装置，其中搭载有基于所输入的图像而生成抑制了抖动的图像并输出的图像处理装置。这样，若构成为利用图像处理装置来抑制抖动，则不需要检测拍摄装置的移动的传感器或抑制拍摄装置的移动的装置等，由此能够谋求拍摄装置的小型化或轻型化。

例如，提出以下拍摄装置：通过生成分辨率高且噪声多的图像(多噪声图像)与分辨率低且噪声少的图像(少噪声图像)的两幅图像并进行合成，从而生成一副图像(合成图像)。在这样的拍摄装置中，求出进行合成的两幅图像的差分值，利用基于该差分值的合成比率进行合成。

尤其是，将差分值大的区域视作表示不同物体的图像间的边界(能够表现为图像中被拍摄的物体的轮廓。另外，以下作为边缘)，增大分辨率高的多噪声图像的比例。另一方面，将差分值小的区域视作表示相同物体的图像的区域，增大分辨率小的少噪声图像的比例。

但是，移动体移动的区域的整个区域被视作边缘，在宽范围内多噪声图像的合成比率变大。因此，在输出的图像中含有较多噪声、所得到的图像变得不清楚成为问题。另外，少噪声图像因为分辨率低，故边缘及其周边很容易变得不清楚。因此，边缘及其周边中的差分值变大，即使在这些部分中多噪声图像的合成比率也变大。因此，在合成图像中含有较多噪声而变得不清楚。

再有，难以将由多噪声图像中含有的噪声引起的差分值大的部分和由边缘引起的差分值大的部分进行区别并正确地指定边缘。因此，误将由噪声引起的差分值大的部分视作边缘，多噪声图像的合成比率将无用地变高，产生合成图像整体中含有较多噪声的问题。另外，相反地，误将由边缘引起的差分值大的部分不视作边缘，在边缘中少噪声图像的合成比率变高，产生合成图像的边缘的分辨率降低的问题。并且，因为产生这些问题，故所得到的图像变得不清楚。

发明内容

本发明的图像处理装置具备以下部件，即：对通过拍摄而得到的第一图像、通过与该第一图像相比增长了曝光时间的拍摄而得到的第二图像及滤波了上述第一图像的高频率成分的第三图像进行合成，以生成合成图像的合成部。

另外，本发明的拍摄装置具备：

通过拍摄而生成图像的拍摄部；和

上述的图像处理装置；

其中：

上述拍摄部通过拍摄而生成上述第一图像并且通过与该第一图像相比增长了曝光时间的拍摄而生成上述第二图像，

上述图像处理装置基于所输入的上述第一图像和上述第二图像来生成上述合成图像。

另外，本发明的图像处理方法具备：

滤波第一图像的高频率成分而得到第三图像的第一步骤；

对利用该第一步骤得到的上述第三图像、上述第一图像及通过与上述第一图像相比增长了曝光时间的拍摄而得到的第二图像进行合成，以生成合成图像的第二步骤。

附图说明

图1是对本发明的实施方式中的拍摄装置的基本构成进行表示的框图。

图2是对本发明的实施方式中的拍摄装置的合成处理部的第一实施例的构成进行表示的框图。

图3是对本发明的实施方式中的拍摄装置的合成处理部的第一实施例的动作进行表示的流程图。

图4A是对块匹配法进行说明的第一图像的示意图。

图4B是对块匹配法进行说明的第二图像的示意图。

图5A是表示第一图像的一个例子的示意图。

图5B是表示第二图像的一个例子的示意图。

图6是表示第三图像的一个例子的示意图。

图7是对将差分值的一个例子作为图像表现的差分值图像进行表示的示意图。

图8是表示第一合成部的合成方法的一个例子的图表。

图9是表示第四图像的一个例子的示意图。

图10是对将边缘强度值的一个例子作为图像表现的边缘强度值图像进行表示的示意图。

图11是表示第二合成部的合成方法的一个例子的图表。

图12是表示结果图像的一个例子的示意图。

图13是对本发明的实施方式中的拍摄装置的合成处理部的第二实施例的构成进行表示的框图。

图14是对本发明的实施方式中的拍摄装置的合成处理部的第三实施例的构成进行表示的框图。

图15是对本发明的实施方式中的拍摄装置的合成处理部的第四实施例的构成进行表示的框图。

图16是对本发明的其他实施方式中的拍摄装置的构成进行表示的框图。

具体实施方式

以下，参照附图对本发明中的图像处理装置或图像处理方法、拍摄装置的实施方式进行说明。首先，对拍摄装置的基本构成及基本动作进行说明。

《拍摄装置》

(拍摄装置的基本构成)

首先，基于图1，对拍摄装置的基本构成进行说明。图1是对本发明的实施方式中的拍摄装置的基本构成进行表示的框图。

如图1所示，拍摄装置1具备拍摄部2，其中拍摄部2具备：由将入射的光变换为电信号的CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)传感器等的固体拍摄元件构成的图像传感器3；和使被摄物体的光学像成像于光学传感器3并且进行光量等的调整的透镜部4。

进而，拍摄装置1具备：将作为从图像传感器3输出的模拟信号的图像信号变换为数字信号的AFE(Analog Front End)5；对从AFE5输出的数字的图像信号实施灰度修正处理等的各种图像处理的图像处理部6；将所输入的声音变换为电信号的集音部7；将从集音部7输出的模拟的声音信号变换为数字信号并且对声音信号实施去除噪声等的各种声音处理的声音处理部8；对从图像处理部6输出的图像信号和从声音处理部8输出的声音信号分别实施MPEG(Moving Picture Experts Group)压缩方式等的运动图像用的压缩编码处理、或者对从图像处理部6输出的图像信号实施JPEG(Joint Photographic Experts Group)压缩方式等的静止图像用的压缩编码处理的压缩处理部9；记录在压缩处理部9中被压缩编码后的压缩编码信号的外部存储器10；将压缩编码信号记录在外部存储器10中或读取压缩编码信号的驱动部11；在驱动部11中将从外部存储器10读取的压缩编码信号扩展并进行解码的扩展处理部12。

另外，拍摄装置1具备：为了在显示器等显示装置(没有图示)中显示在扩展处理部12中解码得到的图像信号而将图像信号变换为模拟信号的图像输出电路部13；为了在扬声器等再生装置(没有图示)中再生在扩展处理部12中解码得到的声音信号而将声音信号变换为模拟信号的声音输出电路部14。

另外，拍摄装置1具备：控制拍摄装置1内整体的动作的CPU(CentralProcessing Unit)15；存储用于进行各处理的各程序并且进行程序执行时的数据的暂时保管的存储器16；输入开始拍摄的按钮或调整拍摄条件等的按钮等来自用户的指示的操作部17；输出用于使各部的动作时间一致的时间控制信号的定时信号发生器(TG)部18；用于在CPU15与各模块之间进行数据交换的总线19；用于在存储器16与各模块之间进行数据交换的总线20。

另外，图像处理部6具备合成所输入的多个图像信号并作为一个图像信号输出的合成处理部61。另外，关于合成处理部61的构成的详细内容如后所述。

此外，虽然将能生成运动图像和静止图像的图像信号的拍摄装置1作为一个例子进行了表示，但拍摄装置也可只生成静止图像的图像信号。该情况下，也可构成为不具备集音部7或声音处理部8、声音输出电路部14等。

另外，只要外部存储器10能够记录图像信号或声音信号，无论由什么构成都可以。例如，能够将SD(Secure Digital)卡等的半导体存储器、DVD等的光盘、硬盘等的磁盘等作为该外部存储器10来使用。另外，也可从拍摄装置1中自由装卸外部存储器10。

(拍摄装置的基本动作)

接着，利用图1对拍摄装置1的基本动作进行说明。首先，拍摄装置1通过在图像传感器3中对由透镜部4入射的光进行光电变换，从而取得作为电信号的图像信号。并且，图像传感器3与从TG部18输入的时间控制信号同步地以规定的时间向AFE5输出图像信号。

并且，通过AFE5从模拟信号变换为数字信号的图像信号被输入到图像处理部6。在图像处理部6中，将所输入的具有R(红)G(绿)B(蓝)成分的图像信号变换为具有灰度信号(Y)和色差信号(U，V)成分的图像信号，并且实施灰度修正或轮廓强调等的各种图像处理。另外，存储器16作为帧存储器而动作，在图像处理部6进行处理时暂时保持图像信号。

另外，此时基于被输入到图像处理部6的图像信号，在透镜部4中，调整各种透镜的位置，以进行焦距的调整；或者调整光圈的开度，以进行曝光的调整，或者进行图像传感器3的灵敏度(如，ISO(InternationalOrganization for Standardization)灵敏度)的调整。该焦距或曝光、灵敏度的调整，或者基于规定的程序自动进行，或者基于用户的指示手动地进行，以便分别达到最佳状态。

另外，图像处理部6在合成处理部61中进行多幅图像的合成。其中，关于合成处理部61的动作的详细内容如后所述。

在生成运动图像的图像信号的情况下，在集音部7中进行集音。在集音部7中被集音并被变换为电信号的声音信号被输入到声音处理部8中。声音处理部8将所输入的声音信号变换为数字信号并且实施去除噪声或声音信号的强度控制等的各种声音处理。并且，将从图像处理部6输出的图像信号和从声音处理部8输出的声音信号一起输入到压缩处理部9，在压缩处理部9中以规定的压缩方式进行压缩。此时，构成为：图像信号与声音信号在时间上是关联的，再生时图像与声音不会发生偏移。并且，从压缩处理部9输出的压缩编码信号经由驱动部11而被记录在外部存储器10中。

另一方面，在生成静止图像的图像信号的情况下，从图像处理部6输出的图像信号被输入到压缩处理部9中，在压缩处理部9中以规定的压缩方式进行压缩。并且，从压缩处理部9输出的压缩编码信号经由驱动部11而被记录于外部存储器10中。

记录于外部存储器10中的运动图像的压缩编码信号基于用户的指示而被扩展处理部12读出。扩展处理部12扩展及解码压缩编码信号，从而生成图像信号及声音信号。并且，将图像信号输出到图像输出电路部13，将声音信号输出到声音输出电路部14。并且，在图像输出电路部13或声音输出电路部14中，被变换为在显示装置或扬声器中能够进行再生的形式后输出。

另一方面，被记录于外部存储器10中的静止图像的压缩编码信号被输入到扩展处理部12中并生成图像信号。并且，该图像信号被输出到图像输出电路部13中，在图像输出电路部13中被变换为在显示装置中能够进行再生的形式后输出。

且，显示装置或扬声器也可与拍摄装置1成为一体，即使成为别体也可以利用电缆等与拍摄装置1所具备的端子连接。

另外，在不进行图像信号的记录而用户确认显示装置等中被显示的图像、即所谓的预演模式的情况下，也可以不压缩从图像处理部6输出的图像信号就输出到图像输出电路部13。另外，在记录图像信号时，也可以与在压缩处理部9中进行压缩并在外部存储器10中记录的动作并行地经由图像输出处理部13将图像信号向显示装置等输出。

《合成处理部的实施例》

其次，参照附图，对图1中示出的图像处理部6(图像处理装置)所具备的合成处理部的各实施例进行说明。另外，在以下的说明中，将在合成处理部61中合成的两幅图像信号的其中一方作为“第一图像”，将另一方作为“第二图像”。另外，将合成后的图像信号作为“结果图像”。且，以下为了说明的具体化，将这些图像信号作为图像进行表现。

<第一实施例>

首先，利用图2对合成处理部的第一实施例的构成进行说明。图2是对在本发明的实施方式中的拍摄装置的合成处理部的第一实施例的构成进行表示的框图。

如图2所示，本实施例的合成部61a具备：基于第一图像，进行第二图像的位置偏移的修正的位置偏移修正部62；对第一图像的空间频率中的规定频率以上的高频率成分进行滤波，以生成第三图像并输出的LPF(Low Pass Filter)部63；求出进行了位置偏移的修正后的第二图像和第三图像的差分并计算差分值的差分值计算部64；基于差分值，对第三图像与由位置偏移修正部62进行过位置偏移的修正的第二图像进行合成，从而输出第四图像的第一合成部65；从第三图像中提取边缘并计算边缘强度值的边缘强度计算部66；基于边缘强度值，对第一图像与第四图像进行合成，生成结果图像并输出的第二合成部67。

其次，关于合成处理部61a的动作，利用图3进行说明。图3是表示本发明的实施方式中的拍摄装置的合成处理部的第一实施例的动作的流程图。

如图3所示，首先向合成处理部61a中输入第一图像和第二图像(STEP1)。第二图像是与第一图像相比将曝光时间变长并拍摄得到的图像。另外，生成第二图像时的图像传感器3的灵敏度比生成第一图像时的图像传感器3的灵敏度小。由此，通过设定曝光时间和灵敏度而能够调整为第一图像与第二图像的亮度大致相等。另外，虽然第一图像与第二图像是连续拍摄生成的，但是无论哪个先生成都可以。

优选将第一图像的曝光时间设为比手抖动边界曝光时间(焦点距离f[mm]的情况下的1/f[sec]，成为手抖动难以发生的目标的时间)还短的时间。由此生成的第一图像成为手抖动被抑制了的图像。另外，因为曝光时间短，所以被摄物体的抖动也被抑制。因此，能够得到边缘变清晰的图像。但是，因为需要增大图像传感器3的灵敏度，所以很容易成为含有较多噪声的图像。

与此相对，第二图像被设定为：与第一图像相比，曝光时间长且灵敏度小。因此，成为噪声被抑制了的图像。但是，因为曝光时间长，所以成为很容易产生手抖动或被摄物体抖动的图像。因此，很容易成为边缘模糊的图像。

STEP1之后，在位置偏移修正部62中，修正第一图像和第二图像的位置偏移(STEP2)。如上所述，因为连续地拍摄生成第一图像和第二图像，所以成为拍摄了大致相等的拍摄区域的图像。但是，因为不是完全同时，所以拍摄区域会存在微小的偏差。

此时，例如通过检索第一图像与第二图像大致相等的部分，从而检测“偏移量”。并且，通过基于所得到的“偏移”来变换第二图像的像素的坐标，从而以使表示相等对象物的像素的坐标在第一图像和第二图像中大致相等的方式进行修正。即，进行使第一图像的像素与第二图像的像素对应的处理。

作为STEP2的检索第一图像和第二图像大致相等的部分的方法，例如能够采用求取光流的各种方法或代表点匹配等方法。其中，作为检索方法的一个例子，利用图4A及图4B对采用作为求取光流的方法的块匹配法的情况进行说明。图4A及图4B是对块匹配法进行说明的示意图。

在图4A中，符号100表示第一图像，符号101表示在第一图像中关注的关注块。在图4B中，符号110表示第二图像，符号111表示在第二图像中关注的候补块。另外，符号112是表示候补块111可定位的检索块。

位置偏移修正部62计算关注块101和候补块111之间的相关值。此时，候补块111在检索块112内，在水平方向或垂直方向上每一像素每一像素地移动，在每一次移动时计算相关值。相关值例如可以设为关注块101和候补块111之间的各像素的灰度差的绝对值的总和。该相关值，一般被称为SAD(Sum of Absolute Difference)。另外，作为相关值，也可以利用灰度值的平方和(Sum of Squared Difference)。

关注块101的图像与候补块111的图像之间的相关越高，相关值越小。因此，如果求出相关值最小的候补块111的位置，则能够求出表示与关注块101大致相等的图像的块位于第二图像内的何处并且能够求出第一图像与第二图像之间的关注块101的运动向量(光流、第一图像与第二图像的位置偏移的方向及大小)。并且，基于所得到的运动向量，能够求出“偏移量”。

利用图5，对第一图像和由STEP2得到的位置偏移修正后的第二图像的一个例子进行说明。图5A及图5B是表示第一图像及第二图像的一个例子的示意图。另外，图5所示的第一图像120及第二图像130的例子，是通过拍摄被摄物体(人)H站立在作为背景的山的前面的状态而得到的图像。图5A表示第一图像120，图5B表示位置偏移修正后的第二图像130。

图5A所示的第一图像120与图5B所示的第二图像130相比，边缘变得比较清楚，但是噪声比第二图像130(由图中黑色斑点引起的不光滑)多。另外，图5表示在第一图像120及第二图像130的拍摄中被摄物体H移动的情况。具体地，第二图像130的被摄物体H比第一图像120的被摄物体H在图像中更靠右侧，并且产生被摄物体抖动。

STEP2之后，在LPF部62中进行第一图像120的LPF处理，生成第三图像(STEP3)。其中，通过LPF部62进行第一图像120的空间频率高的部分的滤波(即，噪声的抑制)。LPF部62能够抑制噪声并且能够设定为：成为边缘未曾变得极端地模糊的程度(特别是，在后述的边缘强度值计算部66中边缘明显地被提取的程度)的截止频率。

关于在STEP3中生成的第三图像的一个例子，利用图6进行说明。图6是表示第三图像的一个例子的示意图。如图6所示，第三图像140成为图5A所示的第一图像120中含有的噪声被抑制并且边缘略微不清楚的图像。另外，在图3所示的例子中，记载着在STEP2之后进行STEP3，但是也可以在STEP2之前进行STEP3。另外，STEP3与STEP2并行进行也可以。

SETP3之后，在差分值计算部64中进行第二图像130与第三图像140的差分处理，计算差分值(SETP4)。所谓差分值是表示2副图像中对应的像素的颜色或亮度的差的值，用差分值D(x，y)来表示像素(x，y)的差分值。例如，利用如下所示的式(1)来求出差分值D(x，y)。另外，x表示图像的水平方向的位置(坐标)，y表示图像的垂直方向的位置(坐标)。

D(x，y)＝|P2(x，y)-P3(x，y)|       ···(1)

在式(1)中，P2(x，y)表示第二图像130的像素(x，y)的信号值。另外，P3(x，y)表示第三图像140的像素(x，y)的信号值。并且，D(x，y)表示由上述的这些信号值得到的差分值。

具体地，例如也可以基于以下的式子(1a)来求出差分值D(x，y)。式(1a)表示作为式(1)中的像素(x，y)的信号值P2(x，y)、P3(x，y)而利用由RGB构成的信号值的情况。另外，在式(1a)中，将第二图像130的像素(x，y)的信号值的RGB各成分的值表示为P2_R(x，y)、P2_G(x，y)、P2_B(x，y)，将第三图像140的像素(x，y)的信号值的RGB各成分的值表示为P3_R(x，y)、P3_G(x，y)、P3_B(x，y)。另外，在式(1a)所示的计算方法中，分别求出RGB各成分的差的绝对值，将这些绝对值的和的值作为差分值D(x，y)。

D(x，y)＝|P2_R(x，y)-P3_R(x，y)|

       +|P2_G(x，y)-P3_G(x，y)|        ···(1a)

       +|P2_B(x，y)-P3_B(x，y)|

另外，例如基于以下的式子(1b)也可求出差分值D(x，y)。即使在式(1b)中，也与式(1a)同样地表示利用由RGB构成的信号值的情况，利用与(1a)同样的方法，表示各信号值各自的成分的值。在式(1b)中，将RGB各成分的值平方，将这些和开方后的值作为差分值D(x，y)。

$D(x,y)={\left[\begin{array}{c}{\{{P2}_R(x,y)-{P3}_R(x,y)\}}^2\\ +{\{{P2}_G(x,y)-{P3}_G(x,y)\}}^2\\ +{\{{P2}_B(x,y)-{P3}_B(x,y)\}}^2\end{array}\right]}^{\frac{1}{2}}...\left(1b\right)$

上述的式子(1)、(1a)及(1b)的各方法只不过是一个例子，利用其它方法也可以求差分值D(x，y)。另外，代替RGB，利用YUV的值，用与利用RGB的情况同样的方法(将RGB分别用YUV替换)，也可计算差分值D(x，y)。且有，也可仅基于第二图像130及第三图像140的信号值的Y成分计算差分值D(x，y)。

另外，关于在STEP4中计算的差分值的一个例子，利用图7进行说明。图7是表示将差分值的一个例子作为图像而表现的差分值图像的示意图。在图7所示的差分值图像150中，用白色表示差分值D(x，y)大的部分，用黑色部分表示差分值D(x，y)小的部分。因为在第一图像120及第二图像130中被摄物体H移动了，所以差分值图像150中的被摄物体移动的区域的差分值D(x，y)变大。另外，因为第二图像130中包含手抖动，所以边缘附近的差分值D(x，y)也增大些许。

STEP4之后，在第一合成部65中进行第二图像130与第三图像140的合成，生成第四图像(STEP5)。此时，例如通过将第二图像130和第三图像140进行加权加法运算，从而能够进行合成。关于通过加权加法运算进行合成的情况的一个例子，利用图8进行说明。图8是表示第一合成部的合成方法的一个例子的图表。

如图8所示，在本例的方法中，基于差分值D(x，y)设定混合率α(x，y)，按照该混合率α(x，y)进行加权加法运算。具体地，通过以下所示的式(2)，合成第二图像130和第三图像140。

P4(x，y)＝α(x，y)×P2(x，y)+{1-α(x，y)}×P3(x，y)  ···(2)

混合率α(x，y)是表示用于对第二图像130的(x，y)的位置中的像素的信号值P2(x，y)与第三图像140的(x，y)的位置中的像素的信号值P3(x，y)进行加权加法运算时的加法运算比例(合成比率)。另外，混合率α(x，y)表示第二图像130的加法运算比例，第三图像140的加法运算比例是1-α(x，y)。

如果差分值D(x，y)比阈值Th1_L小，则混合率α(x，y)为1，如果差分值D(x，y)在阈值Th1_H以上则混合率α(x，y)为0。另外，如果差分值D(x，y)在阈值Th1_L以上且比阈值Th1_H小，则混合率α(x，y)为1-(D(x，y)-Th1_L)/(Th1_H-Th1_L)。即，如果使差分值D(x，y)的值从阈值Th1_L增大到Th1_H，则混合率α(x，y)从1线性地减小到0。另外，虽然也可以非线性地减少，但优选单调减小。

并且，通过进行式(2)所示的加权加法运算，从而得到第四图像的(x，y)的位置中的像素的信号值P4(x，y)。并且，在作为像素的信号值P2(x，y)、P3(x，y)而利用由YUV构成的信号值的情况下，也可计算YUV每个成分，以得到第四图像的像素的信号值P4(x，y)。另外，代替由YUV构成的信号值，也可以利用由RGB构成的信号值。

关于通过STEP5得到的第四图像的一个例子，利用图9进行说明。图9是表示第四图像的一个例子的示意图。如上所述，因为在被摄物体H移动的区域中差分值变大，所以第三图像140的加法运算比例1-α(x，y)变大。因此，在第四图像160中，能够大幅度地抑制第二图像130所含有的被摄物体抖动。

另外，即使在边缘附近差分值D(x，y)也变大，第三图像140的加法运算比例1-α(x，y)变大。因此，比第二图像130边缘变得清楚许多。只是，由于第三图像的边缘与第一图像相比变得稍微模糊，所以第四图像16的边缘也变得稍微模糊。

另一方面，在差分值D(x，y)小的部分内，第二图像130的加法运算比例α(x，y)变大。因此，在第四图像160中还能进一步抑制第三图像130中含有的些许噪声。另外，即使是差分值D(x，y)大、第二图像130的加法运算比例α(x，y)小的部分，也因为第三图像140中含有的噪声很少，所以至少能够抑制到不显眼的程度。

STEP5之后，在边缘强度值计算部66中进行第三图像140的边缘提取处理，并计算边缘强度值(STEP6)。所谓边缘强度值是表示像素的变化量(与周围的像素的变化量)的值，用E(x，y)来表示像素(x，y)中的边缘强度值。例如，利用以下所示的式(3)，能够求出像素(x，y)中的边缘强度值E(x，y)。

$E(x,y)=|\underset{i=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{j=-1}{\overset{1}{\mathrm{\&Sigma;}}}\mathrm{Fx}(i,j)\&CenterDot;{P3}_Y(x+i,y+j)|...\left(3\right)$

$+|\underset{i=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{j=-1}{\overset{1}{\mathrm{\&Sigma;}}}\mathrm{Fy}(i,j)\&CenterDot;{P3}_Y(x+i,y+j)|$

式(3)中，P3_Y(x，y)表示第三图像140的像素(x，y)的信号值的Y成分的值。另外，在作为像素的信号值而利用RGB的信号值的情况下，也可以利用RGB的各成分计算相当于Y成分的值，以利用该值。

另外，Fx(i，j)及Fy(i，j)表示用于分别提取边缘的滤波器。换言之，表示强调图像中的轮廓的滤波器。作为这样的滤波器，例如也可以采用索贝尔滤波器(Sobel filter)和Prewitt滤波器(Prewitt filter)等微分滤波器。另外，在式(3)中作为一个例子，表示采用3×3的滤波器情况。另外，Fx(i，j)是用于提取x方向(水平方向)的边缘的滤波器，Fy(i，j)是用于提取y方向(垂直方向)的边缘的滤波器。

在作为提取边缘的滤波器而利用Prewitt滤波器的情况下，也可以将Fx(i，j)设为Fx(-1，-1)＝Fx(-1，0)＝Fx(-1，1)＝-1、Fx(0，-1)＝Fx(0，0)＝Fx(0，1)＝1、Fx(1，-1)＝Fx(1，0)＝Fx(1，1)＝1。另外，还可以将Fy(i，j)设为Fy(-1，-1)＝Fy(0，-1)＝Fy(1，-1)＝-1、Fy(-1，0)＝Fy(0，0)＝Fy(1，0)＝1、Fy(-1，1)＝Fy(0，1)＝Fy(1，1)＝1。

通过求取分别将以上的3×3的滤波器Fx(i，j)与以第三图像140的像素(x，y)为中心的3×3的区域中的Y成分相乘并且合计后的值的绝对值、和分别将3×3的滤波器Fy(i，j)与以第三图像140的像素(x，y)为中心的3×3的区域中的Y成分相乘并且合计后的值的绝对值之和，从而能够求出式(3)中示出的像素(x，y)的边缘强度值E(x，y)。另外，式(3)中示出的方法只不过是一个例子，利用其它的方法也可以求出边缘强度值E(x，y)。另外，在图3中示出的例子中，虽然记载着在STEP4及STEP5之后进行STEP6，但是在STEP4及STEP5之前进行STEP6也可以。另外，可以与STEP4及STEP5并行地进行STEP6。另外，也可以在STEP2之前进行STEP6，或者也可以与STEP2并行地进行STEP6，但采取在STEP3之后进行STEP6的方式。

利用图10，对通过STEP6得到的边缘强度值的一个例子进行说明。图10是表示将边缘强度值的一个例子作为图像来表现的强度值的示意图。在图10所示的边缘强度值图像170中，用白色表示边缘强度值E(x，y)大的部分，用黑色表示边缘强度值E(x，y)小的部分。边缘强度值E(x，y)是通过提取抑制了边缘清楚的第一图像120的噪声的第三图像140的边缘而得到的。因此，噪声与被摄物体H或背景等的边缘的区别变得容易，能够清楚地提取边缘。另外，边缘的边缘强度值E(x，y)的值变大，边缘以外的边缘强度值E(x，y)变小。

STEP6之后，在第二合成部67中进行第一图像120与第四图像160的合成，从而生成结果图像(STEP7)。此时，例如通过加权加法运算第一图像120与第四图像160，从而能够进行合成。利用图11，对通过加权加法运算进行合成时的一个例子进行说明。图11是表示由第二合成部的合成方法的一个例子的图表。

如图11所示，在本例的方法中，基于边缘强度值E(x，y)设定混合率β(x，y)，按照该混合率β(x，y)进行加权加法运算。具体地，通过以下所示的式(4)，合成第一图像120与第四图像160。

P(x，y)＝β(x，y)×P1(x，y)+{1-β(x，y)}×P4(x，y)  ···(4)

混合率β(x，y)表示用于对第一图像120的(x，y)的位置中的像素的信号值P1(x，y)和第四图像160的(x，y)的位置中的像素的信号值P4(x，y)进行加权加法运算时的加法运算比例(合成比率)。另外，混合率β(x，y)表示第一图像120的加法运算比例，第四图像160的加法运算比例为1-β(x，y)。

如果边缘强度值E(x，y)比阈值Th2_L小，则混合率β(x，y)为0，如果边缘强度值E(x，y)在阈值Th2_H以上则β(x，y)为1。另外，如果边缘强度值E(x，y)是阈值Th2_L以上且比阈值Th2_H小则β(x，y)为(E(x，y)-Th2_L)/(Th2_H-Th2_L)。即，如果使边缘强度值E(x，y)从阈值Th2_L增大到阈值Th2_H，则混合率β(x，y)从0线性增加到1。另外，也可以非线性地增加，但优选单调增加。

并且，通过进行式(4)中示出的加权加法运算，从而得到合成图像的(x，y)的位置中的像素的信号值P(x，y)。其中，在作为像素的信号值P1(x，y)、P4(x，y)而利用由YUV构成的信号值的情况下，可以按照YUV的每个成分进行计算，以得到合成图像的像素的信号值P(x，y)。另外，代替由YUV构成的信号值，也可以利用由RGB构成的信号值。

利用图12对通过STEP7得到的结果图像的一个例子进行说明。图12是表示结果图像的一个例子的示意图。如上所述，在边缘中因为边缘强度值E(x，y)变大，所以第一图像120的加法运算比例β(x，y)变大。由此，在结果图像180中，能够改善第四图像160的些许的边缘的模糊，从而边缘变得清楚。

另一方面，在边缘以外的部分中，边缘强度值E(x，y)变小，第四图像160的加法运算比例1-β(x，y)变大。因此，在结果图像180中，能够抑制反映第一图像120中含有的噪声。

如上所述，通过由本实施例的合成处理部61a合成第一图像120与第二图像130，从而能够使得所得到的结果图像180清楚。特别是，能够得到有效地合成了第一图像120的清晰边缘和第二图像130的少许噪声的双方特长的结果图像180。

具体地，因为利用由第二图像130和第三图像140得到的差分值，进行第二图像与第三图像的合成，所以能够抑制第二图像130的被摄物体抖动或第一图像120的噪声反映于第四图像160。另外，因为利用由第三图像140得到的边缘强度值来进行第一图像120与第四图像160的合成，所以使得第一图像120的清晰边缘有效地反映于结果图像180中，并且能够抑制第一图像120的噪声反映于结果图像180中。因此，能够使得结果图像180成为能够抑制手抖动或被摄物体抖动且边缘清晰的图像，并且能够成为噪声少的图像。

另外，为了计算边缘强度值利用了LPF处理后的第一信息120的第三图像，因此可以抑制因第一图像120中含有的噪声导致边缘强度值E(x，y)在边缘以外变大。

<第二实施例>

其次，关于合成处理部的第二实施例的构成，利用图13进行说明。图13是表示本发明的实施方式中的拍摄装置的合成处理部的第二实施例的构成的框图。其中，省略与第一实施例相同的部分的详细说明，对与第一实施例不同的地方进行详细地说明。

如图13所示，本实施例的合成处理部61b具备：与第一实施例相同的位置偏移修正部62、LPF部63、差分值计算部64、第一合成部65和第二合成部67。只是，边缘强度值计算部66b与第一实施例的边缘强度值计算部66不同。具体地，本例的边缘强度值计算部66b基于第一图像120计算边缘强度值E(x，y)，以计算边缘强度值。

另外，本实施例的合成处理部61b除计算边缘强度值的动作(相当于第一实施例的STEP6的动作，以下设为STEP6b)以外，进行与第一实施例的合成处理部61a相同的动作。

若这样构成，则与第一实施例相比，在边缘强度值中容易反映第一图像的噪声的影响。但是，因为利用没有进行过LPF处理的第一图像，所以能够得到清晰地反映出边缘的边缘强度值。因此，能够谋求边缘的清晰化。

另外，在本实施例中，也可在STEP2～STEP5之前进行STEP6b，也可与STEP2～STEP5并行地进行STEP6b。

<第三实施例>

其次，利用图14对合成处理部的第三实施例的构成进行说明。图14是表示本发明的实施方式中的拍摄装置的合成处理部的第四实施例的构成的框图。其中，省略与第一实施例相同的部分的详细说明，对与第一实施例不同的地方进行详细地说明。

如图14所示，本实施例子的合成处理部61c具备：与第一实施例相同的位置偏移修正部62、LPF部63、差分值计算部64、第一合成部65、边缘强度值计算部66和第二合成部67。但是，本实施例的合成处理部61c具备放大部38，其输入比第一及第二实施例中的第二图像还小的第二小图像，并且输出将该第二小图像放大且与第一及第二实施例中的第二图像相同大小的图像(以下，与第一及第二实施例同样设为第二图像，在本实施例的说明中单独作为第二图像的情况指的就是本图像)。另外，在放大部68中放大得到的第二图像，与第一实施例同样地被输入到位置偏移修正部62中，以后，进行与第一实施例的合成处理部61a同样的动作。

即，本实施例的合成处理部61c除了在图3的STEP1和STEP2之间进行在放大部68中放大第二小图像的处理(以下，作为STEPc)以外，进行与第一实施例的合成处理部61a同样的动作。

另外，作为第二小图像，例如能够利用对第一及第二实施例中的第二图像进行过像素加法运算的图像(合成位置接近的多个像素而作为一个像素的图像)，或从第一及第二实施例中的第二图像间隔提取规定像素后的图像等。另外，也可将这些图像在拍摄部2中直接生成(如，在从拍摄部2输出的时间点已经进行了像素加法运算或间隔提取)。并且，在放大部68中，例如通过插补第二小图像的像素而进行放大，以生成第二图像。

在本实施例的合成处理部61c中，能够输入大小比输入到第一及第二实施例的合成处理部61a及61b中的、第一及第二实施例的第二图像小(数据量少)的第二小图像。因此，能够降低被输入合成处理部61c中的图像的数据量。

另外，如本实施例所示，在构成为使第二小图像输入的情况下，在放大部68中放大而得到的第二图像的分辨率变低，边缘变得不清晰。但是，本实施例的合成处理部61c因为从第一图像得到清晰的边缘，所以能够得到与上述的第一及第二实施例图同样清晰的合成图像。

此外，也可以将边缘强度值计算部66设为与第二实施例的合成处理部61b同样的边缘强度值计算部66b。另外，也可以在STEPc及STEP2之前执行STEP3，还可以与STEPc及STEP2并行地进行STEP3。另外，虽然也可以在STEPc及STEP2之前进行STEP6，或者与STEPc及STEP2并行地进行STEP6，但是设为在STEP3之后进行STEP6。

<第四实施例>

其次，利用图15对合成处理部的第四实施例的构成进行说明。图15是表示本发明的实施方式中的拍摄装置的合成处理部的第五实施例的构成的框图。其中，省略与第一实施例同样的部分的详细的说明，对与第一实施例不同的地方进行详细说明。

如图15所示，本实施例的合成处理部61d具备：与第一实施例同样的LPF部63、差分值计算部64、第一合成部65、边缘强度值计算部66和第二合成部67。另外，与第三实施例的合成处理部61c同样，输入第一图像和第二小图像。并且，具备：缩小第一图像，以成为与第二小图像大致相等的大小的图像(以下，作为第一小图像)的缩小部69；修正从缩小部69输出的第一小图像和第二小图像的位置偏移的位置偏移修正部62d；放大从位置偏移修正部62d输出的第二小图像并且输出与第一及第二实施例中的第二图像同样大小的图像(以下，与第一及第二实施例同样作为第二图像，在本实施例的说明中单独作为第二图像的情况即是指本图像)的放大部70。

本实施例的合成处理部61d，除了在图3的STEP1和STEP2之间进行在缩小部69中缩小第一图像的处理(以下，作为STEPd-1)、代替STEP2进行修正第一小图像与第二小图像的位置偏移的处理(以下，作为STEP2d)、在STEP2d～4之间进行放大修正位置偏移的第二小图像的处理(以下，作为STEPd-2)以外，进行与第一实施例的合成处理部61a同样的动作。

另外，缩小部69例如通过像素加法运算第一图像、或者从第一图像间隔提取规定的像素而生成第一小图像。另外，在放大部70中，例如通过插补第二小图像的像素而进行放大，以生成第二图像。另外，位置偏移修正部变换第二小图像的像素的坐标，以便使第一图像的像素与在放大部70中放大而得到的第二图像的像素对应。

若采取这样的构成，则在位置偏移修正部62d中位置偏移被修正的图像缩小成为可能。因此，能够降低用于进行位置修正的运算量或存储器容量。另外，即使采取对第二小图像在放大部70中放大而得到的第二图像与第一图像进行合成的构成，也能够得到与第三实施例同样清晰的合成图像。

此外，也可以将边缘强度值计算部66设为与第二实施例的合成处理部61b同样的边缘强度值计算部66b。另外，在本实施例中，也可以在STEPd-1、STEP2d及STEPd-2之前进行STEP3，还可以与STEPd-1、STEP2d及STEPd-2并行地进行STEP3。另外，虽然也可以在STEPd-1、STEP2d及STEPd-2之前进行STEP6，或者与STEPd-1、STEP2d及STEPd-2并行地进行STEP6，但是设为在STEP3之后进行STEP6。

《变形例》

在图2及图13～图15的合成处理部61a～61d中，虽然将第一合成部65和第二合成部67作为分体来记载，但是也可作为一体。该情况下，也可以不生成第四图像160且省略图3的STEP5。即，也可以同时合成第一图像、第二图像及第三图像这三幅图像。另外，进行这样的合成的情况下，也可以基于以下所示的式(5)进行合成。此外，式(5)是将式(2)代入到式(4)中总结为一个公式的式子。

P(x，y)＝β(x，y)×P1(x，y)

       +{1-β(x，y)}×[α(x，y)×P2(x，y)+{1-α(x，y)}×P3(x，y)]

                                                          ···(5)

另外，虽然对合成处理部61a～61d中具备LPF部63的构成进行了说明，但是也可以采取不具备LPF部63的构成。该情况下，将第一图像和第二图像及第三图像输入到合成处理部61a～61d中。

另外，也可以构成为使第一合成部65中用于合成时的阈值Th1_L及Th1_H、或第二合成部67中用于合成时的阈值Th2_L及Th2_H可变。例如，也可以使阈值Th1_L及Th1_H或阈值Th2_L及Th2_H根据拍摄区域的亮度变化。

具体地，在拍摄区域暗(拍摄部2中输入的光学像暗)的情况下，也可以使阈值Th1_L及Th1_H或阈值Th2_L及Th2_H变大。拍摄区域暗的情况下，图像传感器3的灵敏度被设定得较大。因此，尤其第一图像120中含有的噪声极易明显。在这样的情况下，例如如上所述通过增大阈值Th1_L及Th1_H或阈值Th2_L及Th2_H，从而在结果图像180中能够防止第一图像120中包含较多噪声。

另外，由合成处理部61a～61d进行的上述的合成处理也可以在图像处理部6中的各种图像处理中的任何阶段进行。即，被输入到合成处理部61a～61d中的第一图像及第二图像可以是被实施了灰度修正处理等的图像处理的图像，还可以是未实施图像处理的图像。

另外，也可以将进行合成的多幅图像(如，上述的第一图像及第二图像)保存于外部存储器10等中，在再生时进行合成。关于该构成，如图16所示。图16是表示本发明的其他实施例中的拍摄装置的构成的框图。

如图16所示，拍摄装置1e与图1中示出的拍摄装置不同，在图像输出电路部13e中具备合成处理部61。另外，成为在图像处理部6e中不具备合成处理部61的构成。关于除此之外的构成，因为与图1中示出的拍摄装置1同样，所以省略详细的说明。另外，作为合成处理部61，例如能够利用上述的合成处理部61a～61d。

由此，也可以在外部存储器10中保存进行合成的图像，并且在再生侧中具备合成处理部61且在再生时进行合成处理。再有，还可以对不具备拍摄功能且仅进行图像的再生的再生装置适用本实施方式。另外，在采取这种构成的情况下，若将第三实施例的合成处理部61c用作合成处理部61c时，能够降低驱动部10中记录的合成前的图像的数据量。

另外，关于本发明的实施方式中的拍摄装置1、1e，也可以由计算机等的控制装置进行图像处理部6或图像输出电路部13e、合成处理部61a～61d等的各自的动作。再有，通过将由这种控制装置实现的功能的全部或一部分作为程序来描述，在程序执行装置(例如计算机)上执行该程序，从而实现该功能的全部或一部分。

另外，不限于上述情况，图1及图16的拍摄装置1、1e或图2及图13～图15的合成部61a～61d能够通过硬件或者硬件与软件的组合来实现。另外，利用软件构成拍摄装置1、1e或合成部61a～61d的情况下，与通过软件实现的部位相关的框图表示该部位的功能框图。

以上，针对本发明中的实施方式进行了说明，但是本发明的范围并不限定于此，在不脱离发明宗旨的范围内能够添加各种变更来执行。

本发明涉及一种处理所输入的图像的图像处理装置、或搭载了该图像处理装置的拍摄装置。另外，涉及一种处理所输入的图像的图像处理方法。

Claims (8)

1.一种图像处理装置，具备合成部，该合成部对通过拍摄而得到的第一图像、通过与该第一图像相比增长了曝光时间的拍摄而得到的第二图像和滤波了所述第一图像的高频成分的第三图像进行合成，以生成合成图像，

该图像处理装置还具备：

差分值计算部，其求出与所述第二图像与所述第三图像对应的每个像素的差分值；和

边缘强度值计算部，其提取基于所述第一图像的图像中含有的边缘并求出每个像素的边缘强度值；

所述合成部基于所述差分值，按照每个像素设定作为所述第二图像与所述第三图像的合成比率的第一合成比率，并且基于所述边缘强度值，按照每个像素设定为作为所述第一图像、所述第二图像及所述第三图像的合成比率的第二合成比率，

基于所述第一合成比率及第二合成比率按照每个像素进行合成，以生成所述合成图像。

2.根据权利要求1所述的图像处理装置，

所述合成部以越是所述差分值小的像素、所述第二图像所占的比率越大的方式设定所述第一合成比率，以越是所述边缘强度值大的像素、所述第一图像所占的比率越大的方式设定所述第二合成比率。

3.根据权利要求1所述的图像处理装置，

所述边缘强度值计算部基于所述第三图像来求取所述边缘强度值。

4.根据权利要求1所述的图像处理装置，

所述边缘强度值计算部基于所述第一图像来求取所述边缘强度值。

5.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具备放大部，其放大作为比所述第二图像小的图像的第二小图像，以生成第二图像并输出，

所述合成部对所述第一图像、从所述放大部输出的所述第二图像和所述第三图像进行合成，以生成合成图像。

6.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具备：

放大部，其放大作为比所述第二图像小的图像的第二小图像，以生成所述第二图像并输出；

缩小部，其生成使所述第一图像缩小到与所述第二小图像大致相等的大小的第一小图像并输出；

位置偏移修正部，其将所述第一小图像与第二小图像进行比较并且变换所述第二小图像的像素的坐标，使从所述放大部输出的所述第二图像的像素与所述第一图像的像素相对应，

所述合成部对所述第一图像、从所述放大部输出的所述第二图像和所述第三图像进行合成，以生成合成图像。

7.一种拍摄装置，具备：

拍摄部，其通过拍摄而生成图像；和

权利要求1所述的图像处理装置；

其中：

所述拍摄部通过拍摄生成所述第一图像并且通过与该第一图像相比增长了曝光时间的拍摄而生成第二图像。

8.一种图像处理方法，其中包括：

第一步骤，滤波第一图像的高频成分而得到第三图像；和

第二步骤，对通过该第一步骤得到的所述第三图像、所述第一图像和通过与所述第一图像相比增长了曝光时间的拍摄而得到的第二图像进行合成，以生成合成图像，

该图像处理方法还具备：

差分值计算步骤，求出与所述第二图像与所述第三图像对应的每个像素的差分值；和

边缘强度值计算步骤，提取基于所述第一图像的图像中含有的边缘并求出每个像素的边缘强度值；

在所述第二步骤中，基于所述差分值，按照每个像素设定作为所述第二图像与所述第三图像的合成比率的第一合成比率，并且基于所述边缘强度值，按照每个像素设定为作为所述第一图像、所述第二图像及所述第三图像的合成比率的第二合成比率，

基于所述第一合成比率及第二合成比率按照每个像素进行合成，以生成所述合成图像。

Images