CN102387372B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备和图像处理方法。图像处理方法通过利用与闪光灯光相对应的白平衡校正值校正第一图像数据来生成第一显像图像数据，通过利用与外部光相对应的白平衡校正值校正第一图像数据来生成第二显像图像数据，基于第一图像数据被分割成的各块的闪光灯光成分和外部光成分来计算各块的合成比，并根据所计算出的合成比来合成第一显像图像数据和第二显像图像数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及对摄像设备所拍摄的图像的白平衡校正。

背景技术

一般地，诸如数字照相机和数字摄像机等的使用图像传感器的摄像设备设置有用于调整通过摄像操作所拍摄的图像的色调的白平衡控制功能。该白平衡控制包括手动白平衡控制，其通过预先拍摄白色被摄体获取白平衡系数，并将所计算出的白平衡系数应用至整个画面。此外，白平衡控制包括自动白平衡控制，其从所拍摄的图像自动检测可能的白色部分，从整个画面中的各颜色成分的平均值计算白平衡系数，并将所计算出的白平衡系数应用至整个画面。

现在将说明传统的自动白平衡控制的方法。通过模拟/数字(A/D)转换将从图像传感器输出的模拟信号转换成数字信号，并如图3所示将数字信号分割成多个块。各块由红色(R)、绿色(G)和蓝色(B)的像素构成，并且通过例如以下等式(1)来针对各块计算颜色评价值(Cx[i]，Cy[i])。

等式(1)：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

(在该等式中，i表示块的编号，R[i]、G[i]和B[i]各自表示块i中包括的RGB像素的平均值，以及Y[i]＝(R[i]+2G[i]+B[i])/4。)

然后，如果所计算出的颜色评价值(Cx[i]，Cy[i])在预设白色检测范围内，则将该块判断为白色的块。然后，计算这些块中包括的颜色像素的累加值(SumR，SumG，SumB)，并且通过以下等式(2)来计算白平衡系数(WBCo_R，WBCo_G，WBCo_B)。

等式(2)：

WBCo_R＝SumY×1024/sumR

WBCo_G＝SumY×1024/sumG

WBCo_B＝SumY×1024/sumB

(在该等式中，SumY＝(sumR+2×sumG+sumB)/4。)

然而，这种自动白平衡控制具有以下问题：在摄像设备发出闪光灯光的情况下拍摄图像的场景中，即使在图像内存在与闪光灯光不同的光源，摄像设备也通过将如上所述计算出的白平衡系数应用至整个画面来进行白平衡控制。因此，难以进行白平衡控制以针对所有光源实现适当的色感。例如，在摄像设备发出作为具有高色温的光源的闪光灯光的场景中，如果环境光包含诸如白炽灯光源的低色温光源，则基于闪光灯光控制白平衡引起了针对环境光的低色温光源的不合适的白平衡。另一方面，基于环境光的低色温光源控制白平衡引起针对闪光灯光的不合适的白平衡。此外，即使摄像设备通过将白平衡调整至各光源的中间来进行白平衡控制，这也引起对所有光源不合适的白平衡，导致生成以下图像：利用闪光灯光照射的区域带有蓝色感，而利用低色温光源照射的区域带有红色感。

因此，为了解决这个问题，例如，日本专利3540485中论述的技术通过针对各任意被摄体区域、将在闪光灯开启时所拍摄的图像与在闪光灯关闭时所拍摄的图像进行比较来计算数据比，并基于计算出的比值来判断闪光灯光的贡献度。该技术通过根据贡献度、针对利用闪光灯光的曝光所拍摄的视频数据的各区域、选择白平衡控制值，来进行白平衡控制。

然而，日本专利3540485中论述的传统技术在针对各区域改变白平衡控制值之后进行显像处理，从而诸如颜色再现等的其它控制可能变得对于白平衡控制值不合适。结果，传统的技术不能完全地再现适当的色感。

发明内容

本发明涉及即使在发出闪光灯光的场景中也生成实现适当的色感的图像。

根据本发明的一方面，图像处理设备包括：校正部件，用于通过利用与闪光灯光相对应的第一白平衡校正值对发出闪光灯光时所拍摄的第一图像数据进行校正来生成第一显像图像数据，并通过利用与外部光相对应的第二白平衡校正值对所述第一图像数据进行校正来生成第二显像图像数据；分割部件，用于将所述第一图像数据分割成多个块；合成比计算部件，用于根据所述第一图像数据的亮度值和未发出闪光灯光时所拍摄的第二图像数据的亮度值来计算所述分割部件分割得到的各块的闪光灯光成分和外部光成分，并基于所计算出的各块的闪光灯光成分和外部光成分来计算各块的合成比；以及合成部件，用于根据所述合成比来合成所述校正部件所生成的所述第一显像图像数据和所述第二显像图像数据。

根据本发明的其它方面，图像处理方法包括：通过利用与闪光灯光相对应的第一白平衡校正值对发出闪光灯光时所拍摄的第一图像数据进行校正来生成第一显像图像数据，并通过利用与外部光相对应的第二白平衡校正值对所述第一图像数据进行校正来生成第二显像图像数据；将所述第一图像数据分割成多个块；根据所述第一图像数据的亮度值和未发出闪光灯光时所拍摄的第二图像数据的亮度值来计算分割得到的各块的闪光灯光成分和外部光成分，并基于所计算出的各块的闪光灯光成分和外部光成分来计算各块的合成比；以及根据所计算出的合成比来合成通过所述校正生成的所述第一显像图像数据和所述第二显像图像数据。

本发明的方面还可以提供用于执行这里所述的任意方法和/或用于体现这里所述的任意设备特征的计算机程序和计算机程序产品，以及存储有用于执行这里所述的任意方法和/或用于实现这里所述的任意设备特征的程序的计算机可读介质。本发明的方面可以大致扩展至如这里参考附图所述的方法、设备和/或使用。在本发明的一个方面中的任意特征可以以任意适当的组合应用至本发明的其它方面。特别地，方法方面的特征可以应用至设备方面，反之亦然。此外，在硬件中实现的特征通常可以在软件中实现，反之亦然。这里提及的任何软件和硬件特征应当进行相应地解释。现在将参考附图通过示例说明本发明的其它优选特征和方面。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用于说明本发明的原理。

图1是示出根据本发明典型实施例的数字照相机的结构的例子的框图。

图2是示出用于合成两个图像的处理的例子的流程图。

图3示出各自由R、G和B颜色的像素构成的块。

图4A和4B是各自示出用于在白色检测时使用的颜色评价值的关系的例子的特性图。

图5是示出用于确定第一WB校正值的处理的例子的流程图。

图6示出以时间顺序配置的摄像控制。

图7是示出当根据驱动模式生成光谱差时颜色评价值的关系的特性图。

图8示出在发出闪光灯光之前的亮度和发出闪光灯光之后的亮度之间的差的例子。

图9是示出在具有低色温的光源的情况下的输入和输出之间的关系的特性图。

具体实施方式

以下将参考附图详细说明本发明的各种典型实施例、特征和方面。

以下将参考附图详细说明本发明的有用的图像处理设备的典型实施例。图1是示出根据本典型实施例的数字照相机100的结构的例子的框图。参考图1，固体图像传感器101是由例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)构成的图像传感器。固体图像传感器101的表面覆盖有例如诸如拜耳阵列等的RGB颜色滤波器，以配置为能够进行彩色拍摄。当在固体图像传感器101上形成被摄体图像时，固体图像传感器101生成图像数据(图像信号)，该图像数据之后被存储在存储器102中。

控制单元114计算整个图像被照亮的快门速度和光圈值，并计算为了聚焦在位于聚焦区域内的被摄体的调焦透镜的驱动量。然后，将控制单元114计算出的信息、即曝光值(快门速度和光圈值)和调焦透镜的驱动量发送至摄像控制电路113，并且根据各自的值控制相应的单元和部分。白平衡(WB)控制单元103基于存储器102中存储的图像信号计算WB校正值，并使用所计算出的WB校正值来对存储器102中存储的图像信号进行WB校正。后面将详细说明WB控制单元103的结构和用于计算WB校正值的方法。

颜色转换矩阵电路104通过将由WB控制单元103进行了WB校正后的图像信号与颜色增益相乘，将图像信号转换成色差信号R-Y/B-Y，以使得可以通过最佳颜色来再现图像信号。低通滤波器(LPF)电路105是用于限制色差信号R-Y/B-Y的频带的电路。彩度抑制(CSUP)电路106是用于移除通过LPF电路105限制了频带的图像信号的饱和部分的伪色信号的电路。

另一方面，也将由WB控制单元103进行了WB校正后的图像信号输出至亮度信号生成电路111。亮度信号生成电路111从所输入的图像信号生成亮度信号Y。边缘增强电路112对所生成的亮度信号Y施加边缘增强处理。

RGB转换电路107将从CSUP电路106输出的色差信号R-Y/B-Y和从边缘增强电路112输出的亮度信号Y转换成RGB信号。伽玛校正电路108对转换后的RGB信号施加灰度校正。之后，颜色亮度转换电路109将具有校正后的灰度的RGB信号转换成YUV信号。此外，联合图像专家组(JPEG)压缩电路110通过例如JPEG方法压缩转换后的YUV信号，并将压缩后的数据作为图像信号存储在外部或内部记录介质115中。

接着，将详细说明WB控制单元103计算WB校正值的方法。图5是示出以下处理过程的例子的流程图：WB控制单元103针对发出闪光灯光时所拍摄的图像计算第一白平衡校正值(第一WB校正值)。如将在此使用的，第一WB校正值表示通过与闪光灯光相对应的白平衡控制所计算出的校正值。

首先，在步骤S501中，WB控制单元103读出存储器102中存储的图像信号(第一图像数据)，并将图像的画面分割成任意的m个块。然后，在步骤S502中，针对m个块中的每个块，WB控制单元103针对各颜色平均化像素值以计算颜色平均值(R[i]，G[i]，B[i])。然后，WB控制单元103进一步使用以下等式(3)来计算颜色评价值(Cx[i]，Cy[i])。

等式(3)：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

(在该等式中，Y[i]＝(R[i]+2G[i]+B[i])/4。)

随后，在步骤S503中，WB控制单元103进行白色检测以判断颜色评价值是否在白色检测范围内。现在，将说明白色检测的方法。

图4A和4B是各自示出用于在白色检测时使用的颜色评价值的关系的特性图。在图4A中，x轴(Cx)的负方向表示拍摄高色温被摄体的白色时的颜色评价值，而x轴的正方向表示拍摄低色温被摄体的白色时的颜色评价值。此外，y轴(Cy)表示光源的绿色成分的程度。随着值在y轴的负方向上增大，绿色成分增大，这表示光源是荧光灯。在步骤S503中，WB控制单元103判断步骤S502中计算出的第i个块的颜色评价值(Cx[i]，Cy[i])是否位于图4A所示的预设白色检测范围401内。

图4A所示的白色检测范围401是被限定为在闪光灯光的光源下检测白色的检测范围。如果所计算出的颜色评价值(Cx[i]，Cy[i])位于该白色检测范围401内(步骤S503中为“是”)，则WB控制单元103判断为该块是白色。然后，在步骤S504中，WB控制单元103将该块的颜色平均值(R[i]，G[i]，B[i])相加。另一方面，如果所计算出的颜色评价值不位于该白色检测范围401内(步骤S503中为“否”)，则处理在没有将该块的颜色平均值相加的情况下进入步骤S505。在步骤S504中的该计算中，WB控制单元103使用以下等式(4)将颜色平均值(R[i]，G[i]，B[i])相加。

等式(4)：

$\mathrm{SumR}1=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×R\left[i\right]$

$\mathrm{SumG}1=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×G\left[i\right]$

$\mathrm{SumB}1=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×B\left[i\right]$

在该等式(4)中，在颜色评价值(Cx[i]，Cy[i])位于该白色检测范围401内的情况下将Sw[i]设置为1，在颜色评价值(Cx[i]，Cy[i])不位于该白色检测范围401内的情况下将Sw[i]设置为0。以这种方式设置Sw[i]使得WB控制单元103进行或跳过对颜色平均值(R[i]，G[i]，B[i])的相加。

随后，在步骤S505中，WB控制单元103判断是否针对所有块确定了颜色评价值是否位于颜色检测范围401内。作为步骤S505中的判断的结果，如果存在未被处理的块(步骤S505中为“否”)，则处理返回至步骤S502。如果处理了所有块(步骤S505中为“是”)，则处理进入下一步骤S506。以这种方式，当WB控制单元103结束了所有块的处理时，确定等式(4)中的累加值(SumR1，SumG1，SumB1)。

随后，在步骤S506中，WB控制单元103使用以下等式(5)、从所确定的颜色平均值的累加值(SumR1，SumG1，SumB1)计算第一WB校正值(WBCol_R1，WBCol_G1，WBCol_B1)。

等式(5)：

WBCol_R1＝SumY1×1024/SumR1

WBCol_G1＝SumY1×1024/SumG1

WBCol_B1＝SumY1×1024/SumB1

(在该等式中，sumY1＝(sumR1+2×sumG1+sumB1)/4。)

可选地，可以预先将闪光灯光的第一WB校正值设置为已知值。

接着，将说明用于计算第二白平衡校正值(第二WB校正值)的方法。从未发出闪光灯光时所拍摄的图像数据(第二图像数据)计算第二WB校正值。图6示出以时间顺序配置的摄像控制。参考图6，数字照相机100在半按下快门开关(以下将该状态称为“SW1”)之前周期性地拍摄实时取景图像。当将数字照相机100设置为SW1状态时，数字照相机100开始自动调焦(AF)锁定和自动曝光(AE)锁定。此外，当全按下快门按钮(以下将该状态称为“SW2”)时，数字照相机100发出闪光灯光作为测试闪光，然后进入主曝光。在本典型实施例中，未发出闪光灯光时所拍摄的图像数据与测试闪光之前拍摄的、在图6中的“外部光”所表示的时间段期间曝光的图像数据相对应。可选地，未发出闪光灯光时所拍摄的图像数据可以是在主曝光之后曝光和拍摄的图像数据。

与用于计算第一WB校正值的上述方法相似，WB控制单元103进行用于计算第二WB校正值的方法。与第一WB校正值的计算的不同点是使用如图4B所示的白色检测范围402所示的用于外部光的白色检测范围。这是因为，闪光灯光是已知的光源，而外部光是未知的光源，从而不能像对与闪光灯光的发光相对应的白色检测范围401进行限定那样、对与外部光相对应的白色检测范围进行限定。

通过预先在不同光源下拍摄白色并沿着黑体轨迹绘制所计算出的颜色评价值来定义图4B所示的白色检测范围402。可以将该白色检测范围402设置为根据拍摄模式具有不同的范围。甚至可以将第二WB校正值应用至不同的摄像驱动模式。例如，可以使用过去计算出的电子取景器(EVF)的WB校正值作为第二WB校正值。然而，在根据驱动模式生成光谱差的情况下，通过如图7所示的ΔCx和ΔCy来校正Cx和Cy，然后计算第二WB校正值。

此外，如果利用诸如白炽灯光源的低色温光源照射背景，则可以计算第二WB校正值以维持色感，从而保持场景的气氛。例如，如图9所示的关系一样，设置色温的关系以使得将所输入的图像输出为具有不同色温的图像。以这种方式，在当第二WB校正值的色温低时控制白平衡以维持色感的情况下，例如，可以生成残留白炽灯光源的红色感的图像。

接着，将参考图2所示的流程图说明图像合成处理。图2是示出WB控制单元103进行的用于合成图像的处理的例子的流程图。首先，在步骤S201中，WB控制单元103判断通过图5所示的过程计算出的第一WB校正值和第二WB校正值之间的差是否等于或小于预定值。作为该判断的结果，如果差等于或小于预定值(步骤S201中为“是”)，则WB控制单元103不进行图像合成处理。然后，在步骤S211中，WB控制单元103进行正常的白平衡控制。后面将说明正常的白平衡控制。

另一方面，作为步骤S201中的判断的结果，如果差超过预定值(步骤S201中为“否”)，则处理进入步骤S202，在步骤S202中，WB控制单元103判断被摄体是否正在移动。此时，WB控制单元103通过已知的技术检测被摄体，并通过将发出闪光灯光时所拍摄的图像数据与未发出闪光灯光时所拍摄的图像数据进行比较、并计算它们之间的差是否等于或大于预定量来判断被摄体是否正在移动。作为该判断的结果，如果被摄体正在移动(步骤S202中为“是”)，则处理进入步骤S211。

另一方面，作为步骤S202中的判断的结果，如果被摄体没有在移动(步骤S202中为“否”)，则处理进入步骤S203，在步骤S203中，WB控制单元103判断数字照相机100和被摄体之间的距离是否超过预定值。此时，作为离被摄体的距离，WB控制单元103可以使用焦距或者可以原样使用之前作为离被摄体的距离所输入的值。作为该判断的结果，如果距离超过预定值(步骤S203中为“是”)，则处理进入步骤S211。另一方面，作为步骤S203中的判断的结果，如果距离等于或小于预定值(步骤S203中为“否”)，则处理进入步骤S204以进行图像合成处理。

随后，在步骤S204中，WB控制单元103使用上述第一WB校正值对存储器102中存储的、在发出闪光灯光时拍摄的图像信号(第一图像数据)进行白平衡校正，并生成显像图像信号Yuv1作为第一显像图像数据。然后，在步骤S205中，类似地，WB控制单元103使用上述第二WB校正值对第一图像数据进行白平衡校正，并生成显像图像数据Yuv2作为第二显像图像数据。接着，在步骤S206中，WB控制单元103将存储器102中存储的各图像信号(发出闪光灯光时所拍摄的图像和未发出闪光灯光时所拍摄的图像)、显像图像信号Yuv1和显像图像信号Yuv2分割成n个块。

随后，在步骤S207中，WB控制单元103针对存储器102中存储的未发出闪光灯光时所拍摄的图像中的各块、针对各颜色平均化像素值以计算颜色平均值(R2[i]，G2[i]，B2[i])。然后，WB控制单元103使用以下等式(6)计算各块的亮度值a[i]。此时，将以这种方式计算出的各块的亮度值a[i]设置为各块的外部光成分。

等式(6)：

a[i]＝0.3×R2[i]+0.6×G2[i]+0.1×B2[i]

随后，在步骤S208中，以与亮度值a[i]的计算相同的方式，WB控制单元103针对主曝光期间发出闪光灯光时所拍摄的图像中的各块、针对各颜色平均化像素值以计算颜色平均值(R1[i]，G1[i]，B1[i])。然后，WB控制单元103使用以下等式(7)计算各块的亮度值b[i]。

等式(7)：

b[i]＝0.3×R1[i]+0.6×G1[i]+0.1×B1[i]

然后，WB控制单元103通过从所计算出的各块的亮度值b[i]中减去未发出闪光灯光时所拍摄的图像中相应的块的亮度值a[i]，来进一步计算各块的闪光灯光成分c[i]。

随后，在步骤S209中，WB控制单元103通过将相互对应的闪光灯光成分c[i]和外部光成分a[i]进行比较来针对各块计算闪光灯光成分c[i]与外部光成分a[i]之比。然后，WB控制单元103使用以下等式(8)来计算在合成显像图像信号Yuv1和显像图像信号Yuv2时使用的各块的合成比α[i]。

等式(8)：

$\mathrm{\α}\left[i\right]=\frac{c\left[i\right]}{a\left[i\right]+c\left[i\right]}$

随后，在步骤S210中，WB控制单元103根据各块的合成比α[i]合成显像图像信号Yuv1和显像图像信号Yuv2以生成合成图像信号Yuv3。使用显像图像信号Yuv1的颜色评价值(Y1[i]，u1[i]，v1[i])和显像图像信号Yuv2的颜色评价值(Y2[i]，u2[i]，v2[i])来计算合成图像信号Yuv3的颜色评价值(Y3[i]，u3[i]，v3[i])。更具体地，通过以下等式(9)来计算合成图像信号Yuv3的颜色评价值(Y3[i]，u3[i]，v3[i])。

等式(9)：

Y3[i]＝Y1[i]×α[i]+Y2[i]×(1-α[i])

u3[i]＝u1[i]×α[i]+u2[i]×(1-α[i])

v3[i]＝v1[i]×α[i]+v2[i]×(1-α[i])

此时，WB控制单元103可以在步骤S209中进一步进行像素插值处理以从各块的合成比α[i]计算各像素的合成比α’[j]，以减少在块之间的边界处可能生成的色感变化。例如，WB控制单元103使用作为像素插值处理的双线性插值、从各块的合成比α[i]计算各像素的合成比α’[j]。此时，在步骤S210中，通过使用各像素的合成比α’[j]合成显像图像信号Yuv1和显像图像信号Yuv2来生成合成图像信号Yuv3。通过使用显像图像信号Yuv1的颜色评价值(Y1[j]，u1[j]，v1[j])和显像图像信号Yuv2的颜色评价值(Y2[j]，u2[j]，v2[j])来计算合成图像信号Yuv3的颜色评价值(Y3[j]，u3[j]，v3[j])。更具体地，通过以下等式(10)来计算合成图像信号Yuv3的颜色评价值(Y3[j]，u3[j]，v3[j])。

等式(10)：

Y3[j]＝Y1[j]×α′[j]+Y2[j]×(1-α′[j])

u3[j]＝u1[j]×α′[j]+u2[j]×(1-α′[j])

v3[j]＝v1[j]×α′[j]+v2[j]×(1-α′[j])

此外，在步骤S210中，WB控制单元103可以通过根据主曝光期间发出闪光灯光时所拍摄的图像中的各块的亮度值、针对各块判断是否进行图像合成处理，来改变针对各块的处理。在该情况下，如果当前正在被处理的块具有低的亮度值或高的亮度值，则WB控制单元103不对该块进行图像合成处理，而是使用通过后述的正常白平衡控制计算出的WB校正值来进行显像处理。另一方面，如果当前正在被处理的块具有除上述值以外的亮度值，则WB控制单元103对该块进行与上述图像合成处理相同的处理。

接着，将详细说明步骤S211中进行的正常白平衡控制。首先，WB控制单元103以与图5中所示的WB校正值的计算相同的方式计算第一WB校正值和第二WB校正值。然后，WB控制单元103对第一WB校正值和第二WB校正值进行加权相加。基于投射到被摄体的外部光与闪光灯光的投射比来进行加权相加。

现在将说明用于计算投射比的方法。首先，如图8所示，WB控制单元103获取发出闪光灯光作为测试闪光之前的图像数据，并从测试闪光之前所拍摄的图像数据计算由(m×n)矩阵构成的亮度块a。之后，在图6所示的定时发出闪光灯光作为测试闪光，并且WB控制单元103获取该测试闪光期间所生成的图像数据。然后，WB控制单元103也在与测试闪光之前所拍摄的图像的条件相同的条件下，计算由(m×n)矩阵构成的亮度块b。将这些亮度块a和b临时存储在例如数字照相机100的存储器102中。

此外，假定被摄体的背景在测试闪光之前的图像数据和测试闪光期间的图像数据之间基本上没有改变。因此，亮度块a和亮度块b之间的差数据表示当发出闪光灯光作为测试闪光时被摄体区域的反射光，从而可以从该差数据获取被摄体位置信息c。

WB控制单元103从由此计算出的被摄体位置信息c获取与被摄体的位置相对应的块，并计算所获取的块在主曝光期间的亮度Y1和未发出闪光灯光时的亮度Y2。此时，如果主曝光时的曝光条件与未发出闪光灯光时的曝光条件不同，则WB控制单元103在使曝光条件均衡之后计算亮度值Y1和亮度Y2。WB控制单元103设置由此计算出的亮度Y1与亮度Y2的比作为投射到被摄体的光量之比(混合比)，并通过根据该混合比对第一WB校正值和第二WB校正值进行加权相加来计算第三白平衡校正值。WB控制单元103将以该方式获取的第三WB校正值确定为WB控制单元103在WB处理时使用的WB校正值，并显像和生成最终的显像图像数据(第三显像图像数据)。

此外，上述图像合成处理对显像图像信号应用Yuv格式，但可以应用例如RGB格式作为图像格式。在该情况下，步骤S210中使用的等式(9)包含颜色评价值(R[i]，G[i]，B[i])来代替颜色评价值(Y[i]，u[i]，v[i])，并且WB控制单元103计算合成图像信号RGB3的颜色评价值(R3[i]，G3[i]，B3[i])。

以这种方式，根据本典型实施例，WB控制单元103基于各块的合成比来合成经过与闪光灯光相对应的WB处理的图像和经过与外部光相对应的WB处理的图像。结果，可以生成具有适当色感的主被摄体和背景的图像，从而即使在发出闪光灯光的场景中也给用户提供优选的图像。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：

校正部件，用于通过利用与闪光灯光相对应的第一白平衡校正值对发出闪光灯光时所拍摄的第一图像数据进行校正来生成第一显像图像数据，并通过利用与外部光相对应的第二白平衡校正值对所述第一图像数据进行校正来生成第二显像图像数据；

分割部件，用于将所述第一图像数据分割成多个块；

合成比计算部件，用于根据所述第一图像数据的亮度值和未发出闪光灯光时所拍摄的第二图像数据的亮度值来计算所述分割部件分割得到的各块的闪光灯光成分和外部光成分，并基于所计算出的各块的闪光灯光成分和外部光成分来计算各块的合成比；以及

合成部件，用于根据各块的所述合成比来合成所述校正部件所生成的所述第一显像图像数据和所述第二显像图像数据。

2.根据权利要求1所述的图像处理设备，其特征在于，还包括：

第一计算部件，用于根据发出闪光灯光时所拍摄的所述第一图像数据来计算与闪光灯光相对应的所述第一白平衡校正值；以及

第二计算部件，用于根据未发出闪光灯光时所拍摄的所述第二图像数据来计算与外部光相对应的所述第二白平衡校正值。

3.根据权利要求1所述的图像处理设备，其特征在于，所述合成比计算部件根据各块的合成比通过插值处理计算各像素的合成比。

4.根据权利要求1所述的图像处理设备，其特征在于，所述合成部件选择性地在亮度值满足预定条件的块处合成所述第一显像图像数据和所述第二显像图像数据。

5.根据权利要求2所述的图像处理设备，其特征在于，所述第二计算部件计算所述第二白平衡校正值以维持光源的色感。

6.根据权利要求2所述的图像处理设备，其特征在于，所述第二计算部件根据摄像驱动模式来校正所述第二白平衡校正值。

7.根据权利要求2到6中任一项所述的图像处理设备，其特征在于，还包括第三计算部件，所述第三计算部件用于在所述第一白平衡校正值和所述第二白平衡校正值之间的差等于或小于预定值的情况下，根据投射到所述第一图像数据中所包含的被摄体上的闪光灯光与外部光之比来计算所述第一白平衡校正值和所述第二白平衡校正值的混合比，并基于所计算出的混合比、根据所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值，

其中，所述校正部件使用所述第三计算部件所计算出的所述第三白平衡校正值来生成第三显像图像数据。

8.根据权利要求2到6中任一项所述的图像处理设备，其特征在于，还包括第三计算部件，所述第三计算部件用于在所述第一图像数据中的被摄体正在移动的情况下，根据投射到所述被摄体上的闪光灯光与外部光之比来计算所述第一白平衡校正值和所述第二白平衡校正值的混合比，并基于所计算出的混合比、根据所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值，

其中，所述校正部件使用所述第三计算部件所计算出的所述第三白平衡校正值来生成第三显像图像数据。

9.根据权利要求2到6中任一项所述的图像处理设备，其特征在于，还包括第三计算部件，所述第三计算部件用于在离所述第一图像数据中的被摄体的距离大于预定量的情况下，根据投射到所述被摄体上的闪光灯光与外部光之比来计算所述第一白平衡校正值和所述第二白平衡校正值的混合比，并基于所计算出的混合比、根据所述第一白平衡校正值和所述第二白平衡校正值来计算第三白平衡校正值，

其中，所述校正部件使用所述第三计算部件所计算出的所述第三白平衡校正值来生成第三显像图像数据。

10.一种图像处理方法，包括：

通过利用与闪光灯光相对应的第一白平衡校正值对发出闪光灯光时所拍摄的第一图像数据进行校正来生成第一显像图像数据，并通过利用与外部光相对应的第二白平衡校正值对所述第一图像数据进行校正来生成第二显像图像数据；

将所述第一图像数据分割成多个块；

根据所述第一图像数据的亮度值和未发出闪光灯光时所拍摄的第二图像数据的亮度值来计算分割得到的各块的闪光灯光成分和外部光成分，并基于所计算出的各块的闪光灯光成分和外部光成分来计算各块的合成比；以及

根据所计算出的各块的合成比来合成通过所述校正生成的所述第一显像图像数据和所述第二显像图像数据。

11.根据权利要求10所述的图像处理方法，其特征在于，还包括：

根据发出闪光灯光时所拍摄的所述第一图像数据来计算与闪光灯光相对应的所述第一白平衡校正值；以及

根据未发出闪光灯光时所拍摄的所述第二图像数据来计算与外部光相对应的所述第二白平衡校正值。