CN104869380A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备能够在不会丢失高亮度区域中的色阶的情况下，通过调整各颜色信号的饱和水平来进行显影。针对所拍摄数据计算三个颜色的颜色信号的饱和水平。获取所拍摄数据的各像素中的颜色信号值作为像素信息。如果基于饱和水平和像素信息判断为进行替换，则根据饱和水平最高的颜色信号来进行饱和水平第二高的颜色信号的替换，并且根据饱和水平最高和第二高的颜色信号来进行饱和水平最低的颜色信号的替换。对进行了替换处理的所拍摄数据进行预定处理，由此生成显影数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于对所拍摄数据进行显影的图像处理技术，尤其涉及使得可以将所拍摄数据的动态范围反映到显影之后的图像数据上的图像处理技术。

背景技术

传统上，在对所拍摄数据进行显影时，通过考虑已获取了所拍摄数据的摄像设备的特性和拍摄条件来进行用于调整颜色信号的所谓的白平衡调整。通过该白平衡调整，如果被摄体具有灰色，则输出由水平均匀的颜色信号来形成灰色的、作为显影结果的被摄体的图像。

然而，在白平衡调整之后颜色信号在饱和水平方面变得不同的情况下，无法进行适当的白平衡调整，并且在图像的高亮度区域中有时会发生所谓的着色(coloring)。

为了解决该问题，提出了如下方法(参见日本特开2000-13808)：根据白平衡调整之前或之后的颜色信号R的水平来设置限幅水平，并且按所设置的限幅水平对进行了白平衡调整的颜色信号G和B进行限幅。

此外，提出了如下方法(参见日本特开2004-328564)：在进行白平衡调整之后判断各颜色信号是否处于饱和状态，并且根据与饱和状态的颜色信号不同的其它颜色信号的水平来校正被判断为饱和的颜色信号。

然而，在日本特开2000-13808所述的方法中，与超过限幅水平的颜色信号有关的信息丢失，使得在显影结果中不能表现高亮度区域的色阶(gradation)。

此外，在日本特开2004-328564所述的方法中，依赖于颜色信号水平的校正是不充分的。更具体地，在对颜色和亮度逐渐改变的渐变进行显影的情况下，有时会发生在非饱和状态和饱和状态之间的边界处颜色信号大幅改变的色调跳跃(tone jump)。作为使用在饱和水平方面不同的颜色信号所进行的校正的结果，着色残留在高亮度区域中。

发明内容

本发明提供了一种能够在不会丢失高亮度区域中的色阶的情况下通过调整各颜色信号的饱和水平来进行显影的图像处理设备、图像处理方法和存储介质。

在本发明的第一方面中，提供一种图像处理设备，用于通过对所拍摄数据进行显影来获取显影数据，所述图像处理设备包括：饱和水平计算单元，用于计算所述所拍摄数据的三个颜色的颜色信号各自的饱和水平；像素信息获取单元，用于获取所述所拍摄数据的各像素中的颜色信号值作为像素信息；判断单元，用于基于所述饱和水平和所述像素信息来判断是否进行所述颜色信号中的某一个颜色信号的替换；替换处理单元，用于在所述判断单元判断为要进行替换的情况下，根据所述饱和水平最高的颜色信号来对所述饱和水平第二高的颜色信号进行替换，并且根据所述饱和水平最高的颜色信号和所述饱和水平第二高的颜色信号来对所述饱和水平最低的颜色信号进行替换；以及显影处理单元，用于对所述替换处理单元进行了替换处理的所拍摄数据进行预定处理，由此生成所述显影数据。

在本发明的第二方面中，提供一种图像处理方法，用于通过对所拍摄数据进行显影来获取显影数据，所述图像处理方法包括以下步骤：计算所述所拍摄数据的三个颜色的颜色信号各自的饱和水平；获取所述所拍摄数据的各像素中的颜色信号值作为像素信息；判断步骤，用于基于所述饱和水平和所述像素信息来判断是否进行所述颜色信号中的某一个颜色信号的替换；在所述判断步骤中判断为要进行替换的情况下，根据所述饱和水平最高的颜色信号来对所述饱和水平第二高的颜色信号进行替换，并且根据所述饱和水平最高的颜色信号和所述饱和水平第二高的颜色信号来对所述饱和水平最低的颜色信号进行替换；以及对进行了替换处理的所拍摄数据进行预定处理，由此生成所述显影数据。

在本发明的第三方面中，提供一种存储有计算机可执行控制程序的非瞬态计算机可读存储介质，所述计算机可执行控制程序用于使计算机执行图像处理设备的控制方法，所述图像处理设备用于通过对所拍摄数据进行显影来获取显影数据，所述控制方法包括以下步骤：计算所述所拍摄数据的三个颜色的颜色信号各自的饱和水平；获取所述所拍摄数据的各像素中的颜色信号值作为像素信息；判断步骤，用于基于所述饱和水平和所述像素信息来判断是否进行所述颜色信号中的某一个颜色信号的替换；在所述判断步骤中判断为要进行替换的情况下，根据所述饱和水平最高的颜色信号来对所述饱和水平第二高的颜色信号进行替换，并且根据所述饱和水平最高的颜色信号和所述饱和水平第二高的颜色信号来对所述饱和水平最低的颜色信号进行替换；以及对进行了替换处理的所拍摄数据进行预定处理，由此生成所述显影数据。

根据本发明，根据饱和水平和像素信息来进行替换处理。因此，可以在不会丢失高亮度区域中的色阶的情况下，通过调整各颜色信号的饱和水平来进行显影。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是作为根据本发明的第一实施例的图像处理设备的摄像设备(数字照相机)的框图。

图2是示出图1所示的白平衡调整部所进行的白平衡调整处理的示例的图。

图3是图1所示的替换处理器所进行的替换处理的流程图。

图4A～4D是在说明通过图3所示的替换处理所生成的替换之后的RAW数据时使用的图，其中：图4A示出在白平衡调整之后所有颜色信号都达到各自的饱和水平的状态，图4B示出在白平衡调整之后颜色信号中的一部分达到饱和水平的状态的示例，图4C示出在白平衡调整之后颜色信号中的一部分达到饱和水平的状态的另一示例，并且图4D示出在白平衡调整之后颜色信号其中之一达到饱和水平的状态。

图5是示出图1所示的伽玛校正部所使用的伽玛曲线的示例的图。

图6是示出图1所示的颜色处理器所使用的颜色抑制表的示例的图。

图7是作为根据本发明的第二实施例的图像处理设备的摄像设备(数字照相机)的替换处理器所进行的替换处理的流程图。

图8A～8D是在说明通过图7所示的替换处理所生成的替换之后的RAW数据时使用的图，其中：图8A示出在白平衡调整之后所有颜色信号都达到各自的饱和水平的状态，图8B示出在白平衡调整之后颜色信号中的一部分达到饱和水平的状态的示例，图8C示出在白平衡调整之后颜色信号中的一部分达到饱和水平的状态的另一示例，并且图8D示出在白平衡调整之后颜色信号其中之一达到饱和水平的状态。

图9是作为根据本发明的第三实施例的图像处理设备的摄像设备(数字照相机)的替换处理器所进行的替换处理的流程图。

图10是示出在图9所示的替换处理中通过调整替换比例所进行的替换结果的示例的图。

图11A～11C是在说明在图1所示的显影部所进行的显影处理的结果中通过替换处理器所进行的替换处理而实现的高亮度区域的色阶的改善时使用的图，其中：图11A示出传统的显影结果，图11B示出第二实施例中所获得的显影结果，并且图11C示出第三实施例中所获得的显影结果。

具体实施方式

以下将参考示出本发明的实施例的附图来详细说明本发明。

图1是作为根据本发明的第一实施例的图像处理设备的摄像设备的框图。

图1所示的摄像设备例如是数字照相机(以下简称为照相机)，并且包括摄像部1。摄像部1包括拍摄透镜单元(以下简称为透镜)、摄像元件和测光部，并且输出所拍摄数据(以下称为RAW数据)。注意，RAW数据包括未显影的所拍摄数据和进行了显影处理的一部分处理的所拍摄数据。

显影部2对从摄像部1输出的RAW数据进行显影，由此生成显影数据(即，图像数据)。记录再现部3将从摄像部1输出的RAW数据和从显影部2输出的显影数据作为记录数据记录在外部存储装置(未示出)中，并且读出该外部存储装置中所记录的记录数据以将所读取数据提供至显影部2。

如上所述，所例示的照相机包括摄像部1、显影部2和记录再现部3，因而能够进行拍摄和显影。此外，在进行拍摄的情况下，该照相机可以将显影数据记录在外部存储装置中，在期望时刻从外部存储装置读出RAW数据，并且对所读取的RAW数据进行显影。

注意，照相机可以仅包括摄像部1和记录再现部3，并且使用配备有显影部和记录再现部的外部图像处理设备来对RAW数据进行显影。

图1所示的显影部2包括白平衡调整部10、光学校正部11、颜色插值部12、替换处理器13、噪声消除部14、伽玛校正部15、锐度处理器16和颜色处理器17。这些部和处理器相互连接。

白平衡调整部10将RAW数据的颜色信号的各个信号值乘以白平衡系数。据此，白平衡调整部10调整各颜色的信号水平，并由此输出被摄体图像的灰色作为由水平均匀的颜色信号构成的灰色。

在本实施例中，摄像部1从RAW数据的一部分区域中提取各颜色信号的信号值以确定白平衡系数，并且将这些白平衡系数连同RAW数据一起发送至显影部2。注意，摄像部1可以使用诸如利用测光部所获得的测光结果的方法等的任何其它合适的已知方法来确定白平衡系数。

白平衡系数是针对各颜色信号所确定的表示应用于各颜色信号的增益量的值，并且在将颜色信号的信号值乘以相关联的各白平衡系数的情况下，利用各自具有相同信号值的颜色信号来表示被摄体图像的灰色。在本实施例中，尽管如上所述摄像部1将白平衡系数连同RAW数据一起发送至显影部2，但也可以预先在显影部2中设置标准光源下的拍摄所使用的白平衡系数。此外，白平衡调整部10可以基于用户所输入的色温来计算白平衡系数。此外，白平衡调整部10可以在无需使用添加至RAW数据的白平衡系数的情况下，使用在对数据进行显影时用户所指定的方法来计算白平衡系数。

图2是示出图1所示的白平衡调整部10所进行的白平衡调整处理的示例的图。参考图2，纵轴表示各颜色信号(R,G,B)的信号值的大小。如图2所示，RAW数据具有颜色信号R、G和B，并且在该示例中，利用附图标记21来表示摄像元件(图像传感器)的传感器饱和值。传感器饱和值21是由摄像元件的光谱灵敏度特性、摄像部1的处理精度和预定阈值所确定的颜色信号的信号值的上限值。在例示示例中，尽管传感器饱和值21针对各个颜色信号均相同，但可以使传感器饱和值21针对各颜色信号而不同。

白平衡调整部10将RAW数据乘以白平衡系数，由此获得白平衡调整之后的信号值。通过将该数据乘以白平衡系数，各颜色信号的上限值改变。在例示示例中，将与颜色信号R相关联的白平衡系数设置为“2”，将与颜色信号B相关联的白平衡系数设置为“1.5”，并且将与颜色信号G相关联的白平衡系数设置为“1”。

与颜色信号R相关联的饱和水平是饱和水平23，并且饱和水平23是传感器饱和值21的2倍。与颜色信号B相关联的饱和水平是饱和水平24，并且饱和水平24是传感器饱和值21的1.5倍。与颜色信号G相关联的饱和水平是饱和水平25，并且饱和水平25等于传感器饱和值21。

返回参考图1，光学校正部11进行摄像部1中包括的透镜所引起的周边光量的减少、倍率色像差的校正、轴向色像差的消除和失真的校正等。颜色插值部12对由单色信号构成的各个像素进行去拜尔(De-Bayer)处理或马赛克处理。替换处理器13在各像素中用其它颜色信号替换水平接近饱和的颜色信号。噪声消除部14通过进行滤波处理或分层处理等来消除亮度噪声和颜色噪声。

伽玛校正部15使用伽玛曲线来调整图像整体的对比度和动态范围。锐度处理器16进行图像的边缘增强，由此调整图像整体的锐度。颜色处理器17调整图像的色相，并且抑制高亮度区域的颜色弯曲(color curving)。

在以上说明中，尽管已经按显影部2所进行的处理操作的优选顺序说明了各组成元件，但并非必须按上述顺序进行显影部2所进行的处理操作。然而，通过按上述顺序进行处理，可以实现降低图像中的噪声并且减轻边缘部的着色的有利效果。

顺便提及，考虑到替换处理器13没有进行替换处理的情况，光学校正部11针对透镜的各类型、各焦距和各焦点位置保持光学校正表。因此，如果在光学校正部11所进行的处理之前利用替换处理器13进行用于替换颜色信号的处理，则光学校正导致过校正。

例如，如果通过替换处理器13所进行的替换处理消除了由于透镜的色像差所引起的红色着色，则由于光学校正部11进行用于强调绿色以消除相同量的红色着色的校正，因此图像被着色为绿色。

在利用光学校正部11执行校正处理之前利用替换处理器13进行替换处理的情况下，需要光学校正部11配备有考虑到替换处理器13所获得的着色的减轻效果的光学校正表。

注意，摄像部1可被配置为包括图1所示的显影部2的组件的一部分，此外，显影部2可被配置为包括其它组件。

图3是图1所示的替换处理器13所进行的替换处理的流程图。

在图3的替换处理中，将假定以下来进行说明：在白平衡调整之后的信号值中，颜色信号G的饱和水平最低，并且颜色信号R的饱和水平最高或第二高。通过如以上定义各颜色信号的饱和水平，可以省略由于摄像部1的特性而不需要的处理，由此加速处理。

在开始替换处理的情况下，替换处理器13确定RAW数据中各颜色信号的饱和水平(步骤S1)。例如，替换处理器13根据RAW数据来确定上述的传感器饱和值21。然后，替换处理器13将传感器饱和值21乘以白平衡调整部10所使用的各白平衡系数，由此将颜色信号R的饱和水平23计算为Mr，将颜色信号B的饱和水平24计算为Mb，并且将颜色信号G的饱和水平25计算为Mg。

然后，替换处理器13获取图像(即，RAW数据)中第一个像素的信号值(颜色信号值)r(红色)、g(绿色)和b(蓝色)(步骤S2)。在没有预先利用颜色插值部12进行去拜尔处理的情况下，替换处理器13针对各缺失像素，通过参考该缺失像素周围的像素来确定颜色信号值。

接着，替换处理器13针对RAW数据的各像素进行以下处理。首先，替换处理器13将颜色信号R的饱和水平Mr和颜色信号B的饱和水平Mb进行比较，由此判断饱和水平Mb<饱和水平Mr是否成立(步骤S3)。

如果饱和水平Mb<饱和水平Mr成立(步骤S3中为“是”)，则替换处理器13判断颜色信号值b是否达到饱和水平Mb(即，Mb≤b)，并且颜色信号值r是否大于颜色信号值b(即，b<r)(步骤S4)。

如果饱和水平Mb≤颜色信号值b成立并且颜色信号值b<颜色信号值r也成立(步骤S4中为“是”)，则替换处理器13用颜色信号值r(替换源信号值)替换颜色信号值b(替换对象信号值)。也就是说，替换处理器13将颜色信号值b设置成等于颜色信号值r(步骤S5)。

如果饱和水平Mb≥饱和水平Mr成立(步骤S3中为“否”)，则替换处理器13判断颜色信号值r是否达到饱和水平Mr(即，Mr≤r)，并且颜色信号值b是否大于颜色信号值r(即，r<b)(步骤S6)。

如果饱和水平Mr≤颜色信号值r成立并且颜色信号值r<颜色信号值b也成立(步骤S6中为“是”)，则替换处理器13用颜色信号值b替换颜色信号值r。也就是说，替换处理器13将颜色信号值r设置成等于颜色信号值b(步骤S7)。

然后，替换处理器13计算要替换颜色信号值g的替换候选值mix。例如，替换处理器13将颜色信号值r和颜色信号值b的平均值设置为替换候选值mix。也就是说，替换处理器13将替换候选值mix设置成等于值(r+b)/2(步骤S8)。

在步骤S5中进行了颜色信号值b的替换的情况下，替换处理器13使用替换之后的颜色信号值b来进行替换候选值mix的计算。通过使用替换之后的颜色信号值b来进行替换候选值mix的计算，可以使替换之后的颜色信号值g的饱和水平与颜色信号值r和替换之后的颜色信号值b的各饱和水平统一。

此外，在步骤S5中进行颜色信号值b的替换之前、对颜色信号值b的饱和水平Mb进行标准化以使得该饱和水平Mb等于饱和水平Mr之后，可以在步骤S8中设置替换候选值mix，以使得替换候选值mix＝(r+b·Mr/Mb)/2成立。通过使用将饱和水平Mb标准化为饱和水平Mr所获得的颜色信号值b来进行替换候选值mix的计算，可以使替换之后的颜色信号值g的饱和水平与颜色信号值r和替换之后的颜色信号值b的各饱和水平统一。

同样，在步骤S7中进行了颜色信号值r的替换的情况下，替换处理器13使用替换之后的颜色信号值r来进行替换候选值mix的计算。通过使用替换之后的颜色信号值r来进行替换候选值mix的计算，可以使替换之后的颜色信号值g的饱和水平与颜色信号值b和替换之后的颜色信号值r的各饱和水平统一。同样，在这种情况下，与上述情况相同，在步骤S7中进行颜色信号值r的替换之前、对颜色信号值r的饱和水平Mr进行标准化以使得该饱和水平Mr等于饱和水平Mb之后，可以在步骤S8中设置替换候选值mix，以使得替换候选值mix＝(b+r·Mr/Mb)/2成立。

如果饱和水平Mb>颜色信号值b成立或者颜色信号值b≥颜色信号值r成立(步骤S4中为“否”)，则替换处理器13进入步骤S8。同样，如果饱和水平Mr>颜色信号值r成立或者颜色信号值r≥颜色信号值b成立(步骤S6中为“否”)，则替换处理器13进入步骤S8。

然后，替换处理器13判断颜色信号值g是否达到饱和水平Mg(即，Mg≤g)，并且替换候选值mix是否大于颜色信号值g(即，g<mix)(步骤S9)。

如果饱和水平Mg≤颜色信号值g成立并且颜色信号值g<替换候选值mix也成立(步骤S9中为“是”)，则替换处理器13用替换候选值mix替换颜色信号值g。也就是说，替换处理器13将颜色信号值g设置成等于替换候选值mix(步骤S10)。然后，替换处理器13判断是否针对RAW数据的所有像素完成了替换处理。也就是说，替换处理器13判断是否完成了直到RAW数据的最后像素为止的替换处理(步骤S11)。

如果没有完成直到最后像素为止的替换处理(步骤S11中为“否”)，则替换处理器13返回至步骤S2，并且针对下一像素获取颜色信号值r、g和b。另一方面，如果完成了直到最后像素为止的替换处理(步骤S11中为“是”)，则替换处理器13终止针对RAW数据的替换处理。

注意，如果饱和水平Mg>颜色信号值g成立或者颜色信号值g≥替换候选值mix成立(步骤S9中为“否”)，则替换处理器13进入步骤S11。

在步骤S8中，可以使用除上述方法(平均化)以外的方法来计算替换候选值mix。例如，可以使用设置替换候选值mix＝r·b/(r+b)的方法来获得替换候选值mix，或者可以通过选择颜色信号值r和颜色信号值b中的较大一个的较大值选择来获得替换候选值mix。然而，在采用可以得到替换候选值mix>>颜色信号值r或者替换候选值mix>>颜色信号值b的计算方法的情况下，在步骤S10中，将通过使(替换候选值mix–颜色信号值g)乘以预定系数所获得的值与颜色信号值r和颜色信号值b中的较小一个相加。通过如此将相加至颜色信号值g的值与其它信号值进行相加，可以减少由于替换所引起的色比的变化。

图4A～4D是在说明通过图3所示的替换处理所生成的替换之后的RAW数据时使用的图，其中：图4A示出在白平衡调整之后所有的颜色信号R、G和B都达到各自的饱和水平的状态，图4B示出在白平衡调整之后颜色信号G和B达到各自的饱和水平的状态，图4C示出在白平衡调整之后颜色信号R和G达到各自的饱和水平的状态，并且图4D示出在白平衡调整之后仅颜色信号G达到包和平衡的状态。

参考图4A～4D，图4A～4D的纵轴表示信号值(即，颜色信号值)的大小。在图4A的例示示例中，白平衡调整之后的颜色信号R、G和B的信号值全部分别达到饱和水平23、25和24。在针对颜色信号R、G和B进行参考图3所述的替换处理的情况下，在步骤S5中用颜色信号R替换颜色信号B，此外，在步骤S10中，用替换候选值mix替换颜色信号G。结果，替换之后的颜色信号R、G和B的信号值达到饱和水平23。

在图4B的例示示例中，白平衡调整之后的颜色信号G和B的信号值分别达到饱和水平25和24。在针对颜色信号R、G和B进行参考图3所述的替换处理的情况下，在步骤S4中判断为颜色信号R小于颜色信号B，因而不进行颜色信号B的替换。另一方面，在步骤S10中，用替换候选值mix替换颜色信号G。

结果，替换之后的颜色信号R的信号值变得等于白平衡调整之后的颜色信号R的信号值，并且替换之后的颜色信号G的信号值变得等于白平衡调整之后的颜色信号R和B的信号值的平均值。此外，替换之后的颜色信号B的信号值等于白平衡调整之后的颜色信号B的信号值。

在图4C的例示示例中，白平衡调整之后的颜色信号R和G的信号值分别达到饱和水平23和25。在针对颜色信号R、G和B执行参考图3所述的替换处理的情况下，在步骤S4中判断为颜色信号B没有达到饱和水平，因而不进行颜色信号B的替换。另一方面，在步骤S10中，用替换候选值mix替换颜色信号G。

结果，替换之后的颜色信号R的信号值等于白平衡调整之后的颜色信号R的信号值，并且替换之后的颜色信号G的信号值变得等于白平衡调整之后的颜色信号R和B的信号值的平均值。此外，替换之后的颜色信号B的信号值等于白平衡调整之后的颜色信号B的信号值。

在图4D的例示示例中，白平衡调整之后的颜色信号G的信号值达到饱和水平25。在针对颜色信号R、G和B执行参考图3所述的替换处理的情况下，在步骤S4中判断为颜色信号B没有达到饱和水平，因而不进行颜色信号B的替换。另一方面，在步骤S9中判断为替换候选值mix小于颜色信号G的信号值，因而也不进行颜色信号G的替换。结果，替换之后的颜色信号R、G和B的信号值等于白平衡调整之后的颜色信号R、G和B的信号值。

图5是示出图1所示的伽玛校正部15所使用的伽玛曲线的示例的图。

参考图5，横轴表示伽玛校正之前的信号值，并且纵轴表示伽玛校正之后的信号值。附图标记30所示的伽玛曲线表示以饱和水平25为基准所设置的、伽玛校正部15所使用的伽玛曲线。利用附图标记31来表示伽玛曲线30的输入上限值，并且该输入上限值处于饱和水平25。此外，利用附图标记32来表示伽玛曲线30的输出上限值，并且该输出上限值处于饱和水平25。为了提高伽玛校正的精度，可以使用比饱和水平25大的值作为输出上限值32。可选地，可以将输出上限值32设置为比饱和水平25小的值。注意，如果输出上限值32改变，则会影响伽玛校正之后所进行的处理，因而需要还改变伽玛校正之后所进行的处理。

附图标记33所示的伽玛曲线表示在利用替换处理器13进行替换处理的情况下伽玛校正部15所使用的伽玛曲线。利用附图标记34来表示伽玛曲线33的输入上限值，并且该输入上限值处于最大饱和水平。

伽玛曲线33是通过使伽玛曲线30的输入上限值31线性地延长至输入上限值34所生成的。通过使用伽玛曲线33进行伽玛校正，可以使从输入上限值31起直到输入上限值34为止的色阶反映到伽玛校正部15的上限值32上。

图6是示出图1所示的颜色处理器17所使用的颜色抑制表的示例的图。

参考图6，横轴表示亮度，并且纵轴表示针对彩度的增益。颜色处理器17基于RAW数据的各像素的信号值来参考颜色抑制表，并且将各像素的彩度乘以增益。据此，颜色处理器17抑制了图像的高亮度区域中的颜色。

附图标记40所示的颜色抑制表表示以饱和水平25为基准所设置的、颜色处理器17所使用的颜色抑制表。控制点41表示颜色抑制表40中的颜色抑制的开始点。控制点42表示颜色抑制表40中的颜色抑制的结束点。在颜色抑制表40上，在控制点41之前不进行颜色抑制，从控制点41起直到控制点42为止，颜色抑制程度逐渐增加，并且在控制点42处及其之后完全抑制了颜色。

附图标记43所示的颜色抑制表表示在利用替换处理器13进行替换处理的情况下、颜色处理器17所使用的颜色抑制表。控制点44表示颜色抑制表43中的颜色抑制的开始点。颜色抑制表43是通过使颜色抑制表40的控制点41线性地延长至控制点44所生成的。在该示例中，将上述的输入上限值34相对于输入上限值31的延长倍率乘以预定系数，由此使控制点41线性地延长直至控制点44为止。通过使用颜色抑制表43，可以减弱从控制点41起直至控制点42为止的颜色抑制。

颜色抑制表43是考虑到根据最低的饱和水平来对各个颜色信号进行限幅所设置的。在进行替换处理的情况下，使颜色信号的各饱和水平在最高饱和水平处变统一，而无需进行限幅。

因此，通过将根据最低的饱和水平所设置的颜色抑制表40改变为根据最高的饱和水平而延长的颜色抑制表43，可以再现在前者情况下由于限幅信号和颜色抑制而将丢失的彩度。

控制点45表示附图标记46所示的颜色抑制表中的颜色抑制的结束点。将控制点44相对于控制点41的延长倍率乘以预定系数，由此使控制点42线性地延长直至控制点45为止，由此获得了颜色抑制表46。通过使用颜色抑制表46，可以进一步再现从控制点44起直至控制点45为止的由于颜色抑制而丢失的彩度。

如上所述，根据本发明的第一实施例，可以提供如下的有利效果：通过替换处理器13所进行的替换处理，改善了图像的高亮度区域中的色阶，并且可以通过在颜色处理器17中增大高亮度区域的增益来忠实地再现高亮度区域中的颜色。

接着，将说明作为根据本发明的第二实施例的图像处理设备的数字照相机。根据第二实施例的照相机在结构上与图1所示的照相机相同，因而利用相同的附图标记来表示与第一实施例的组件相同的组件，其中省略了针对这些组件的说明。

图7是作为根据第二实施例的图像处理设备的照相机的替换处理器13所进行的替换处理的流程图。

在图7的替换处理中，利用相同的步骤编号来表示与图3的替换处理中的步骤相同的步骤，并且省略了针对这些步骤的说明。

在开始替换处理的情况下，替换处理器13执行参考图3所述的步骤S1和S2。然后，替换处理器13针对RAW数据的各像素进行以下处理。首先，替换处理器13将饱和水平Mr、Mg和Mb以及颜色信号值r、g和b按饱和水平的降序重排为饱和水平Mx、My和Mz以及颜色信号值x、y和z。也就是说，替换处理器13按饱和水平的降序进行这些值的排序(步骤S22)。

注意，使第二实施例的说明中所使用的符号与图2所示的饱和水平的符号相关联，以使得Mx＝Mr、My＝Mb、Mz＝Mg、x＝r、y＝b和z＝g。

然后，替换处理器13判断颜色信号值y是否达到饱和水平My(即，My≤y)，并且颜色信号值x是否大于颜色信号值y(即，y<x)(步骤S23)。

如果饱和水平My≤颜色信号值y成立并且颜色信号值y<颜色信号值x也成立(步骤S23中为“是”)，则替换处理器13用颜色信号值x替换颜色信号值y(步骤S24)。也就是说，替换处理器13将颜色信号值y设置成等于颜色信号值x。

然后，替换处理器13计算要替换颜色信号值z的替换候选值mix(步骤S25)。在该步骤中，替换处理器13将替换候选值mix计算为颜色信号值x和颜色信号值y的平均值(mix＝(x+y)/2)。

如果饱和水平My>颜色信号值y成立或者颜色信号值y≥颜色信号值x成立(步骤S23中为“否”)，则替换处理器13在无需进行替换的情况下进入步骤S25。

在步骤S24中进行了颜色信号值y的替换的情况下，使用替换之后的颜色信号值y来进行替换候选值mix的计算。通过使用替换之后的颜色信号值y来进行替换候选值mix的计算，可以使替换之后的颜色信号值z的饱和水平与颜色信号值x和替换之后的颜色信号值y的各饱和水平统一。

然后，替换处理器13判断颜色信号值z是否达到饱和水平Mz(即，Mz≤z)，并且替换候选值mix是否大于颜色信号值z(即，z<mix)(步骤S26)。

如果饱和水平Mz≤颜色信号值z成立并且颜色信号值z<替换候选值mix成立(步骤S26中为“是”)，则替换处理器13用替换候选值mix替换颜色信号值z(步骤S27)。也就是说，替换处理器13将颜色信号值z设置得等于替换候选值mix。然后，替换处理器13进入参考图3所述的步骤S11。

注意，如果饱和水平Mz>颜色信号值z成立或者颜色信号值z≥替换候选值mix成立(步骤S26中为“否”)，则替换处理器13进入步骤S11。

图8A～8D是在说明通过图7所示的替换处理所生成的替换之后的RAW数据时使用的图，其中：图8A示出在白平衡调整之后所有的颜色信号X、Y和Z都达到各自的饱和水平的状态，图8B示出在白平衡调整之后颜色信号Y和Z达到各自的饱和水平的状态的示例，图8C示出在白平衡调整之后颜色信号X和Z达到各自的饱和水平的状态，并且图8D示出在白平衡调整之后仅颜色信号Z达到饱和水平的状态。

在图8A～8D中，纵轴表示信号值的大小，并且饱和水平50是颜色信号X的饱和水平Mx。此外，饱和水平51是颜色信号Y的饱和水平My，并且饱和水平52是颜色信号Z的饱和水平Mz。

在图8A的例示示例中，白平衡调整之后的颜色信号X、Z和Y的信号值全部分别达到饱和水平50、52和51。在针对颜色信号X、Z和Y进行参考图7所述的替换处理的情况下，在步骤S24中用颜色信号X替换颜色信号Y，此外，在步骤S27中用替换候选值mix替换颜色信号Z。结果，替换之后的颜色信号X、Z和Y的信号值达到饱和水平50。

在图8B的例示示例中，白平衡调整之后的颜色信号Z和Y的信号值分别达到饱和水平52和51。在针对颜色信号X、Z和Y进行参考图7所述的替换处理的情况下，在步骤S23中判断为颜色信号X小于颜色信号Y，因而不进行颜色信号Y的替换。另一方面，在步骤S27中，用替换候选值mix替换色信号Z。

结果，替换之后的颜色信号X的信号值等于白平衡调整之后的颜色信号X的信号值，并且替换之后的颜色信号Z的信号值变得等于白平衡调整之后的颜色信号X和Y的信号值的平均值。此外，替换之后的颜色信号Y的信号值等于白平衡调整之后的颜色信号Y的信号值。

在图8C的例示示例中，白平衡调整之后的颜色信号X和Z的信号值分别达到饱和水平50和52。在针对颜色信号X、Z和Y进行参考图7所述的替换处理的情况下，在步骤S23中判断为颜色信号Y不饱和，因而不进行颜色信号Y的替换。另一方面，在步骤S27中，用替换候选值mix替换颜色信号Z。

结果，替换之后的颜色信号X的信号值等于白平衡调整之后的颜色信号X的信号值，并且替换之后的颜色信号Z的信号值变得等于白平衡调整之后的颜色信号X和Y的信号值的平均值。此外，替换之后的颜色信号Y的信号值等于白平衡调整之后的颜色信号Y的信号值。

在图8D的例示示例中，白平衡调整之后的颜色信号Z的信号值达到饱和水平52。在针对颜色信号X、Z和Y进行参考图7所述的替换处理的情况下，在步骤S23中判断为颜色信号Y不饱和，因而不进行颜色信号Y的替换。另一方面，在步骤S26中判断为替换候选值mix小于颜色信号Z的信号值，因而也不进行颜色信号Z的替换。结果，替换之后的颜色信号X、Z和Y的信号值等于白平衡调整之后的颜色信号X、Z和Y的信号值。

在第二实施例中，伽玛校正部15和颜色处理器17所进行的处理操作与第一实施例所述的处理操作相同，因而省略了针对这些处理操作的说明。

如上所述，根据第二实施例，由于通过按饱和水平的顺序对颜色信号进行排序来进行替换处理，因此即使在颜色信号G的饱和水平高于颜色信号R和B的饱和水平的情况下，通过替换处理器13所进行的替换处理也提高了高亮度区域中的色阶。此外，通过利用颜色处理器17减弱颜色抑制，可以忠实地表现高亮度区域中的颜色。

接着，将说明作为根据本发明的第三实施例的图像处理设备的数字照相机。根据第三实施例的照相机在结构上与图1所示的照相机相同，因而利用相同的附图标记来表示与第一实施例的组件相同的组件，其中省略了针对这些组件的说明。

图9是作为根据第三实施例的图像处理设备的照相机的替换处理器13所进行的替换处理的流程图。

在图9的替换处理中，利用相同的步骤编号来表示与图3的替换处理中的步骤相同的步骤，并且省略了针对这些步骤的说明。

在开始替换处理的情况下，替换处理器13执行参考图3所述的步骤S1。然后，替换处理器13基于预先设置的预定值p以及饱和水平Mr、Mg和Mb来计算用于判断替换开始的阈值THr、THg和THb(步骤S31)。

例如，在将相对于饱和水平Mr、Mg和Mb的比例设置为预定值(还称为系数)p的情况下，替换处理器13通过THr＝p×Mr、THb＝p×Mb和THg＝p×Mg来计算阈值THr、THg和THb。阈值p用于使替换对颜色信号值产生影响的范围(影响范围)增减，从而消除色调跳跃。

随着系数p的变小，影响范围变大，并且在系数p等于0的情况下，替换会对所有的颜色信号值都产生影响。另一方面，随着系数p的变大，影响范围变小，并且在系数p等于1的情况下，仅对颜色信号值的饱和值进行替换。

假定系数p等于0.7，则针对超过各颜色信号值的饱和水平的70％的颜色信号值进行替换。注意，可以通过从饱和水平Mr、Mg和Mb中分别减去预定值q来确定阈值，此外，可以针对各颜色信号来设置预定值p或q。

在执行了步骤S31之后，替换处理器13执行参考图3所述的步骤S2。

然后，替换处理器13将饱和水平Mr、Mg和Mb、颜色信号值r、g和b以及阈值THr、THg和THb按饱和水平的降序重排为饱和水平Mx、My和Mz、颜色信号值x、y和z以及阈值THx、Thy和THz。也就是说，替换处理器13按饱和水平的降序进行这些值的排序(步骤S33)。

注意，将第三实施例的说明中所使用的符号与图2所示的饱和水平的符号相关联，以使得Mx＝Mr、My＝Mb、Mz＝Mg、x＝r、y＝b和z＝g、THx＝THr、THy＝THb和THz＝THg。

然后，替换处理器13判断颜色信号值y是否达到阈值THy(即，THy≤y)，并且颜色信号值x是否大于颜色信号值y(即，y<x)(步骤S34)。

如果阈值THy≤颜色信号值y成立并且颜色信号值y<颜色信号值x也成立(步骤S34中为“是”)，则替换处理器13用颜色信号值x替换颜色信号值y(步骤S35)。在该示例中，替换处理器13随着颜色信号值y更接近饱和水平而使相对于颜色信号值x的替换比例变高。例如，替换处理器13将颜色信号值x和颜色信号值y之间的差乘以通过将颜色信号值y和阈值THy之间的差除以饱和水平My和阈值THy之间的差所获得的替换比例，然后将该相乘结果与颜色信号值y相加。也就是说，替换处理器13用{y+(x-y)×(y-THy)/(My-THy)}的值来替换颜色信号值y(步骤S35)。

然后，替换处理器13计算要替换颜色信号值z的替换候选值mix(步骤S36)。这里，替换处理器13将替换候选值mix计算为颜色信号值x和颜色信号值y的平均值(mix＝(x+y)/2)。

如果阈值THy>颜色信号值y成立或者颜色信号值y≥颜色信号值x成立(步骤S34中为“否”)，则替换处理器13在无需进行替换的情况下进入步骤S36。

在步骤S35中进行了颜色信号值y的替换的情况下，使用替换之后的颜色信号值y来进行替换候选值mix的计算。通过使用替换之后的颜色信号值y来进行替换候选值mix的计算，可以使替换之后的颜色信号值z的饱和水平与颜色信号值x和替换之后的颜色信号值y的各饱和水平统一。

接着，替换处理器13判断颜色信号值z是否达到阈值THz(即，THz≤z)，并且替换候选值mix是否大于颜色信号值z(即，z<mix)(步骤S37)。

如果阈值THz≤颜色信号值z成立并且颜色信号值z<替换候选值mix也成立(步骤S37中为“是”)，则替换处理器13用替换候选值mix替换颜色信号值z。这里，替换处理器13随着颜色信号值z更接近饱和水平而使相对于替换候选值mix的替换比例变高。例如，替换处理器13将替换候选值mix和颜色信号值z之间的差乘以通过将颜色信号值z和阈值THz之间的差除以饱和水平Mz和阈值THz之间的差所获得的替换比例，然后将该相乘结果与颜色信号值z相加。也就是说，替换处理器13用{z+(mix-z)×(z-THz)/(Mz-THz)}的值来替换颜色信号值z(步骤S38)。然后，替换处理器13进入参考图3所述的步骤S11。

注意，如果阈值THz>颜色信号值z成立或者颜色信号值z≥替换候选值mix成立(步骤S37中为“否”)，则替换处理器13进入步骤S11。

图10是示出在参考图9所述的替换处理中调整替换比例之后所获得的替换结果的示例的图。

图10示出执行图9的步骤S35的结果(替换结果)，并且在例示示例中，如从图10观看到的，RAW数据具有亮度从左向右逐渐变高的渐变。在图10中，横轴表示RAW数据在水平方向上的坐标，并且纵轴表示替换处理之后的输出(替换结果、即信号值)。

利用附图标记Y(60)来表示替换之前的颜色信号Y，并且利用附图标记My(61)来表示颜色信号Y的饱和水平My。此外，利用附图标记X(62)来表示颜色信号X，并且利用附图标记63来表示图7的步骤S24中所述的颜色信号Y的替换结果。

在替换之前的颜色信号Y(60)达到饱和水平My(61)的情况下，通过替换颜色信号X导致信号值大幅改变。该变化作为所谓的色调跳跃出现在显影结果中。

在参考图9所述的替换处理中，在替换之前的颜色信号Y(60)达到附图标记THy(65)所示的阈值的情况下，开始用颜色信号X替换颜色信号Y。然后，附图标记64所示的在步骤S35中针对颜色信号Y所进行的替换结果示出：随着替换之前的颜色信号Y(60)更接近饱和水平My，相对于颜色信号X的替换比例变高，并且在颜色信号Y(60)饱和的情况下，用颜色信号X替换颜色信号Y(即，Y＝X)。

在第三实施例中，伽玛校正部15和颜色处理器17所进行的处理操作与第一实施例中所述的处理操作相同，因而省略了针对这些处理操作的说明。

此外，在图10中，尽管已经说明了步骤S35、即已经说明了用颜色信号X替换颜色信号Y的情况，但通过利用步骤S36中所计算出的替换候选值mix替换颜色信号X(62)并且利用颜色信号Z替换颜色信号Y(60)，可以以相同方式在步骤S38中消除颜色信号Z的色调跳跃。

如上所述，根据本发明的第三实施例，设置用于开始替换处理的阈值，并且随着信号值更接近饱和水平，使替换比例变高，因而在像素之间颜色信号值连续地改变，从而可以消除色调跳跃。

这里，将说明通过上述替换处理所获得的RAW数据的示例。

图11A～11C是在说明通过图1所示的显影部2进行的替换处理所获得的高亮度区域中的色阶的改善时使用的图，其中：图11A示出传统的显影结果，图11B示出通过第二实施例所获得的显影结果，并且图11C示出通过第三实施例所获得的显影结果。

参考图11A～11C，在附图标记70所示的太阳周围产生耀斑71，此外，存在反射太阳70的光的云72。至少太阳70、耀斑71和云72是高亮度区域。

在白平衡调整之后根据颜色信号中的最小颜色信号来对信号进行限幅的显影结果(图11A)中，动态范围不足，使得云72显现为高光溢出(blown-outhighlight)。另一方面，在图11B所示的显影结果中，可以最大程度地利用RAW数据的色阶，以使得可以解析如附图标记73所示的云(表现云的色阶)。

此外，在图11C所示的显影结果中，对超过阈值的颜色信号进行逐渐替换处理，因而可以在不会引起色调跳跃的情况下准确地表现存在于太阳70周边的由附图标记74所示的耀斑。

如通过以上说明显而易见，在图1的例示示例中，替换处理器13用作饱和水平计算单元、像素信息获取单元、判断单元和替换处理单元。此外，至少噪声消除部14、伽玛校正部15、锐度处理器16和颜色处理器17用作显影处理单元。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

在上述实施例中，尽管采用摄像设备(照相机)作为图像处理设备的示例，但图像处理设备还可以是个人计算机、平板终端、智能电话、监视器、扫描器或打印机等。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

本申请要求2014年2月21日提交的日本专利申请2014-031631的优先权，在此通过引用包含其全部内容。

Claims (12)

1.一种图像处理设备，用于通过对所拍摄数据进行显影来获取显影数据，所述图像处理设备包括：

饱和水平计算单元，用于计算所述所拍摄数据的三个颜色的颜色信号各自的饱和水平；

像素信息获取单元，用于获取所述所拍摄数据的各像素中的颜色信号值作为像素信息；

判断单元，用于基于所述饱和水平和所述像素信息来判断是否进行所述颜色信号中的某一个颜色信号的替换；

替换处理单元，用于在所述判断单元判断为要进行替换的情况下，根据所述饱和水平最高的颜色信号来对所述饱和水平第二高的颜色信号进行替换，并且根据所述饱和水平最高的颜色信号和所述饱和水平第二高的颜色信号来对所述饱和水平最低的颜色信号进行替换；以及

显影处理单元，用于对所述替换处理单元进行了替换处理的所拍摄数据进行预定处理，由此生成所述显影数据。

2.根据权利要求1所述的图像处理设备，其中，所述饱和水平计算单元基于获取所述所拍摄数据所利用的摄像元件的饱和值以及调整所述所拍摄数据的白平衡所使用的白平衡系数，来计算所述饱和水平。

3.根据权利要求1所述的图像处理设备，其中，所述显影处理单元包括伽玛校正单元，所述伽玛校正单元用于对图像的对比度和动态范围进行校正，以及

所述伽玛校正单元根据最高的饱和水平来线性地延长伽玛曲线，并且根据延长后的伽玛曲线来校正所述对比度和所述动态范围。

4.根据权利要求1所述的图像处理设备，其中，所述显影处理单元包括颜色处理单元，所述颜色处理单元用于调整图像的色相并且抑制图像的高亮度区域中的颜色弯曲，以及

所述颜色处理单元根据最高的饱和水平来线性地延长颜色抑制表，由此根据延长后的颜色抑制表来调整所述色相并且抑制所述高亮度区域中的颜色弯曲。

5.根据权利要求1所述的图像处理设备，其中，所述判断单元根据各颜色信号的饱和水平来设置针对该颜色信号的阈值，并且基于所述阈值和所述像素信息来判断是否进行该颜色信号的替换。

6.根据权利要求5所述的图像处理设备，其中，在所述判断单元判断为要进行替换的情况下，所述替换处理单元随着超过所述阈值的颜色信号越来越接近所述饱和水平而增大替换比例，并且根据所述替换比例来进行替换。

7.根据权利要求6所述的图像处理设备，其中，所述替换处理单元根据通过将作为替换对象信号的颜色信号和作为替换源信号的颜色信号之间的差乘以所述替换比例所获得的相乘结果，来进行替换。

8.根据权利要求1所述的图像处理设备，其中，还包括光学校正单元，所述光学校正单元用于进行由用于获取所述所拍摄数据的摄像部中包括的透镜所引起的周边光量的减少，并且进行倍率色像差的校正、轴向色像差的消除和失真的校正。

9.根据权利要求8所述的图像处理设备，其中，所述替换处理单元对所述光学校正单元校正后的所拍摄数据进行替换处理。

10.根据权利要求8所述的图像处理设备，其中，所述光学校正单元针对所述替换处理单元进行了替换处理的所拍摄数据，进行所述周边光量的减少，并且进行所述倍率色像差的校正、所述轴向色像差的消除和所述失真的校正。

11.根据权利要求1所述的图像处理设备，其中，所述显影处理单元包括噪声消除单元，所述噪声消除单元用于通过针对所述替换处理单元进行了替换处理的所拍摄数据进行滤波处理或分层处理，来消除亮度噪声和颜色噪声。

12.一种图像处理方法，用于通过对所拍摄数据进行显影来获取显影数据，所述图像处理方法包括以下步骤：

计算所述所拍摄数据的三个颜色的颜色信号各自的饱和水平；

获取所述所拍摄数据的各像素中的颜色信号值作为像素信息；

判断步骤，用于基于所述饱和水平和所述像素信息来判断是否进行所述颜色信号中的某一个颜色信号的替换；

在所述判断步骤中判断为要进行替换的情况下，根据所述饱和水平最高的颜色信号来对所述饱和水平第二高的颜色信号进行替换，并且根据所述饱和水平最高的颜色信号和所述饱和水平第二高的颜色信号来对所述饱和水平最低的颜色信号进行替换；以及

对进行了替换处理的所拍摄数据进行预定处理，由此生成所述显影数据。