CN1764231A - 对输入图像进行色彩校正的设备和方法 - Google Patents

Abstract

本发明涉及用于对输入图像(11)进行色彩校正的设备和方法。根据本发明，该设备包括：用于分析输入图像(11)的色彩以便获得所述输入图像(11)的色彩参数表示(8)的装置(2)；用于选择一组参考图像(10)的装置；用于分析所述参考图像中的至少一个参考图像或所述参考图像的至少一个区域的色彩以便获得所述参考图像(10)的色彩参数表示(7)的装置(1)；用于计算对所述输入图像(11)的色彩的一组可能变换(13)的装置，其中所述可能变换是这样的：使所述输入图像(11)的色彩参数表示(8)根据距离标准接近所述参考图像(10)的色彩参数表示(7)；用于在所述可能变换(13)中选择变换子集(14)的装置，其中将所述变换子集应用于所述输入图像(11)，给出物理上可能的色彩校正输入图像(11)；用于从所述子集中交互地视觉选择出一个变换的装置(6)。应用于胶片的后期制作。

Description

对输入图像进行色彩校正的设备和方法

技术领域

本发明涉及一种使用参考图像来校正图像色彩的方法及装置。

背景技术

在引入数字胶片处理以及数字影院的年代，在电影工作流程中出现了多个数字处理步骤——这些步骤在传统上都是模拟的。尽管特技生成以及后期制作通常已经是数字的，现在还是出现了数字摄影机以及新的数字显示设备和数字媒体。这些数字装备彻底改变了拍摄以及后期处理时的习惯。数字技术带来了新的特征，但是也代表着对艺术经验和传统的威胁。于是，必须将已知的艺术效果从传统的电影后期处理方法转换到数字影院后期处理方法。因为数字影院的引入是个长期的过程，所以还必须研究模拟和数字处理共存的技术。这可能会涉及由模拟胶片摄影机来拍摄电影，然后由数字放映机来显示。这还涉及在模拟胶片生产线中整合数字特技。

一种艺术工作流程是色彩校正。色彩校正被应用于生产之后的原始胶片材料，以弥补亮度色彩瑕疵。色彩校正还在发行胶片之前被用来微调色调，以便实现某种意义的艺术意图。色彩校正还被应用于打印之前的照片、绘画或图表。

色彩校正可以应用于一串视频帧、单个视频帧、静态图像、甚或是图像的一部分，例如一个物体。

通常，在艺术指导与高超技艺的操作者的合作下来进行色彩校正。艺术指导描述色彩校正的意图，而操作者必须将意图转换为向视觉内容所施加的色彩变换。于是，色彩校正的结果取决于进行操作的专家。

色彩校正的一个效率问题是色彩专家必须对每个新的图像或视频场景重新开始工作。

对该问题的一种明显的解决方案是对第一幅图像选择适当的色彩校正变换。存储该变换，并重复用于其他图像。

如下面的示例所表现出来的那样，这种解决方案是不够的。假设专家已经对阴天场景的图像定义了色彩变换，从而输出的图像结果给人的印象是晴朗的黄昏场景。为了这一目的，操作者手动定义加入特别多的红色调的变换。假设现在将非常晴朗的正午场景的图像变换为晴朗的黄昏场景。应用与用于阴天场景相同的变换所给出的结果图像无疑会带有太多的红色。

另一种自动化并简化图像的色彩校正的现有解决方案如下。输入图像被变换为输出图像，从而输出图像的色彩接近参考图像的色彩。如果使用夜间的参考图像，则白天的图像可能会被变换为另一张夜间的图像。因此，R.C.Gonzales等在1987年在题为“Digital imageprocessing(数字图像处理)”的著作中提出了分别计算输入图像I和参考图像R的色彩直方图H_I、H_R。根据直方图H_I、H_R，计算两个色彩变换T_I ^E、T_R ^E，从而使图像T_I ^EI、T_R ^ER具有均衡的直方图，即，所有直方图值在理想情况下是恒定的，其中T^E表示使直方图均衡的色彩变换。计算最终的色彩变换T₁＝T₁ ^fixed＝(T_R ^E)-¹T_I ^E并且应用于输入图像，

其中(T^E)^-1表示使直方图均衡的色彩变换的逆。利用这种方法，可以对输入图像自动进行色彩校正。

所介绍的解决方案具有两个缺点。首先，其基于这样的假设：具有相同或相近的直方图的两个图像表现具有相同或相近的亮度色彩的两个场景。其次，没有提出微调方法来校正所计算的变换的可能瑕疵。

另一种自动化且简化图像色彩校正的现有解决方案如下。在1990年，D.A.Forsyth在International Journal of Computer Vision(国际计算机视觉杂志)第5卷第1期中题为“A novel algorithm forcolour constancy”(色彩稳定的一种新算法)的文章中提出：计算一种色彩变换T₁，从而将具有凸色域(colour gamut)的输入图像I转换为输出图像O＝T₁I，输出图像具有凸色域M₀，使M₀被包括在一个参考图像或多个参考图像的凸色域M_R中。为此，该方法使用对角线变换，例如对于三维色彩空间R、G、B采用 $T_1=\left(\begin{array}{ccc}{c}_R& 0& 0\\ 0& c_G& 0\\ 0& 0& c_B\end{array}\right).$ 这示出了如何在

具有坐标c_R、c_G、c_B的变换空间中确定变换的具体的域M_T。域M_T是这样确定的：其包括满足上述约束的所有可能的数学变换T₁。该方法然后或者选择在域M_T中心的变换T₁＝T₁ ^medium，或者选择给出具有最大体积的域M₀的变换T₁＝T₁ ^max。具有最大体积的域M₀是包含了尽可能多的色彩的域。

这种解决方案具有两个缺点。首先，其使用启发式方法来从可能的变换中选择一种变换；其次，没有提出微调方法来校正所计算出的变换的可能瑕疵。

发明内容

本发明意在解决上述缺点中的至少一个。

根据本发明，对输入图像应用的色彩校正不是固定且独立于输入图像的，并且可以在数个可能的色彩校正之间进行选择。

为此，本发明涉及一种用于对输入图像进行色彩校正的设备，包括：

-用于分析输入图像的色彩以便获得所述输入图像的色彩参数表示的装置，

-用于选择一组参考图像的装置，

-用于分析所述参考图像中的至少一个参考图像或所述参考图像的至少一个区域的色彩以便获得所述参考图像的色彩参数表示的装置，

-用于计算对所述输入图像的色彩的一组可能变换)的装置，其中所述可能变换是这样的：使所述输入图像的色彩参数表示根据距离标准接近所述参考图像的色彩参数表示，

-用于在所述可能变换中选择变换子集的装置，其中将所述变换子集应用于所述输入图像，给出物理上可能的色彩校正输入图像，

-用于从所述子集中交互地视觉选择出一个变换的装置。

这样，本发明能够根据输入图像来进行色彩校正并输出想要的效果。

子集的选择使得能够获得表现出物理上可能的场景的图像，或者用户想要的效果的图像。

根据优选实施例，用于选择参考图像的装置选择这样的图像：这些图像具有包含大范围的色彩的色彩参数表示，这些色彩表示在色彩校正后希望得到的可能的色彩。

根据优选实施例，用于选择参考图像的装置由用户控制，以便执行对参考图像的手动选择。

实际上，为了获得更为精确的预期色彩组合，手动选择是受关注的。用户然后可以通过选择包含在转换后想获得的那些色彩的参考图像，来输入这些色彩。

根据优选实施例，所述色彩参数表示是色域。

根据优选实施例，所述色彩参数表示是色彩直方图。

根据优选实施例，可能变换的标准是：在对所述输入图像应用变换之后，所述输入图像的域处于所述参考图像的域之内。

该实施例确保转换后的图像的色彩是参考图像中所包含的色彩，并且转换后的图像具有所关注的色彩的预期效果。

根据优选实施例，用于计算一组可能变换的装置计算单个变换，并且通过计算围绕该单个变换的变换域，来计算一组可能变换。

根据优选实施例，用于选择可能变换子集的装置将所述子集选择为变换空间中在中性变换与给出所述输入图像的最大域的变换之间的曲线上的变换。

根据优选实施例，用于从所述变换子集中交互地视觉选择一个变换的装置包括图形用户界面。

本发明还涉及一种用于对输入图像进行色彩校正的方法，包括如下步骤：

-分析输入图像的色彩以便获得所述输入图像的色彩参数表示，

-选择一组参考图像，

-分析所述参考图像中的至少一个参考图像或所述参考图像的至少一个区域的色彩以便获得所述参考图像的色彩参数表示，

-计算对所述输入图像的色彩的一组可能变换，其中所述可能变换是这样的：使所述输入图像的色彩参数表示根据距离标准接近所述参考图像的色彩参数表示，

-在所述可能变换中选择变换子集，将所述变换子集应用于所述输入图像，给出物理上可能的色彩校正输入图像，

-从所述子集中交互地视觉选择出一个变换。

附图说明

通过下面结合附图对本发明的非限制性实施例的描述，本发明的其他特征和优点将显现出来，附图中：

图1表示本发明优选实施例的方框图，

图2表示放大的色域，

图3表示变换空间中示出了变换子集选择的域，

图4表示变换子集的另一实施例。

具体实施方式

图1所表示的模块是功能单元，它们可以对应于物理上分离的单元，或者它们可以被包含在相同的物理单元内。例如，这些模块或它们中的至少一些模块可以被组合在单独的组件中，或者可以构成同一软件的功能。相反，某些模块也可以被分为分离的单元。

用户选择一组参考图像或参考图像中的区域。下面，这被称为选中参考图像。这些参考图像例如是由熟练的专家(例如，摄影指导)选择的。这些参考图像是色彩看上去类似于所需色彩的图像。选中参考图像的集合包含大范围的色彩，这些色彩代表为了获得想要的结果而可能具有的色彩，例如可以表现深夜气氛的色彩、皮肤色彩或室内色彩。要进行色彩校正的输入图像在进行色彩校正之后将只具有与所选中的色彩紧密相关的那些色彩。

参考图像的选择主要由操作者来手工完成，因为色彩校正类似于艺术创作。在其他实施例中，也可以自动进行，例如，用户给出与胶片的色彩、亮度、时间跨度等相关的输入参数。

例如，如果色彩校正是为了获得具有夜晚气氛的图像，则参考图像也应具有夜晚气氛。

色彩分析装置1接收来自用户的参考图像10作为输入。其计算并输出从所有参考图像10的色彩参数表示7。可以选择色域M_R作为色彩参数表示。色彩参数表示描述参考图像10中所包含的所有色彩。

在本发明的其他实施例中，也可以选择色彩直方图H_R作为色彩参数表示，或者选择主色彩(dominant colours)或向量量化(vectorquantization)。

还对要进行色彩校正的输入图像11进行色彩分析。这是模块2的功能，其接收输入图像11作为输入。

对输入图像11进行与参考图像10相同的分析。如果对参考图像10进行基于色域的分析，则也对输入图像11进行基于色域的分析。

色彩参数表示代表所有的参考图像在诸如国际照明委员会(CIE)所定义的XYZ或CIExy(色度)空间之类的空间中的色彩。色彩参数表示可以基于色彩空间中的凸体积(被称作域)，或者基于其他体积表示，例如直方图。在其他实施例中，可以使用其他色彩表示。术语“体积”是普通意义，并且在三维色彩空间的情形中对应于三维体积。

色彩分析模块2也输出与输入图像11相对应的色域8。

基于这些域，装置4计算对输入图像11的一组可能的色彩变换13。

可能的变换13是这样一组变换：其中每个变换使得输入图像11的色彩在距离标准上接近于参考图像10的色彩。

每个变换由将输入色彩映射到变换色彩的数学函数组成。例如，可以在XYZ或xy坐标中表示输入色彩和变换色彩。变换例如可以由线性数学函数、非线性数学函数或查找表组成。

线性变换的一个示例是如下的变换T：

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right)=T\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right),$ 其中 $T=\left(\begin{array}{ccc}{c}_R& 0& 0\\ 0& c_G& 0\\ 0& 0& c_B\end{array}\right)$

所有的可能变换13的参数c_R、c_G、c_B位于由多边形P所定义的变换的域内，其中P是通过如下步骤迭代生成的：

1．将P初始化为大的RGB立方体，从而其包括所有色彩，

2．取出输入图像的域的多边形中的第一点(R，G，B)

3．对于参考图像的域的多边形中的N个点(R_n，G_n，B_n)，计算N个变换：

(c_R，n＝R′_n/R c_G，n＝G′_n/G c_B，n＝B′_n/B)；0≤n≤N。

这N个变换建立了临时域P_tmp。

4．计算P与P_tmp之间的交叉线，并且将P定义为这些交叉线所组成的结果。

5．取出输入图像的域的多边形中的下一点(R，G，B)，并继续从步骤2开始。如果输入图像的域的多边形中所有的点都已经被处理过，则终止P的计算。

可能的变换13可以由变换在变换空间中的域M_T来描述。变换空间是定义变换的参数的空间。例如，在变换空间中接近的两个变换常常具有相似的变换特性。

当色域被用来特征化图像时，对于可能的变换的标准是输入图像的域在应用变换之后处于参考图像的域之内，除了一组异常点之外。异常点是在参考图像的域之外的变换色彩。可以按照不同的方式来处理异常点。例如，可以将它们的数目限制在所有变换色彩的总数的一定百分比。另一种可能是允许异常点与参考图像的域相距某一最大距离。在其他实施例中，可以使用其他标准。

对于没有表现出平衡场景(例如，近距离场景、其中的物体都具有非常接近的色彩的场景、低饱和度的场景)的参考图像10，则可能不存在满足变换后的输入图像的域处于参考图像的域内这种约束的色彩变换。在这种情形下，将域M_R放大，得到放大域M’_R，如图2所示。

图2示出了二维空间中的示例，其中域由多边形表示。域可以由其他方式来表示，例如几何元(立方体、球…)或者曲线(样条、数学函数…)。色彩空间例如可以由CIE的xy色度坐标定义。因为xy坐标被限制在0到1之间的值，所以可以这样来计算放大幅度：放大域M’_R的体积处于M_R的体积与不超过色彩空间限制的情况下的最大可能体积之间。这种操作可以由参数k来参数化，其中k＝0表示不放大，k＝1表示最大放大。对于放大，计算M_R的重心P。然后，通过从重心P向域的外壳(hull)引直线c，外壳上的点被移到域的外部，从而形成放大域M’_R的外壳。

在另一实施例中，可能存在比其他点移动更为厉害的点。例如，远离色彩空间限制的点比其他点移动更多。

在另一实施例中，当色彩分析模块1和2产生色彩直方图时，对于可能的变换的标准涉及色彩直方图。

在该实施例中

-色彩变换T_I ^E被应用于输入图像11，从而T_I ^EI具有均衡的直方图，即，直方图值是0或恒定，

-色彩变换T_R ^E被应用于参考图像10，从而T_R ^ER具有均衡的直方图，

-计算单个变换T₁＝T₁ ^fixed＝(T_R ^E)-¹T_I ^E。

E表示给出均衡直方图的变换。

一旦获得了该单个变换T1，为了获得一组可能的变换13，在变换空间中在围绕T1创建立方、球、或椭圆体的变换域。变换的这一个域M_T的大小被设置为与T1和中性变换之间的距离相关，其中中性变换是对图像不产生任何效果的变换。例如，当选择圆形域时，半径被设置为T1和中性变换之间的距离。当域超过某些限制(例如负系数)时，则可以对域进行剪切。剪切意味着从域中去除域的相关部分。可以预见到其他实施例。

模块4向模块5发送如上所述计算出的可能变换13的集合。

模块5负责从变换集合13中选择变换子集14。

在优选实施例中，变换集合13由变换的域M_T描述。域M_T中所包含的所有变换将输入图像转换为满足数学限制的输出图像。

在可能的变换13中选择变换子集14的一个目的是获得这样的变换：其产生的图像表现出物理上可能的场景。

实际上，变换集合13中的某些数学变换可能给出太红、太绿、太蓝、或太黑的输出图像，它们表现出不真实的场景。

当输入图像11以及参考图像10中的场景没有覆盖所有色彩、包含反射物体或具有荧光时可能出现这种情况。这种情形中，域M_T太大，以致给出最终变换的似是而非的选择。

模块5通过使用下列物理以及启发式标准来产生变换子集：

-子集选择模块5产生如图3所示的包含在域M_T内的曲线C_T作为输出。

该曲线是直线。该线段例如可以被定义在变换空间中域M_T内的两个变换T_start、T_end之间。

T_start被选择为中性变换T。。

如果T。不在域M_T内，则可以放大M_T，得到M’_T，并且M_T被M’_T代替，如图3所示。

T_end被选择为使得根据O＝T_MAXI变换得到的输出图像的域M₀最大的变换。

在其他实施例中，曲线C_T还可以被选择为闭合曲线，并且可以不同地选择T_start和T_end。例如，该曲线可以被定义为这样的曲线：其位于域M_T的外壳上，开始于给出最小的域M₀的变换T_start，并且到达给出最大的域M₀的变换T_end。

在本发明的另一实施例中，由子集选择模块5所产生的变换子集14是如图4所示的小于M_T的变换域M”_T。

变换M”_T的域是这样生成的：计算M_T的重心T_C，设置通过T_C和M_T外壳上的点的线段，然后在这些线段上沿着向内的方向移动外壳上的点，最终给出较小的域M”_T的外壳。

中心点T_C可以被设置为中性变换T₀，由T₀I＝I定义。中性变换是域M_T中重要的物理点，因为其对应于输入图像保持不变的情形。如果域中不包含T₀，则T_C可以被设置为重心。

子集选择模块5产生变换子集，输出到模块6，模块6从这一组变换中选出单个变换9。

这一步骤由操作者控制。子集选择装置5产生缩减数目的变换，从而用户的选择不需要很长时间，并且不需要操作者具有特殊的技巧。

在该实施例中，子集由变换空间中的曲线C_T表示，操作者可以通过在该曲线的起点和终点之间滑动来选择变换。对变换后的输入图像的即时计算和显示允许操作者在考虑到艺术效果后选择最终的变换T∈C_T。为了进行这种互动的选择，模块5被链接到实现变换图像的即时显示的模块3。模块6可以是具有图形用户界面(GUI)的遥控装置，其使用户能够沿着曲线滑动光标并且在模块3上获得对输入图像应用变换后的结果作为输出。

输出图像12由模块3输出。该输出图像12对应于应用了选中变换9的输入图像。

Claims (10)

1、一种用于对输入图像进行色彩校正的设备，其特征在于包括：

用于分析输入图像(11)的色彩以便获得所述输入图像(11)的色彩参数表示(8)的装置(2)，

用于选择一组参考图像(10)的装置，

用于分析所述参考图像中的至少一个参考图像或所述参考图像的至少一个区域的色彩以便获得所述参考图像(10)的色彩参数表示(7)的装置(1)，

用于计算对所述输入图像(11)的色彩的一组可能变换(13)的装置，其中所述可能变换是这样的：使所述输入图像(11)的色彩参数表示(8)根据距离标准接近所述参考图像(10)的色彩参数表示(7)，

用于在所述可能变换(13)中选择变换子集(14)的装置，其中将所述变换子集应用于所述输入图像(11)，给出物理上可能的色彩校正输入图像(11)，

用于从所述子集中交互地视觉选择出一个变换的装置(6)。

2、根据权利要求1所述的设备，其特征在于用于选择参考图像(10)的装置选择这样的图像：这些图像具有包含大范围的色彩的色彩参数表示，这些色彩表示在色彩校正后希望得到的可能的色彩。

3、根据权利要求1或2所述的设备，其特征在于用于选择参考图像(10)的装置由用户控制，以便执行对参考图像(10)的手动选择。

4、根据前述权利要求中任一项所述的设备，其特征在于所述色彩参数表示(7、8)是色域。

5、根据权利要求1至3中任一项所述的设备，其特征在于所述色彩参数表示(7、8)是色彩直方图。

6、根据权利要求4所述的设备，其特征在于可能变换的标准是：在对所述输入图像(11)应用变换之后，所述输入图像(11)的域处于所述参考图像(10)的域之内。

7、根据权利要求5所述的设备，其特征在于用于计算一组可能变换(13)的装置计算单个变换，并且通过计算围绕该单个变换的变换域，来计算一组可能变换(13)。

8、根据权利要求4所述的设备，其特征在于用于选择可能变换子集(14)的装置将所述子集选择为变换空间中在中性变换(T₀)与给出所述输入图像(11)的最大域的变换(T_MAX)之间的曲线(C_T)上的变换。

9、根据权利要求8所述的设备，其特征在于用于从所述变换子集(14)中交互地视觉选择一个变换(9)的装置包括图形用户界面。

10、一种用于对输入图像进行色彩校正的方法，其特征在于包括如下步骤：

分析输入图像(11)的色彩以便获得所述输入图像(11)的色彩参数表示(8)，

选择一组参考图像(10)，

分析所述参考图像中的至少一个参考图像或所述参考图像的至少一个区域的色彩以便获得所述参考图像(10)的色彩参数表示(7)，

计算对所述输入图像的色彩的一组可能变换(13)，其中所述可能变换是这样的：使所述输入图像的色彩参数表示根据距离标准接近所述参考图像(10)的色彩参数表示，

在所述可能变换(13)中选择变换子集(14)，将所述变换子集应用于所述输入图像，给出物理上可能的色彩校正输入图像，

从所述子集中交互地视觉选择出一个变换。

Images