CN103295250A - 一种基于l1混合范数求解的图像彩色化的方法 - Google Patents

Abstract

本发明公开了一种基于L1混合范数求解的图像彩色化的方法，包括：输入一幅灰度图片；用户输入初试彩色线条，即对输入图片各区域描上彩色线条，此时灰度图片成为带有彩色线条的彩色图；为了利用Y通道的值推出U、V通道的值，将第二步所得彩色图片转换为YUV空间，记图片在该空间下的初始彩色值为b₀；基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散；现规范化上述求U通道值的目标方程得到U通道值的系数x_u和V通道值的系数x_v；按照上述规范化后的目标方程，即求解出x_u、x_v，将Y、U、V通道的值转化到RGB空间。通过基于L1范数算法来使得最终图片在色彩饱和度方面更加自然，达到最佳的视觉效果。

Description

一种基于L1混合范数求解的图像彩色化的方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于L1混合范数求解的图像彩色化的方法。

背景技术

颜色在人类对世界的认知过程中担当着重要角色，例如在习惯于彩色电视之后再去看黑白电视，就会明显感受到颜色缺失对画面表现力造成的影响。因此，给黑白图像、电影或电视节目加上适当的颜色有可能极大地改善视觉效果。彩色化就是一项这样的技术，早在1970年就被用于处理阿波罗登月获取的月球影像，后来在旧电影的翻新处理中又取得了很大成功。时至今日，彩色化仍然是图像处理学界一个有趣而有挑战性的研究课题。

不同于医学、遥感等领域为突出显示图像内容而采用的伪彩色化处理，这里的彩色化要求给黑白图像赋予自然的、接近于真实的色彩，以最大限度地再现其原貌，严格地讲属于假彩色处理。早期电影的彩色化可以看作是艺术家的手工制作，对操作者水平要求高，而且效率较低。近年来在图像彩色化方面出现了一些半自动化的处理方法，大致可归结为两类，即颜色迁移和颜色扩展法。颜色迁移是为待处理的黑白图像寻找用作取色来源的一幅或多幅彩色参考图像，利用灰度匹配借用参考图像的颜色作为着色结果；颜色扩展的常见处理方式是先在黑白图像上设置局部的引导色，再设法将局部颜色扩展到全幅范围。各种彩色化方法尽管在具体的着色方式上有所不同，但都基于同一个源于对实际图像的观察而得出的着色原则，即图像中相邻像素如果灰度相近，则其颜色一般也是近似的；这就是颜色的局部相似性原则。彩色化处理涉及的一个关键问题是如何选择适当的颜色表达空间，该文从考察颜色的局部相似性着手，分析不同颜色空间在彩色化处理中的适用性。

然而彩色化的一个主要难题在于其是一个昂贵和耗时的过程。例如,为了彩色化一幅静止图像，艺术家们一般做法是先对其进行区域划分，接着给每个区域赋予彩色值。不幸的是，自动分割算法往往不能正确地识别模糊或边界复杂的区域，比如划分目标的头发和脸庞间的边界。正因如此，艺术家们不得不手动描绘区域间那些复杂的边界。除此之外，电影彩色化还要求追踪各区域的拍摄帧。现有的跟踪算法通常不能有力地跟踪非刚性的区域，这就再次要求用户对处理的更多的介入。

在本文中，我们描述了一个新的交互式着色技术，既不需要精确的手动分割，也不需要准确的跟踪。该技术是基于一种能够运用于静止图像和图像帧的统一框架。用户需要做的就是在各区域内部描绘出该区域需要赋予的色彩，而不用描绘出该图像的精确边界。基于用户提供的上述约束，我们的技术便可自动地将颜色扩散到图像未着色的部分。不过该技术的前提假设是具有相似灰度级的相邻像素也具有相似的色彩值。如此，本文提出的彩色化问题便转化为一个能用现成算法解决的优化问题。

因此，本文的贡献是提供一种简单而高效的交互式彩色化技术，该技术极大地减少了用户的输入。除了可以对黑白图像和电影的彩色化，本技术还可以应用于图像的重着色方面。

在马克尔的原始着色过程中一幅彩色面具至少需要一幅参照帧来手绘出来。运动检测与跟踪随之而生，使色彩自动分配在没有发生运用的其他帧区域中。而移动边缘的色彩值是通过光学流动给赋值的，而这种赋值操作往往要求手动操纵。

虽然目前用于工业的相关彩色化系统不太为公众所知，但是可以看出这些系统仍然是通过定义区域并跟踪各个帧来实现的。一款用于彩色化的商业软件BlackMagic反应了这些内幕。虽然软件给用户提供了好用的刷板和调色板，但是给图像划分区域的工作仍然全部依靠用户输入。

Welsh描述了一种对黑白图片彩色化的半自动化技术，该技术是通过将参考图像的色彩转移至该图像上的。他们通过检查目标图片中相邻像素的亮度值，找到参考图片中的类似像素点，然后将该像素点的彩色值赋给目标图片中的像素点。该技术能很好地处理那些不同的彩色化区域具有显著差异的亮度分布或者纹理分布的图片。对于其他情况，用户得给目标图片各区域指定相应的参考图片块。虽然这种技术效果显著，但是其对输入的要求使得艺术家们无法对输出给予直接的控制。因为在处理过程中，艺术家们必须找到与目标图片具有相似纹理的图片，该图片还必须具有他期望得到的色彩。而且该处理也不利于对有问题的输出进行选择性的调整。相反，在我们的技术中，艺术家们可以直接选择所需色彩，如有需要，还可以通过添加更多彩色线条来改善结果。另外，Welsh et al.的技术并不能保证输出图片的色彩的连续性，在某些情况下，具有相似亮度的相邻像素点可能会被赋予差异很大的色彩值。

彩色化是一种给单色图像或电影赋予彩色值的计算机辅助过程，一种现有的彩色化方法就是根据图像的内部逻辑将其划分区域，然后分别对各个区域添加彩色值。

虽然Welsh et al.的技术效果显著，但是其对输入的要求使得艺术家们无法对输出给予直接的控制。因为在处理过程中，艺术家们必须找到与目标图片具有相似纹理的图片，该图片还必须具有他期望得到的色彩。而且该处理也不利于对有问题的输出进行选择性的调整。相反，在我们的技术中，艺术家们可以直接选择所需色彩，如有需要，还可以通过添加更多彩色线条来改善结果，最终运用基于L1范数的混合范数求解最优化从而得到理想结果。

发明内容

本发明克服了现有技术中图像处理技术的不足，提供了一种基于L1混合范数求解图像彩色化的方法，通过基于L1范数算法来最大限度保留用户初始输入且采用梯度下降法使得最终图片在色彩饱和度方面更加自然，从而达到最佳的视觉效果。

本发明提供一种基于L1混合范数求解的图像彩色化的方法，包括：

输入一幅灰度图片；

用户输入初试彩色线条，即对输入图片各区域描上彩色线条，此时灰度图片成为带有彩色线条的彩色图；

为了利用Y通道的值推出U、V通道的值，将第二步所得彩色图片转换为YUV空间，记图片在该空间下的初始彩色值为b₀；

基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散；

现规范化上述求U通道值的目标方程得到U通道值的系数x_u和V通道值的系数x_v；

按照上述规范化后的目标方程，即求解出x_u、x_v，将Y、U、V通道的值转化到RGB空间。

所述基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散包括：

根据目标方程

$J\left(U\right)=\underset{r}{\mathrm{\Σ}}{(U\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}U\left(s\right))}^2,$ 其中，

σ_r表示像素点r与相邻像素点构成的窗口r内像素点亮度值的方差,，V通道通过

求解最小的V值，通过此优化方程可由图片的Y通道值求出U、V两个通道的色彩值；

所述现规范化上述求U通道值的目标方程得到U通道值的系数x_u和V通道值的系数x_v包括：

用等价于上述思想的标准数学优化方程描述并求解得到：

$x_u=\underset{x_u}{\arg \min }\arg \min \{{\left|\right|\mathrm{Ax}-b_u\left|\right|}_2+\mathrm{\λ}\underset{k}{\mathrm{\Σ}}{\left|\right|U_k-\stackrel{\‾}{U_k}\left|\right|}_1\},$

其中A表示所有像素点间权重的对称矩阵，b_u表示对户给出的初始色彩值b₀进行如下处理后向量中代表U通道的部分，lamda后面的约束是为了保证处理前后初始彩色线条上的色彩值不变，同理可求出V通道值的系数x_v。

本发明是在黑白视频彩色化处理和黑白照片彩色化应用中，提供一种基于用户手动简单输入初试色彩达到全局彩色化的内部实现算法，通过基于L1范数算法来最大限度保留用户初始输入且采用梯度下降法使得最终图片在色彩饱和度方面更加自然，从而达到最佳的视觉效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

假设空间具有相近亮度值的相邻的像素点具有相似的色彩值，本发明基于此假设提出了一种简单的彩色化方法，该方法既不要求精确的图像分割也不需要准确的区域跟踪。之后我们将此彩色化问题转化为一个可以用现存算法高效解决的最优化问题。为了得到更好的效果，我们针对前人用最小二乘法解决此最优化问题，使用了L1与L2混合式范数求解(为了对上述思想有更好的理解，先对L1范数和L2范数解释如下：向量的L1范数表示的是此向量中非零元素的绝对值之和，该值能间接反映出该向量中非零元素的多少；向量的L2范数表示的是该向量中各元素的平方和的开方，也即表示该向量的模长，更加间接地反映了该向量中非零元素的多少)。在本文中我们展示了适量的输入也可以产生高质量的图片。系统主要设计框架如下图图1所示：

最优化传播途径：

为了便于对彩色图像的各个通道进行独立处理，我们将RGB空间的彩色图像转化到YUV空间进行处理（其中Y通道表示的是该图像的亮度信号，U、V表示的是两种色度信号）。由于具有相近亮度值的像素具有相近的色度值，故最终我们可以由Y通道值推出U、V通道的值，用数学公式概括表示如下：

$\underset{\mathrm{int\; ensity\; channel}}{Y}\⇒\underset{\mathrm{color\; channels}}{U,V}$

图1示出了本发明实施例中的基于L1混合范数求解的图像彩色化的方法流程图，本发明是基于一种常见于视频中的YUV彩色空间，其中Y代表单色亮度信道（后面以亮度代替），U和V均代表色度信道。

该发明包括输入一个亮度值Y(x,y,t)，输出两个色度值U(x,y,t)和V(x,y,t)。为了表示方便，Y(r)表示一个像素点的亮度值，其中r表示（x,y,t）.

依据上文提到的假设，我们希望通过一些约束使得具有相近亮度值的相邻像素点也具有相近的色彩值。因此我们通过最小化某像素点色彩值U(r)和其相邻像素点的加权均值，可用数学表达式概括表示成：

$J\left(U\right)=\underset{r}{\mathrm{\Σ}}{(U\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}U\left(s\right))}^2---\left(1\right)$

其中

（σ_r表示像素点r与相邻像素点构成的窗口r内像素点亮度值的方差）。

综上所述，该技术可用如下数学模型表示：

$x=\underset{x}{\arg \min }\arg \min \{{\left|\right|\mathrm{Ax}-b\left|\right|}_2+\mathrm{\λ}\underset{k}{\mathrm{\Σ}}{\left|\right|U_k-\stackrel{\‾}{U_k}\left|\right|}_1\}---\left(2\right)$

其中A表示所有像素点间权重的对称矩阵，b表示对用户给出的初始色彩值b₀进行处理后的向量，lamda后面的约束是为了保证处理前后初始彩色线条上的色彩值不变，进而求出的x表示U、V通道的值用矩阵A表示的系数。

由于L1范数的特性，将L1范数运用其中，虽使求解复杂度有所增加，但是却可以更加接近所期望的最优值。

现存的彩色化求解算法忽视了彩色化图像色度与饱和度间的差异而做了同样的处理，如此处理必然偏离最优结果。针对这个问题，本技术在现存算法的基础上还增加了一个预处理工作，原理就是根据目标图片中亮度的梯度差异及用户给出了初试色彩值b₀，按照初始化色彩点的梯度差异给出各点的赋值权重，然后重新给出初始化色彩值b，用数学公式可表达为：

$b=\underset{i}{\mathrm{\Σ}}\frac{w_i}{\underset{i}{\mathrm{\Σ}}{w}_i}{b}_0---\left(3\right),$ 其中 $w_i=e-\frac{1}{\left|\right|y_i\left|\right|}$

y_i表示第i个像素点的亮度值。

然后按照上述优化式进行求解得出x，进而Ax便是最终的效果图。

具体算法实现步骤如下：

第一步：输入一幅灰度图片；

第二步：用户输入初试彩色线条，即对输入图片各区域描上彩色线条，此时灰度图片成为带有彩色线条的彩色图；

第三步：为了利用Y通道的值推出U、V通道的值，将第二步所得彩色图片转换为YUV空间，记图片在该空间下的初始彩色值为b₀（包括U、V两个通道的值），现利用各通道作如下处理；

第四步：基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散。我们得出本技术的目标方程（即为求得使下述方程值最小的U值）

$J\left(U\right)=\underset{r}{\mathrm{\Σ}}{(U\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}U\left(s\right))}^2,$ 其中，

（σ_r表示像素点r与相邻像素点构成的窗口r内像素点亮度值的方差），类似，V通道也同样处理（即求解使 $J\left(V\right)=\underset{r}{\mathrm{\Σ}}{(V\left(r\right)-\underset{s\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{\mathrm{rs}}V\left(s\right))}^2$ 值最小的V值），通过此优化方程我们便可由图片的Y通道值求出U、V两个通道的色彩值；

第五步：为了便于用软件求解，现规范化上述求U通道值的目标方程（即用等价于上述思想的标准数学优化方程描述并求解）得到 $x_u=\underset{x_u}{\arg \min }\arg \min \{{\left|\right|\mathrm{Ax}-b_u\left|\right|}_2+\mathrm{\λ}\underset{k}{\mathrm{\Σ}}{\left|\right|U_k-\stackrel{\‾}{U_k}\left|\right|}_1\},$ 其中A表示所有像素点间权重的对称矩阵，b_u表示对户给出的初始色彩值b₀进行如下处理后向量中代表U通道的部分，lamda后面的约束是为了保证处理前后初始彩色线条上的色彩值不变，同理可求出V通道值的系数x_v。

第六步：为了使最终的彩色化结果更加自然，即使不同亮度的地方彩色值也有不同，于是做如下处理：

其中

（y_i表示第i个像素点的亮度值）；

第七步：按照上述规范化后的目标方程，即第五步的方程求解出x_u、x_v，于是Ax即为最终的目标图的U、V值，最后将Y、U、V通道的值转化到RGB空间即可。

综上，本发明是在黑白视频彩色化处理和黑白照片彩色化应用中，提供一种基于用户手动简单输入初试色彩达到全局彩色化的内部实现算法，通过基于L1范数算法来最大限度保留用户初始输入且采用梯度下降法使得最终图片在色彩饱和度方面更加自然，从而达到最佳的视觉效果。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

以上对本发明实施例所提供的基于L1混合范数求解的图像彩色化的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于L1混合范数求解的图像彩色化的方法，其特征在于，包括： 

输入一幅灰度图片； 

用户输入初试彩色线条，即对输入图片各区域描上彩色线条，此时灰度图片成为带有彩色线条的彩色图； 

为了利用Y通道的值推出U、V通道的值，将第二步所得彩色图片转换为YUV空间，记图片在该空间下的初始彩色值为b₀； 

基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散； 

现规范化上述求U通道值的目标方程得到U通道值的系数x_u和V通道值的系数x_v； 

按照上述规范化后的目标方程，即求解出x_u、x_v，将Y、U、V通道的值转化到RGB空间。 

2.如权利要求1所述的基于L1混合范数求解的图像彩色化的方法，其特征在于，所述基于相邻像素点也应具有相近的色彩值的事实，彩色化过程由初始彩色像素点的U、V值向周围扩散包括： 

根据目标方程 

其中，

σ_r表示像素点r与相邻像素点构成的窗口r内像素点亮度值的方差,，V通道通过 

求解最小的V值，通过此优化方程可由图片的Y通道值求出U、V两个通道的色彩值。 

3.如权利要求2所述的基于L1混合范数求解的图像彩色化的方法，其特征在于，所述现规范化上述求U通道值的目标方程得到U通道值的系数x_u和V通道值的系数x_v包括： 

用等价于上述思想的标准数学优化方程描述并求解得到： 

其中A表示所有像素点间权重的对称矩阵，b_u表示对户给出的初始色彩值b₀进行如下处理后向量中代表U通道的部分，lamda后面的约束是为了保证处理前后初始彩色线条上的色彩值不变，同理可求出V通道值的系数x_v。 

Images